1.go database sql接口分析及sql埋点实现
2.PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析
3.SQL解析系列(golang)--goyacc实战
4.LangChain基于本地大模型的接接口SqlAgent查询数据库
5.SQL语句有那些接口？

go database sql接口分析及sql埋点实现

       大家好，我是口源蓝胖子，今天给大家分享如何在 Golang 中实现 SQL 埋点记录。接接口

       在 Golang 中，口源数据库查询接口主要由 database/sql 包提供，接接口实现则依赖第三方库，口源orc文件 源码例如 MySQL 使用的接接口库为 github.com/go-sql-driver/mysql。我们通常会先创建一个 sql.DB 对象，口源通过 sql.Open 方法，接接口指定驱动名称和数据库连接字符串。口源

       在执行 SQL 语句时，接接口我们通常调用 sql.DB 对象的口源 Query 或 Exec 方法。然而，接接口真正执行 SQL 语句的口源过程包含了一些关键步骤，如准备 SQL 语句和使用占位符等。接接口下面我们将深入分析数据库查询的具体实现。

       在查询和执行 SQL 语句时，数据库查询逻辑首先会判断能否直接执行 SQL，如果不能，则通过占位符或准备语句的方式执行。如果遇到错误 dirver.ErrSkip，则程序会跳过直接执行逻辑，转而执行准备语句逻辑。

       无论是直接执行 SQL 还是使用占位符，最终都依赖第三方库封装的数据库操作。以 MySQL 的机构持仓指标源码库为例，database/sql 包所用的连接接口类型实际上为第三方库返回的连接结构体。因此，如果第三方库实现了 driver.Queryer 或 driver.QueryerContext 接口，那么查询时会直接调用数据库底层的查询方法。

       值得注意的是，直接执行 SQL 相较于使用占位符的方式，性能更高但存在 SQL 注入风险。为了解决这个问题，第三方库在实现 driver.Queryer 接口时，通过设置连接配置参数 InterpolateParams 为 true，来判断是否允许直接执行 SQL，以避免 SQL 注入。同时，库会进行 SQL 转义操作，确保安全性。

       我们的最终目标是在 SQL 执行前后加入自己的埋点日志。接下来，我们将探讨如何在 Golang 中实现 SQL 埋点统计。

       在实现 SQL 埋点统计时，我们可以通过装饰器模式，对第三方库生成的连接类型进行重新包装，覆盖原有接口方法，从而在查询前后添加自定义的埋点逻辑。由于 database/sql 包只定义了一个连接类型接口，连接类型实现由第三方库负责，将源码导入eclipse我们可以在创建连接时引入自定义的连接类型。

       首先，我们需要对原有连接和驱动实现进行包装，添加钩子函数属性。对于新的连接类型，我们只需覆盖查询方法即可实现埋点。例如，在原有的 queryContext 方法前后添加自定义逻辑。值得注意的是，为了确保埋点不被遗漏，我们需要覆盖多个接口方法，包括 queryDC 中执行 SQL 时的 QueryContext 接口、execDc 中执行 SQL 时的 ExecContext 接口、连接的 PrepareContext 接口，以及 driver.Stmt 的 ExecContext 和 QueryContext 接口。

       具体的实现代码已上传至 GitHub，您可以参考并根据实际需求进行修改。

PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析

       FDW，全称为Foreign Data Wrapper，是PostgreSQL提供的一种访问外部数据源的机制。它允许用户通过SQL语句访问和操作位于不同数据库系统或非数据库类数据源的外部数据，就像操作本地表一样。以下是从直播内容整理的关于FDW的使用详解、实现原理以及源码解析。

       ### FDW使用详解

       FDW在一定规模的绝地求生外挂源码系统中尤为重要，数据仓库往往需要访问外部数据来完成分析和计算。通过FDW，用户可以实现以下场景：

       跨数据库查询：在PostgreSQL数据库中，用户可以直接请求和查询其他PostgreSQL实例，或访问MySQL、Oracle、DB2、SQL Server等主流数据库。

       数据整合：从不同数据源整合数据，如REST API、文件系统、NoSQL数据库、流式系统等。

       数据迁移：高效地将数据从旧系统迁移到新的PostgreSQL数据库中。

       实时数据访问：访问外部实时更新的数据源。

       PostgreSQL支持多种常见的FDW，能够直接访问包括远程PostgreSQL服务器、主流SQL数据库以及NoSQL数据库等多种外部数据源。

       ### FDW实现原理

       FDW的核心组件包括：

       1. **Foreign Data Wrapper (FDW)**：特定于各数据源的库，定义了如何建立与外部数据源的连接、执行查询及处理其他操作。例如，`postgres_fdw`用于连接其他PostgreSQL服务器，`mysql_fdw`专门连接MySQL数据库。

       2. **Foreign Server**：本地PostgreSQL中定义的西瓜影视 网页源码外部服务器对象，对应实际的远程或非本地数据存储实例。

       3. **User Mapping**：为每个外部服务器设置的用户映射，明确哪些本地用户有权访问，并提供相应的认证信息。

       4. **Foreign Table**：在本地数据库创建的表结构，作为外部数据源中表的映射。对这些外部表发起的SQL查询将被转换并传递给相应的FDW，在外部数据源上执行。

       FDW的实现涉及PostgreSQL内核中的`FdwRoutine`结构体，它定义了外部数据操作的接口。接口函数包括扫描、修改、分析外部表等操作。

       ### FDW源码解析

       FDW支持多种数据类型，并以`Postgres_fdw`为例解析其源码。主要包括定义`FdwRoutine`、访问外部数据源、执行查询、插入、更新和删除操作的逻辑。

       访问外部数据源：通过`postgresBeginForeignScan`阶段初始化并获取连接到远端数据源。

       执行查询：进入`postgresIterateForeignScan`阶段，创建游标迭代器并从其中持续获取数据。

       插入操作：通过`postgresBeginForeignInsert`、`postgresExecForeignInsert`和`postgresEndForeignInsert`阶段来执行插入操作。

       更新/删除操作：遵循与插入操作相似的流程，包括`postgresBeginDirectModify`、`postgresIterateDirectModify`和相应的结束阶段。

       对于更深入的技术细节，建议访问B站观看视频回放，以获取完整的FDW理解和应用指导。

SQL解析系列(golang)--goyacc实战

       Lex & Yacc简介

       Lex & Yacc是用于生成词法分析器和语法分析器的工具，与GNU用户熟悉的Flex&Bison相对应。它们在编译器领域和DSL或SQL解析领域有广泛应用。

       Lex用于生成词法分析器，将输入分割成有意义的词块（token）。

       Yacc用于生成语法解析器，确定token之间的关联。

       词法分析器流程如下图所示。

       词法分析器

       词法分析器获取token流。通过调用yylex()读取输入并返回token，然后循环读取并返回解析好的token。每个token包含两部分：类型和值。

       计算器词法分析器规则定义示例。

       语法分析器

       语法分析器找出输入token之间的关系，使用巴科斯范式（BNF）书写规则。同样分为三部分，前两部分必须。

       规则示例。

       yacc语法规范整体结构

       由三部分组成，包括规则定义和用户子程序。动作代码执行语法匹配时的操作。如日期解析规则。

       移进/归约过程

       移进：读取token无法匹配规则时，将其压入堆栈并切换状态。归约：发现能匹配规则的token，将符号从堆栈取出并压入新符号。

       处理表达式如fred = + 的示例。

       解决冲突：通过指定优先级和结合性。

       goyacc

       goyacc是golang版的Yacc，生成符合输入语法规则文件的go语言解析器。yyParse要求词法分析器符合特定接口。

       接口示例。

       goyacc样例：电话号码解析源代码。

       json解析器源代码。

       参考文档链接。

LangChain基于本地大模型的SqlAgent查询数据库

       本文探讨如何利用LangChain的SQL查询功能，结合本地运行的大模型，实现预测未来实例运行时间的目标。环境配置包括M1 MacAir机器、运行的本地大模型ChatGLM.cpp以及sqlite3数据库。开发环境使用的是python3和IDEA。以下详细说明各步骤。

       首先，通过IDEA创建sqlite3数据库文件，并在console中进行初始化。

       LangChain访问数据库的方式主要有三种：query chain、execute chain和agent。

       使用query chain时，流程为：用户提问 -> 生成SQL查询 -> 执行SQL -> 返回结果。核心是通过prompt调用大模型接口生成SQL查询语句，关键代码涉及将问题参数转化为输入参数。

       在execute chain中，流程简化为：用户提问 -> 生成并执行SQL -> 返回结果。性能在处理大量表时优于query chain，且提供自动纠正错误、返回步骤信息和限制查询结果等功能。

       Agent模式则允许自由组合工具，生成并执行SQL，通过toolkit返回结果。这里使用了 llama.cpp 替代原ChatGLM.cpp，以解决默认prompt下推理问题，同时配置了特定的agent类型和异常处理机制。

       总结：query chain方式分离生成和执行SQL步骤，便于加入自定义功能；execute chain则将两者合并，提供性能优化，但需注意安全风险；agent模式允许自由组合工具，实现SQL检查和控制，支持特定agent类型但需注意错误处理。

       为了使ChatGLM.cpp在SqlAgent模式下运行，需要对prompt进行相应修改。最后，通过LLM切换至ChatGLM，展示运行结果示例。

SQL语句有那些接口？

       (1) Statement —— SQL语句执行接口

       Statement接口代表了一个数据库的状态，在向数据库发送相应的SQL语句时，都需要创建Statement接口或者PreparedStatement接口。在具体应用中，Statement主要用于操作不带参数（可以直接运行）的SQL语句，比如删除语句、添加或更新。

       (2) PreparedStatement —— SQL语句预编译接口

        PreparedStatement也执行相应的SQL语句。它继承于Statement接口，除了具备Statement所有功能，还可以对SQL语句进行预处理。

       主要方法：

       ① ResultSet executeQuery() throws SQLException

       在此 PreparedStatement 对象中执行 SQL 查询，并返回该查询生成的 ResultSet 对象。从不返回 null；如果发生数据库访问错误或者 SQL 语句没有返回ResultSet 对象则抛出SQLException异常。

       ② int executeUpdate() throws SQLException

       在此 PreparedStatement 对象中执行 SQL 语句，该语句必须是一个 SQL INSERT、UPDATE 或 DELETE 语句；或者是一个什么都不返回的 SQL 语句，比如 DDL 语句。

       返回值int表示影响的记录条数，一条都没有则返回0；

       ③ boolean execute()throws SQLException

       在此 PreparedStatement 对象中执行 SQL 语句，该语句可以是任何种类的 SQL 语句。

       有结果集则返回true, 没有结果集则返回false；

        ④各种set方法

        将指定位置的参数设置为指定的类型。比如ps.setString(3, “tarena”);

       (3) ResultSet —— 结果集操作接口

        ResultSet接口是查询结果集接口，它对返回的结果集进行处理。ResultSet是程序员进行JDBC操作的必需接口。

       (4) ResultSetMetaData —— 元数据操作接口

        ResultSetMetaData是对元数据进行操作的接口，可以实现很多高级功能。Hibernate运行数据库的操作，大部分都是通过此接口。可以认为，此接口是SQL查询语言的一种反射机制。ResultSetMetaData接口可以通过数组的形式，遍历数据库的各个字段的属性，对于我们开发者来说，此机制的意义重大。

        JDBC通过元数据(MetaData)来获得具体的表的相关信息，例如，可以查询数据库中有哪些表，表有哪些字段，以及字段的属性等。MetaData中通过一系列getXXX将这些信息返回给我们。

        数据库元数据 Database MetaData 使用connection.getMetaData()获得

       MetaData包括： 包含了关于数据库整体元数据信息。

        结果集元数据 Result Set MetaData 使用resultSet.getMetaData()获得

        比较重要的是获得表的列名、列数等信息。

       元数据对象：ResultSetMetaData meta = rs.getMetaData();

        字段个数：meta.getColomnCount();

        字段名字：meta.getColumnName();

        字段JDBC类型：meta.getColumnType();

        字段数据库类型：meta.getColumnTypeName();