1.PostgreSQL · 源码分析 · 回放分析（一）
2.pg集群搭建几种方式
3.PostgreSQL源码学习笔记(6)-查询编译
4.PostgreSQL-源码学习笔记(5)-索引
5.PostgreSQL内核Trigger的源码阅读一生
6.在Linux（centos）中使用源码安装pgRouting

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，源码阅读如断电、源码阅读崩溃。源码阅读这些情况可能导致数据异常或丢失，源码阅读影响业务。源码阅读brpc源码解析为了在数据库重启时恢复到崩溃前状态，源码阅读确保数据一致性和完整性，源码阅读我们引入了WAL（Write-Ahead Logging）机制。源码阅读WAL记录数据库事务执行过程，源码阅读当数据库崩溃时，源码阅读利用这些记录恢复至崩溃前状态。源码阅读

       WAL通过REDO和UNDO日志实现崩溃恢复。源码阅读REDO允许对数据进行修改，源码阅读UNDO则撤销修改。源码阅读REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。手机游戏源码搭建PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

pg集群搭建几种方式

       两种。根据查询CSDN博客官网显示：

       1、Pgpool：位于应用程序和PG服务端之间，可以搭建在已经存在的任意版本的PG主从结构上。

       2、PostgresXL：在PG源代码的基础上增加新功能实现，将PG的SQL解析层的工作和数据存取层的工作分离到不同的两种节点上搭建。

PostgreSQL源码学习笔记(6)-查询编译

       查询模块是数据库与用户进行交互的模块，允许用户使用结构化查询语言(SQL)或其它高级语言在高层次上表达查询任务，并将用户的查询命令转化成数据库上的操作序列并执行。查询处理分为查询编译与查询执行两个阶段：

       当PostgreSQL的后台进程Postgres接收到查询命令后，首先传递到查询分析模块，进行词法，语法与语义分析。用户的查询命令，如SELECT，CREATE TABLE等，会被构建为原始解析树，然后交给查询重写模块。最新影视源码开源查询重写模块根据解析树及参数执行解析分析及规则重写，得到查询树，最后输入计划模块得到计划树。

       整个查询编译的函数调用流程包括查询分析、查询重写与计划生成三个阶段。查询分析涉及词法分析、语法分析与语义分析，分别由Lex与Yacc工具完成。词法分析识别输入的SQL命令中的模式，语法分析找出这些模式的组合，形成解析树。出于与用户交互的考虑，语义分析与重写放在另一个函数处理，以避免在输入语句时立即执行事务操作。Lex与Yacc是词法与语法分析工具，分别通过正则表达式解析与语法结构定义，生成用于分析的C语言代码。

       查询分析由pg_parse_query函数与pg_analyze_and_rewrite函数完成。pg_parse_query处理词法与语法分析，而语义分析与重写在pg_analyze_and_rewrite函数中进行。语义分析需要访问数据库系统表，以检查命令中的表或字段是否存在，以及聚合函数的适用性。

       查询重写核心在于规则系统，存储在pg_rewrite系统表中。规则系统由一系列重写规则组成，包括创建规则、删除规则以及利用规则进行查询重写三个操作。规则系统提供定义、删除规则以及利用规则优化查询的功能。PG中实现多种查询优化策略，包括谓语下滑、WHERE语句合并等，通过动态规划与遗传算法选择代价最小的执行方案。

       查询规划的总体过程包括预处理、生成路径和生成计划三个阶段。预处理阶段消除冗余条件、减少递归层数与简化路径生成。提升子链接与子查询是预处理中的关键步骤，通过将子查询提升至与父查询相同的优化等级，提高查询效率。提升子链接与子查询的函数包括pull_up_sublinks与pull_up_subqueries。

       在路径生成阶段，优化器检查MIN/MAX聚集函数的存在与索引条件，生成通过索引扫描获得最大值或最小值的路径。表达式预处理由preprocess_expression函数完成，包括目标链表、WHERE语句、HAVING谓语等的处理。HAVING子句的提升或保留取决于是否包含聚集条件。删除冗余信息以优化路径生成。

       生成路径的入口函数query_planner负责找到从一组基本表到最终连接表的最高效路径。路径生成算法包括动态规划与遗传算法，分别解决路径选择与状态传递问题。话费支付商城源码路径生成流程涉及make_one_rel函数，最终生成最优路径并转换为执行计划。

       在得到最优路径后，优化器根据路径生成对应的执行计划。创建计划的入口函数create_plan提供顺序扫描、采样扫描、索引扫描与TID扫描等计划生成。整理计划树函数set_plan_references负责最后的细节调整，优化执行器执行效率。代价估算考虑磁盘I/O与CPU时间，根据统计信息与查询条件估计路径代价。

       查询编译与规划是数据库性能的关键环节。PostgreSQL通过高效的查询分析、重写与规划，生成最优执行计划，显著提高查询执行效率。动态规划与遗传算法等优化策略的应用，确保了查询处理的高效与灵活性。

PostgreSQL-源码学习笔记(5)-索引

       索引是数据库中的关键结构，它加速了查询速度，尽管会增加内存和维护成本，但效益通常显著。在PG中，索引类型丰富多样，包括B-Tree、Hash、GIST、SP-GIST、GIN和BGIN。所有索引本质上都是独立的数据结构，与数据表并存。

       查询时，没有索引会导致全表扫描，效率低下。创建索引可以快速定位满足条件的元组，显著提升查询性能。PG中的索引操作函数，如pg_am中的注册，为上层模块提供了一致的接口，这些函数封装在IndexAmRoutine和IndexScanDesc中。

       B-Tree索引采用Lehman和Yao的算法，每个非根节点有兄弟指针，页面包含"high key"，用于快速扫描。PG的B-Tree构建和维护流程涉及BTBuildState、spool、元页信息等结构，包括创建、插入、扫描等操作。

       哈希索引在硬盘上实现，支持故障恢复。它的页面结构复杂，包括元页、aide表白源码论坛桶页、溢出页和位图页。插入和扫描索引元组时，需要动态管理元页缓存以提高效率。

       GiST和GIN索引提供了更大的灵活性，支持用户自定义索引方法。GiST适用于通用搜索，而GIN专为复合值索引设计，支持全文搜索。它们在创建时需要实现特定的访问方法和函数。

       尽管索引维护有成本，但总体上，它们对提高查询速度的价值不可忽视。了解并有效利用索引是数据库优化的重要环节。

PostgreSQL内核Trigger的一生

       本文简要介绍 PostgreSQL 数据库的 Trigger 从创建、存储、触发、执行、修改到删除的过程，贯穿 Trigger 的一生。

       文中引用的函数、结构体来源于 PG 源码，分支为 REL__STABLE，对应的 commit id 如下。此外还引用了 PG 官方文档。

       触发器简介

       Trigger 即触发器，它可以在特定事件发生时，对数据库中的对象执行特定操作：

       根据触发事件的不同，PG 的触发器分为两类：

       不同数据库中触发器的分类有所不同，比如 Oracle 分为 DML Trigger 和 System Trigger，SQL Server 分为 DML Trigger、DDL Trigger 和 Login Trigger，不论其如何划分，多数都可以与 PG 的触发器对应上。

       创建触发器语法

       首先介绍创建触发器的 SQL 和 PLpgSQL 语法。

       Trigger

       根据 PG 官方文档，创建 Trigger 的语法如下：

       下面以表 t1、t2 为例创建一个简单的触发器示例。表的定义如下：

       触发器定义如下，是表 t1 上的行级触发器，对 t1 进行 INSERT 之后会触发，并执行 insert_into_t2 函数，将插入到 t1 的数据也插入到 t2。

       insert_into_t2 函数定义如下，其中引用了上下文信息 NEW，表示插入到 t1 的数据，并将其插入到 t2。

       Event Trigger

       创建 Event Trigger 的语法如下，相比 Trigger 的语法要简单很多

       以下是 PG 官方文档中的一个简单示例，该 Event Trigger 可以在任何 DDL 语句执行之前触发，并抛出异常，禁止执行任何 DDL 语句。

       创建流程

       简单介绍创建触发器时 PG 内核中的函数调用流程。

       Trigger

       CREATE TRIGGER 命令都属于 DDL 语句，所以会进入 DDL 的处理流程，关键的调用路径为： ProcessUtilitySlow-->CreateTrigger-->CreateTriggerFiringOn，CreateTriggerFiringOn 函数代码超过 行，因此只介绍其中的关键步骤：

       Event Trigger

       CREATE EVENT TRIGGER 的关键调用路径为： standard_ProcessUtility-->CreateEventTrigger，该函数流程相对简单很多：

       触发器的存储

       用户创建的触发器必须持久化到数据库中，具体的存储位置是触发器相关的系统表中。

       Trigger

       Trigger 存储在 pg_trigger 系统表中，表中的关键字段如下，包含触发器所在的表、触发器名、触发器调用的函数、是否可推迟等属性。总之，通过 CREATE TRIGGER 创建触发器时指定的任何信息都会存储到系统表中。

       pg_trigger 系统表的各个字段在内存中用Trigger 结构体表示，定义如下，可见其成员变量与 pg_trigger 的属性是一一对应的。

       在内存中的 relcache（表缓存）中也同样保存有 Trigger 的信息：

       Event Trigger

       Event Trigger 存储在 pg_event_trigger 系统表中，关键字段如下，包含触发器名、调用的函数等信息。与 Trigger 不同的是，这里并不包含触发器所在的表，因为 Event Trigger 不属于任何一个表。

       触发过程

       触发器会在特定事件场景下被触发，它识别这些事件的方式也很简单，就是在对应事件的代码处调用触发器函数。

       Trigger

       对于普通的触发器，触发时机是 INSERT、UPDATE、DELETE 等操作之前或者之后，所以在 PG 的执行器阶段触发，多数在 ProcessQuery-->ExecutorRun-->ExecModifyTable 函数中

       我们将执行触发操作的函数称为“触发器的执行函数”，各类触发器的执行函数命名格式比较统一，在此列举几种：

       以ExecBRInsertTriggers 为例说明触发过程：

       Event Trigger

       事件触发器支持的事件仅有 ddl_command_start、ddl_command_end、table_rewrite 和 sql_drop 这四类，分别对应四个执行函数，其触发时机说明如下：

       以 EventTriggerDDLCommandStart 为例说明触发过程：

       调用功能函数

       用户在创建触发器的 EXECUTE { FUNCTION | PROCEDURE } function_name 语句中指定了该触发器要执行的功能函数。在触发器被触发后，会执行该函数。

       Trigger

       在执行器阶段触发时，ResultRelInfo 结构体中存有表上的各项信息，其中就包括表上的触发器、函数等，所以直接从中就可以拿到触发器信息。关键结构体为 ResultRelInfo、TriggerDesc、Trigger，其嵌套关系如下：

       将ResultRelInfo 中获取的 Trigger 结构体的全部内容都填充到 TriggerData 结构体，ExecCallTriggerFunc 函数再从 TriggerData 中获取函数 oid，并执行该函数。

       TriggerData 结构体定义如下，其中除了 Trigger 以外还保存了各种执行上下文信息，heap 表信息等，与函数的执行有关。

       TriggerData 最终会保存到PLpgSQL_execstate 中，这是 PLpgSQL 执行过程中的一个重要结构体：

       触发器的功能函数执行的方法与普通的 PLpgSQL 函数、存储过程执行方法是类似的，关键调用路径是： ExecCallTriggerFunc-->plpgsql_call_handler-->plpgsql_exec_trigger-->exec_toplevel_block-->exec_stmt_block-->…………

       Event Trigger

       对于事件触发器，在触发阶段的EventTriggerCommonSetup 函数中，通过 EventCacheLookup 从缓存中查找触发器功能函数，然后在 EventTriggerInvoke 中根据触发器函数的 oid 进行调用。

       EventTriggerCommonSetup 中还会填充 EventTriggerData 结构体，其中保存了调用过程中的一些关键信息：

       与普通触发器的 TriggerData 结构一样，EventTriggerData 结构体也会保存到PLpgSQL_execstate 中，在 PLpgSQL 执行过程中使用：

       事件触发器的功能函数实际执行步骤与普通触发器也基本相同，关键调用路径为： ExecCallTriggerFunc-->plpgsql_call_handler-->plpgsql_exec_event_trigger-->exec_toplevel_block-->exec_stmt_block-->…………

       修改触发器

       使用 ALTER 语句修改触发器的定义

       Trigger

       根据 PG 官方文档，ALTER TRIGGER 的语法如下：

       仅支持重命名和修改依赖的插件。

       重命名触发器的关键调用流程为：standard_ProcessUtility-->ExecRenameStmt-->renametrig，基本原理也是读取 pg_trigger 系统表的信息，修改以后写回系统表。

       修改触发器依赖插件的关键调用流程为：standard_ProcessUtility-->ExecAlterObjectDependsStmt，会修改 pg_depend 系统表。

       Event Trigger

       根据 PG 官方文档，ALTER EVENT TRIGGER 语法为：

       支持对事件触发器进行重命名、禁用、启用、修改 owner 的操作。

       ALTER TRIGGER 的关键函数是AlterEventTrigger，其内容较为简单：

       删除触发器

       使用 DROP 语句删除触发器

       Trigger

       PG 文档中 DROP TRIGGER 语法如下：

       删除触发器的关键函数是RemoveTriggerById，调用流程如下： ProcessUtilitySlow-->ExecDropStmt-->RemoveObjects-->performMultipleDeletions-->deleteObjectsInList-->deleteOneObject-->doDeletion-->RemoveTriggerById

       RemoveTriggerById 函数流程：

       Event Trigger

       PG 文档中 DROP EVENT TRIGGER 语法如下：

       删除事件触发器的关键函数是DropObjectById，这是一个公用的函数，可以删除多种类型的对象。

       调用流程如下： ProcessUtilitySlow-->ExecDropStmt-->RemoveObjects-->performMultipleDeletions-->deleteObjectsInList-->deleteOneObject-->doDeletion-->DropObjectById

在Linux（centos）中使用源码安装pgRouting

       在Linux（centos）环境下使用源码安装pgRouting前，请先确保已阅读并安装了PostgreSQL和PostGIS。

       本文将介绍如何安装pgRouting 2.6.3版本，其源码包可从以下地址下载：

       github.com/pgRouting/pg...

       一、解压pgRouting源码包

       将下载的源码包pgrouting-2.6.3.tar.gz复制到/usr/local/src目录，并执行解压操作：

       解压完成后，将生成一个名为pgrouting-2.6.3的目录。

       二、配置PostgreSQL环境变量

       编辑/etc/profile文件，添加以下内容：

       保存并退出，然后使profile配置文件立即生效：

       三、编译源代码

       进入pgrouting-2.6.3目录，创建build新文件夹，并进入该文件夹：

       使用cmake指令编译源代码，指定pgRouting安装路径为/usr/local/pgrouting-2.6.3：

       执行make编译源代码，然后使用make install安装pgrouting-2.6.3：

       为避免pgrouting找不到CGAL动态库，将CGAL动态库路径添加到ld.so.conf文件中：

       编辑/etc/ld.so.conf，添加路径：

       使ld.so.conf文件立即生效：

       至此，pgrouting-2.6.3已成功安装。

       四、测试安装

       切换到postgres用户，启动PostgreSQL数据库（若未启动则启动），进入psql：

       连接test数据库（可创建任意名称的数据库），创建pgrouting插件：

       查看test数据库中现有的所有插件，可以发现已成功安装了postgis和pgrouting插件。

CockroachDB 源码闲逛 - II (insert a row)

       本文将深入探讨 CockroachDB 的启动过程以及处理一条简单 SQL（如插入一行数据）的具体流程。CockroachDB 使用 Go 语言中流行的 Cobra 库来构建其命令行界面（CLI），在使用 `start` 命令启动服务端后，代码从特定位置开始执行。

       启动初期，CockroachDB 会准备好各种日志和 pprof 功能。pprof 功能允许通过开关控制定期导出 CPU 和内存（通过 go/jemalloc）的性能分析报告，并定期清除旧的 pprof 数据，这有助于在排查问题时找到事故现场的堆栈或性能数据。

       之后，服务端使用一个端口同时处理 PostgreSQL、HTTP 和 gRPC 协议，代码进入 `Server.start()` 方法。这个方法包含复杂的逻辑用于节点发现和 bootstrap。主要关注点在于 SQL 处理，尤其是 PostgreSQL 协议下的客户端连接。

       当客户端通过 PG 协议连接到服务端时，代码进入 `pgwire.Server#ServeConn` 方法。通过校验版本等步骤后，进入 `conn.serveImpl` 方法，这是处理请求的主要逻辑。在这里，每个客户端连接由两个 goroutine 分别处理读取协议解析和命令执行。这种设计允许在执行过程中同时接收客户端连接事件，例如在执行大规模 SQL 过程时，通过关闭其中一个 goroutine 可以在 SQL 执行的同时响应客户端的 `FIN` 指令。

       在客户端连接的两个 goroutine 准备好后，发送的 SQL 语句开始在 `coordinator-side` 进行处理。首先，`read goroutine` 解析网络包，并根据不同的 PG cmd 分发到相应的方法进行处理。对于简单的文本执行查询，`handleSimpleQuery` 方法相对简单。为了区分不同批量的命令，当一组命令推送到 `stmtBuf` 后，会插入一个哨兵 `Sync` 来标记当前批次结束以及后续命令属于下一个批次。

       随后，`process goroutine` 从 `stmtBuf` 中获取命令，根据不同的命令类型分发到相应的 `exec*` 方法。例如，简单查询产生的 `ExecStmt` 会进入 `execStmt` 方法，在此之前会创建 `stmtRes` 来封装后续返回客户端响应的缓冲区刷新逻辑。

       在处理 SQL 语句时，CockroachDB 会维护一个状态机（StateMachine），用于管理当前连接的事务状态。状态机的定义和行为主要与事务相关，包括 `noTxn`、`open`、`abort`、`implicit` 等状态。在处理插入一行数据的简单语句（如 `INSERT INTO t (a) VALUES (1);`）时，流程如下：

       首先，客户端与服务端建立连接，启动两个 goroutine。当插入语句发送到服务端后，`read goroutine` 开始解析并放置到 `stmtBuf`。

       随后，`process goroutine` 从 `stmtBuf` 拿出命令，识别为 `ExecStmt`。由于执行此语句前未开始事务，当前连接的状态机处于 `stateNoTxn`。因此，执行 `execStmtInNoTxnState` 方法，因为没有事务，仅执行 `execStmtInNoTxnState` 的默认分支，返回 `eventTxnStart` 事件和 `eventTxnStartPayload`。此时，状态机应用 `noTxnToOpen` 进程，为隐式事务的启动做准备。服务端通过 `client.NewTxn` 创建事务，获取时间戳并准备 `sender` 和 `coordinator` 等工作。接着，设置 `advanceInfo` 为 `advanceOne`、`noRewind`（无需回移 `stmtBuf`，通常重试时需要回移）和 `txnState` 为 `txnStart`。事务状态为 `open` 后，`execCmd` 会从 `stmtBuf` 中继续取出插入语句并执行。

       当当前事务状态为 `open` 且为 `implicit` 时，`execStmtInOpenState` 方法继续执行。由于当前 SQL 不是 `BEGIN`、`COMMIT` 等操作，挂载了 `handleAutoCommit` 的 `defer` 函数，并处理 `AS OF` 时间逻辑后，进入 `dispatchToExecutionEngine` 方法。

       在 `makeExecPlan` 方法中，创建逻辑计划。接下来，评估是否能够分布执行逻辑计划（对于插入操作，CockroachDB 当前不支持分布式计划）。然后，为逻辑计划准备上下文，调用 `execWithDistSQLEngine`。对于不可分布执行的情况，创建简化版的 `planCtx`，用于生成物理计划。在此步骤中，生成物理计划（如 `row count` 算子）并最终生成执行流程。

       在准备和生成流程后，服务端启动在本地节点的执行流程。通过 `local execution` 的 `setup` 和 `run` 方法，执行生成的处理器（如 `planNodeToRowSource`）。在 `run` 方法中，执行 `rowCountNode` 算子，进而触发 `insertNode` 的 `BatchNext`，以火山模式（一次过一个批处理的多个行）执行插入操作。

       插入操作中，`BatchNext` 分批处理，根据 `maxInsertBatchSize`（默认为 ）进行分批。对于非最后一批次，会通过 `txn.Run` 发送至存储节点，将数据分批存储。在 `checkHelper` 函数中，检查表约束，分为 `eval` 和 `input` 模式，前者是老逻辑，后者在插入前检查约束结果，作为插入算子的输入，有利于优化插入操作。

       添加批处理时，调用 `initResult` 准备每个 `CPut` 的结果。如果批处理中某个命令失败（如序列化失败），会在 `initResult` 中保存序列化失败信息。

       之后，将准备好的批处理发送至 `replica-side`。在 `finalize` 中，将 `EndTransactionRequest` 添加到批处理的末尾，通过 `txn.Run` 发起。此时，批处理中包含一个条件 `put` 和一个结束事务请求，服务端通过 `DistSender.Send` 将批处理发送至 `replica-side`。批处理中的 `result` 包含 `err` 信息，用于验证批处理序列化无误。

       在 `replica-side`，请求到达节点的存储层，找到相关范围的副本对象并处理等待逻辑。对于写入操作，使用 Raft 进行 `Replica.executeWriteBatch`。在此方法中，使用 `Latch` 机制来优化对交叠和非交叠批处理的处理，同时执行批处理命令的 `evaluateWriteBatch` 方法将所有命令应用到数据中，生成 `engine.Batch` 并构建 `ProposalData`。最终，通过 Raft 提出修改，实现数据的最终一致性。

       最后，执行成功或失败后，结果会沿原路径返回至客户端。

       总结，本文详细阐述了 CockroachDB 从启动到处理简单 SQL（如插入操作）的全过程。通过深入分析，读者能够更好地理解 CockroachDB 的内部工作机制，为后续阅读代码提供基础。未来计划将关注点扩展到重试处理逻辑，进一步探索 `stmtBuf` 和状态机在 CockroachDB 中的使用。