1.PGRelief软件功能
2.干货 | PostgreSQL数据表文件底层结构布局分析
3.PostgreSQL源码学习笔记(6)-查询编译
4.PostgreSQL · 源码分析 · 回放分析（一）
5.PostgreSQL中的源码tempfile探究
6.PostgreSQL-源码学习笔记(5)-索引

PGRelief软件功能

       PGRelief软件提供了一系列强大且实用的功能，旨在提升代码管理的分析效率和质量。首先，源码其深入的分析摘录功能通过深入解析源代码，精准地识别出可能导致问题的源码代码片段，有助于提前发现并解决潜在的分析软件源码管理防泄漏障碍点。

       评审辅助功能是源码其亮点之一，它对源代码实施精细到行级的分析指摘，显著提高了代码评审的源码效率。这意味着开发者可以更快地定位和理解代码中的分析关键部分，节省了大量时间和精力。源码

       此外，分析PGRelief还具备复杂度计算功能，源码它能对源代码进行深入的分析统计分析，其中包括了McCabe复杂度评估。源码这种功能有助于评估代码的可维护性和可读性，从而帮助开发者优化代码结构，提高开发的整体品质。

       综上所述，PGRelief软件凭借其强大的指摘、评审辅助和复杂度计算功能，为软件开发过程中的问题发现、审查和优化提供了有力的支持，是提升开发效率和代码质量的重要工具。

干货 | PostgreSQL数据表文件底层结构布局分析

       PostgreSQL提供了稳定、可靠的数据存储与管理功能，用户无需深究其底层原理，只需完成建库、建表、插入数据等基本操作，数据即可被持久化于PostgreSQL数据库中。然而，对于数据存储在磁盘上的位置、形式以及格式，我们充满好奇。本文旨在通过源码分析与实践操作，深入解析PostgreSQL底层数据的存储方式。

       在PostgreSQL中，每个表由一个或多个堆文件表示，每个文件默认为1GB大小。当文件达到1GB后，laya源码PostgreSQL会创建新的堆文件。文件命名遵循特定规则：表OID加上序号ID（从1开始递增）。例如，一个名为student的表对应的堆文件名是。

       数据库和表文件名由OID命名，定义在postgres_ext.h文件中。当数据被存储在PostgreSQL中时，用户插入的数据会依次存储在常规文件中，这些文件被称为堆文件。堆文件有四种类型：普通堆文件、临时堆文件、序列堆文件和TOAST表堆文件。其中，普通堆文件用于常规数据存储。

       在研究表文件之前，需知晓PostgreSQL的数据目录位置，即PGDATA。通过psql命令SHOW DATA_DIRECTORY可以获取。对于关系型数据库，所有表都按数据库进行管理，即表属于特定数据库。

       在没有数据时，文件大小为0字节。插入数据后，文件大小会增加至8KB。PostgreSQL在向表中插入数据时，以8KB为单位进行管理。文件大小达到1GB后，创建新文件，继续上述过程。

       堆表文件由页组成，页的默认大小为8KB。每个页包含页头、行指针和堆元组。页头数据结构包括页的最后更改的LSN、校验和、位标志、空闲空间的开始和结束位置、特殊空间起始偏移量、页面大小及版本号、LDAC源码可删除的旧XID、行指针数组。

       行指针数组用于索引元组，数组元素个数取决于页中元组的数量。元组结构分为普通数据元组和TOAST元组，用于存储变长数据。普通元组包含堆元组头部、位图和用户存储的数据。头部结构包含事务ID、事务ID、命令ID、元组表示符和元组状态信息。

       为了查看堆表文件的详细信息，PostgreSQL提供扩展功能如pageinspect，可通过SQL命令创建使用。使用page_header()、get_raw_page()、heap_page_items()等函数可获取页头信息、元组头部信息和数据信息。

       借助工具如hexdump和od，可以将二进制文件转换为十六进制编码，便于分析堆表文件的数据内容。通过分析页头、行指针和元组结构，可以深入了解PostgreSQL表文件的底层布局。

PostgreSQL源码学习笔记(6)-查询编译

       查询模块是数据库与用户进行交互的模块，允许用户使用结构化查询语言(SQL)或其它高级语言在高层次上表达查询任务，并将用户的查询命令转化成数据库上的操作序列并执行。查询处理分为查询编译与查询执行两个阶段：

       当PostgreSQL的后台进程Postgres接收到查询命令后，首先传递到查询分析模块，进行词法，语法与语义分析。用户的查询命令，如SELECT，CREATE TABLE等，会被构建为原始解析树，然后交给查询重写模块。查询重写模块根据解析树及参数执行解析分析及规则重写，得到查询树，最后输入计划模块得到计划树。源码治疗

       整个查询编译的函数调用流程包括查询分析、查询重写与计划生成三个阶段。查询分析涉及词法分析、语法分析与语义分析，分别由Lex与Yacc工具完成。词法分析识别输入的SQL命令中的模式，语法分析找出这些模式的组合，形成解析树。出于与用户交互的考虑，语义分析与重写放在另一个函数处理，以避免在输入语句时立即执行事务操作。Lex与Yacc是词法与语法分析工具，分别通过正则表达式解析与语法结构定义，生成用于分析的C语言代码。

       查询分析由pg_parse_query函数与pg_analyze_and_rewrite函数完成。pg_parse_query处理词法与语法分析，而语义分析与重写在pg_analyze_and_rewrite函数中进行。语义分析需要访问数据库系统表，以检查命令中的表或字段是否存在，以及聚合函数的适用性。

       查询重写核心在于规则系统，存储在pg_rewrite系统表中。规则系统由一系列重写规则组成，包括创建规则、删除规则以及利用规则进行查询重写三个操作。规则系统提供定义、删除规则以及利用规则优化查询的功能。PG中实现多种查询优化策略，包括谓语下滑、WHERE语句合并等，通过动态规划与遗传算法选择代价最小的执行方案。

       查询规划的总体过程包括预处理、生成路径和生成计划三个阶段。预处理阶段消除冗余条件、减少递归层数与简化路径生成。提升子链接与子查询是预处理中的关键步骤，通过将子查询提升至与父查询相同的优化等级，提高查询效率。提升子链接与子查询的函数包括pull_up_sublinks与pull_up_subqueries。

       在路径生成阶段，源码大叔优化器检查MIN/MAX聚集函数的存在与索引条件，生成通过索引扫描获得最大值或最小值的路径。表达式预处理由preprocess_expression函数完成，包括目标链表、WHERE语句、HAVING谓语等的处理。HAVING子句的提升或保留取决于是否包含聚集条件。删除冗余信息以优化路径生成。

       生成路径的入口函数query_planner负责找到从一组基本表到最终连接表的最高效路径。路径生成算法包括动态规划与遗传算法，分别解决路径选择与状态传递问题。路径生成流程涉及make_one_rel函数，最终生成最优路径并转换为执行计划。

       在得到最优路径后，优化器根据路径生成对应的执行计划。创建计划的入口函数create_plan提供顺序扫描、采样扫描、索引扫描与TID扫描等计划生成。整理计划树函数set_plan_references负责最后的细节调整，优化执行器执行效率。代价估算考虑磁盘I/O与CPU时间，根据统计信息与查询条件估计路径代价。

       查询编译与规划是数据库性能的关键环节。PostgreSQL通过高效的查询分析、重写与规划，生成最优执行计划，显著提高查询执行效率。动态规划与遗传算法等优化策略的应用，确保了查询处理的高效与灵活性。

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

PostgreSQL中的tempfile探究

       PostgreSQL中的tempfile功能在处理数据库操作时发挥着关键作用，特别是当内存不足以存储sql中间结果时。tempfile的生命周期和其管理是本文探讨的核心。

       tempfile的产生主要在ExecSorts、ExecHashJoin、ExecMergejoin等操作中，当work_mem或temp_buffers不足以容纳数据时。BufFileWrite函数负责写入tempfile，一次写入量默认为byte（BLCKSZ），大小由temp_file_limit参数控制，若未配置则按需分配。例如，查询MB数据时，可能会生成约MB的tempfile，文件大小会随着写入的增加而递增，直到达到8K的边界。

       tempfile的消除则在hashjoin结束、事务提交或回滚后通过FileClose函数进行。在数据库启动时，PostMaster也会清理遗留tempfile。不过，如果temp_file_limit设置过小，且连续实例产生大量tempfile，可能会导致磁盘空间不足的风险。在正常情况下，crash后tempfile不会被清理，因为pg进程会立即退出，但这种设计可能在极端情况下存在隐患。

       为降低风险，文章作者提出了在crash后清理tempfile的方案，比如在数据库启动的startup阶段加入清理逻辑。通过实际测试，发现这种方法有效。更深入的源码分析可在fd.c文件中找到，对于PostgreSQL的最新动态和资源，可以访问中国PostgreSQL官方网站和相关社区。

PostgreSQL-源码学习笔记(5)-索引

       索引是数据库中的关键结构，它加速了查询速度，尽管会增加内存和维护成本，但效益通常显著。在PG中，索引类型丰富多样，包括B-Tree、Hash、GIST、SP-GIST、GIN和BGIN。所有索引本质上都是独立的数据结构，与数据表并存。

       查询时，没有索引会导致全表扫描，效率低下。创建索引可以快速定位满足条件的元组，显著提升查询性能。PG中的索引操作函数，如pg_am中的注册，为上层模块提供了一致的接口，这些函数封装在IndexAmRoutine和IndexScanDesc中。

       B-Tree索引采用Lehman和Yao的算法，每个非根节点有兄弟指针，页面包含"high key"，用于快速扫描。PG的B-Tree构建和维护流程涉及BTBuildState、spool、元页信息等结构，包括创建、插入、扫描等操作。

       哈希索引在硬盘上实现，支持故障恢复。它的页面结构复杂，包括元页、桶页、溢出页和位图页。插入和扫描索引元组时，需要动态管理元页缓存以提高效率。

       GiST和GIN索引提供了更大的灵活性，支持用户自定义索引方法。GiST适用于通用搜索，而GIN专为复合值索引设计，支持全文搜索。它们在创建时需要实现特定的访问方法和函数。

       尽管索引维护有成本，但总体上，它们对提高查询速度的价值不可忽视。了解并有效利用索引是数据库优化的重要环节。

在Linux（centos）中使用源码安装pgRouting

       在Linux（centos）环境下使用源码安装pgRouting前，请先确保已阅读并安装了PostgreSQL和PostGIS。

       本文将介绍如何安装pgRouting 2.6.3版本，其源码包可从以下地址下载：

       github.com/pgRouting/pg...

       一、解压pgRouting源码包

       将下载的源码包pgrouting-2.6.3.tar.gz复制到/usr/local/src目录，并执行解压操作：

       解压完成后，将生成一个名为pgrouting-2.6.3的目录。

       二、配置PostgreSQL环境变量

       编辑/etc/profile文件，添加以下内容：

       保存并退出，然后使profile配置文件立即生效：

       三、编译源代码

       进入pgrouting-2.6.3目录，创建build新文件夹，并进入该文件夹：

       使用cmake指令编译源代码，指定pgRouting安装路径为/usr/local/pgrouting-2.6.3：

       执行make编译源代码，然后使用make install安装pgrouting-2.6.3：

       为避免pgrouting找不到CGAL动态库，将CGAL动态库路径添加到ld.so.conf文件中：

       编辑/etc/ld.so.conf，添加路径：

       使ld.so.conf文件立即生效：

       至此，pgrouting-2.6.3已成功安装。

       四、测试安装

       切换到postgres用户，启动PostgreSQL数据库（若未启动则启动），进入psql：

       连接test数据库（可创建任意名称的数据库），创建pgrouting插件：

       查看test数据库中现有的所有插件，可以发现已成功安装了postgis和pgrouting插件。