皮皮网

1.一文读懂Linux系统的码分write调用
2.PostgreSQL · 源码分析 · 回放分析（一）
3.I/O源码分析(3)--BufferedOutputStream之秒懂"flush"
4.33张图解析ReentrantReadWriteLock源码
5.linux系统调用之write源码解析（基于linux0.11）

一文读懂Linux系统的write调用

       本文旨在澄清Linux系统中的write调用特性。许多人对write调用的码分原子性存在疑问，本文将通过实例和分析给出答案。码分

       首先，码分明确一点，码分write调用并不能保证整个写操作是码分glic源码原子的。以写入字节的码分缓冲区到文件为例，Linux内核并不能确保这个操作在单次调用中顺利完成，码分因为存在一些不可忽视的码分因素。尽管如此，码分write设计的码分初衷是考虑到系统的复杂性和安全性，它保证的码分是在共享文件描述符的上下文中，每个write调用在写入数据时是码分原子且不可中断的，即线程或进程之间的码分写入顺序不会交错。

       当两个独立进程分别对文件进行写入，码分如进程A写'a'，进程B写'b'，结果可能为'aaabbb'或'bbbaaa'，而非交错。若希望避免交错，需要在打开文件时使用O_APPEND模式。

       write调用的原子性保障主要局限于共享文件结构的范围，而非独立文件。在多线程或多进程共享文件时，用户程序需要自行处理短写问题，例如使用锁保护，以确保写入完整。

       一些关键应用，如Apache和Nginx的日志记录，通过使用APPEND模式来保证独立的原子写入。然而，hdfs源码分析整理即便有这些保证，我自己的一个分析TCP数据包程序实例中，尽管理论上应保证原子性，但有时仍会发现数据包信息被覆盖，这提示了潜在的问题。

       在深入调查后，我发现了write调用在3.社区版内核中存在race条件。通过分析代码，我发现了一个在1和2或者2和3之间可能发生并发问题的场景。通过加载特定模块和调整操作，我成功重现了问题，验证了write调用的原子性在此版本中并未得到充分保证。

       幸运的是，这个问题在3.以后的内核版本中已被修复。通过查阅文档和源码，我发现该问题早在那时就已经被注意到并修复。从这个经历中，我们学习到在遇到问题时，查阅文档比直接分析代码可能更有效率。

       最后，虽然2.6.内核在理论上也存在相同问题，但在Centos这样的稳定版内核中，这些问题通常会被修复，从而避免了实际问题的出现。

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。lol封号查询源码为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。dnf源码是什么WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、vc2010源码Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

I/O源码分析(3)--BufferedOutputStream之秒懂"flush"

       本文基于JDK1.8，深入剖析了BufferedOutputStream的源码，帮助理解缓冲输出流的工作机制。

       BufferedOutputStream，作为与缓冲输入流相对应的面向字节的IO类，其主要功能是通过write方法进行字节写出操作，并在调用flush方法时清除缓存区中的剩余字节。

       其继承体系主要包括了基本的输出流类，如OutputStream。

       相较于缓冲输入流，BufferedOutputStream的方法相对较少，但功能同样强大。

       BufferedOutputStream内部包含两个核心成员变量：buf代表缓冲区，count记录缓冲区中可写出的字节数。

       构造函数默认初始化缓冲区大小为8M，若指定大小则按指定大小初始化。

       BufferedOutputStream提供了两种主要的写方法：write(int b)用于写出单个字节，以及write(byte[] b, int off, int len)用于从数组中写出指定长度的字节。在内部实现中，使用System.arraycopy函数加速字节的复制过程。

       对于上述方法在调用之后，均会进行缓冲区的清空操作，即调用内部的flushBuffer()方法。然而，用户直接调用的公有flush()方法有何意义呢？

       在实际应用中，当使用BufferedOutputStream进行高效输出时，用户可能需要在程序结束前调用flush()方法，以确保所有未输出的字节都能被正确处理。避免了在程序未结束时输出流的缓存区中出现未输出的字节。

       flush()方法内部逻辑简单，主要通过调用继承自FilterOutputStream的out变量的flush()方法实现缓存区的清空，并将缓冲区的字节全部输出。同时，由于Java的IO流采用装饰器模式，该过程也包括了调用其他实现缓冲功能类的flush方法。

       为验证flush()方法的功能，本文进行了简单的测试，通过初始化缓冲区大小为5个字节，分别测试了不调用flush()、调用close()与不调用flush()、不调用close()的情况。

       测试结果显示，不调用flush()而调用close()时，输出为一个特殊符号，表明字节被正确输出。而在不调用flush()且不调用close()的情况下，输出为空，说明有字节丢失。

       值得注意的是，如果在测试时定义的字节数组长度超过缓冲区大小，BufferedOutputStream可能直接使用加速机制全部写出，无需调用flush()。

       综上所述，使用BufferedOutputStream时，养成在程序结束前调用flush()的习惯，能有效避免因缓存区未清空导致的数据丢失问题，确保程序的稳定性和可靠性。

张图解析ReentrantReadWriteLock源码

       今天，我们深入探讨ReentrantReadWriteLock源码，解析其内部结构与工作原理。文章分为多个部分，逐一剖析读写锁的创建、获取与释放过程。

       读写锁规范与实现

       ReentrantReadWriteLock（简称RRW）作为读写锁，其核心功能在于控制并发访问的读与写操作。为了规范读写锁的使用，RRW首先声明了ReadWriteLock接口，并通过ReadLock与WriteLock实现接口，确保读锁与写锁的正确操作。

       为了实现锁的基本功能，WriteLock与ReadLock都继承了Lock接口。这些类内部依赖于AQS（AbstractQueuedSynchronizer）抽象类，AQS为加锁和解锁过程提供了统一的模板函数，简化了锁实现的复杂性。

       核心组件与流程

       AQS提供了一套多线程访问共享资源的同步模板，包括tryAcquire、release等核心抽象函数。WriteLock与ReadLock通过继承Sync类，实现了AQS中的tryAcquire、release（写锁）和tryAcquireShared、tryReleaseShared（读锁）函数。

       Sync类在ReentrantReadWriteLock中扮演关键角色，它不仅实现了AQS的抽象函数，还通过位运算优化了读写锁状态的存储，减少了资源消耗。此外，Sync类还定义了HoldCounter与ThreadLocalHoldCounter，进一步管理锁的状态与操作。

       公平与非公平策略

       为了适应不同场景的需求，ReentrantReadWriteLock支持公平与非公平策略。通过Sync类的FairSync与NonfairSync子类，实现了读锁与写锁的阻塞控制。公平策略确保了线程按顺序获取锁，而非公平策略允许各线程独立竞争。

       全局图与细节解析

       文章最后，构建了一张全局图，清晰展示了ReentrantReadWriteLock的各个组件及其相互关系。通过深入细节，分别解释了读写锁的创建、获取与释放过程。以Lock接口的lock与unlock方法为主线，追踪了从Sync类出发的实现路径，包括tryAcquire、tryRelease等核心函数，以及它们在流程图中的表现。

       总结，ReentrantReadWriteLock通过继承AQS并扩展公平与非公平策略，实现了高效、灵活的读写锁功能。通过精心设计的Sync类及其相关组件，确保了多线程环境下的并发控制与资源访问优化。深入理解其内部实现，有助于在实际项目中更好地应用读写锁，提升并发性能与系统稳定性。

linux系统调用之write源码解析（基于linux0.）

       Linux系统的write函数在底层操作上与read函数有相似之处。本文主要关注一般文件的写操作，我们首先从入口函数开始解析。

       进入file_write函数，它的核心逻辑是根据文件inode中的信息，确定要写入的硬盘位置，即块号。如果目标块已存在，就直接返回块号；若不存在，则需要创建新的块。这个过程涉及到bmap函数，它负责根据文件系统状态为新块申请空间并标记为已使用。

       创建新块的过程涉及到文件系统的超级块，通过检查当前块的使用情况，申请一个空闲块，并更新超级块以标记其为已使用。接着，超级块信息会被写回到硬盘，同时返回新建的块号。

       回到file_write，处理完块的逻辑后，由于是新创建的块，其内容默认为0。这时，bread函数会读取新块的内容，这部分逻辑可以参考read函数的分析。读取后，用户数据会被写入buffer，同时标记为待写回（脏）状态。重要的是，数据实际上并未立即写入硬盘，而是先存储在缓存中。系统会通过后台线程定期将缓存中的内容刷新到硬盘。