1.commitԴ?源码?
2.MySQL XA事务源码分析
3.越学越多——获取虚幻源码
4.BoltDB源码解析（二）事务
5.BoltDB源码解析（七）Put和Delete操作

commitԴ??

       React设计原理详解：深入理解React 源码（一）

       React的核心工具之一是jsx，它是源码一种语法扩展，开发者编写的源码代码会被Babel编译成ReactElement，进一步转化为FiberNode，源码这是源码一种虚拟DOM在React中的实现，它能表达组件状态和节点关系，源码启用源码镜像同时具备可扩展性。源码

       FiberNode的源码工作方式采用深度优先遍历(DFS)策略，递归地处理ReactElement。源码在渲染过程中，源码递归分为beginWork（开始工作）和completeWork（完成工作）两个阶段。源码在ReactDOM的源码createRoot和render方法中，scheduleUpdateOnFiber和processUpdateQueue负责更新和创建子fiber节点。源码

       在commit阶段，源码关键步骤包括执行root上的源码mutation，以及对Host类型的FiberNode构建离屏DOM树。ChildReconciler的两个关键点是子ReactElement到子fiber的创建方式和flag标识的设置。最后，学习者需要注意的是，通过阅读本文，可以关注以下三点：

       理解jsx与FiberNode的关系

       掌握React的递归渲染过程和commit阶段的子阶段

       反思和分享你的学习体验，一起探讨React的深入知识

       如果你觉得这篇文章有价值，别忘了在留言区分享你的见解，或者将其推荐给你的朋友。让我们一起深化对React 源码的理解。

MySQL XA事务源码分析

       事务类型外部 XA PREPARE 流程

       省流版：

       详细版：

       外部 XA COMMIT 过程

       省流版：

       详细版：

       外部 XA 2PC 阶段 Log 落盘顺序

       ------------------- XA PREPARE START -------------------------

       ------------------- XA PREPARE END -------------------------

       .

       .

       .

       .

       .

       .

       ------------------- XA COMMIT START -------------------------

       ------------------- XA COMMIT END -------------------------

       本地事务 commit 流程

       省流版

       与外部 XA PREPARE 2PC 的不同

       与外部 XA COMMIT 的不同

       详细版：

       ------------------- PREPARE START -------------------------

       ------------------- PREPARE END -------------------------

       ------------------- COMMIT START -------------------------

       ------------------- COMMIT END -------------------------

       外部 XA ROLLBACK 流程

       省流版（Not Prepared Rollback 和 Prepared Rollback 的不同之处）

       详细版

       Not Prepared Rollback（在 end - prepare 之间 rollback）

       Prepared Rollback（在 prepare 之后 rollback）

       外部 XA RECOVERY 流程

       省流版

       详细版

       本地事务 RECOVERY 流程

       省流版

       详细版

       为什么只遍历最后一个binlog文件：

       rotate 到新的 binlog 文件前，redo log 强制落盘，因此redo commit记录会落盘，保证老的binlog文件没有正在提交的事务

越学越多——获取虚幻源码

       游戏开发领域，知识永无止境。

       那么，如何获取虚幻引擎的源码呢？

       获得源码方法一：

       官方教程：unrealengine.com/zh-CN/...

       第一步：关联账户

       1. 打开Epic Games启动器，点击管理账户后，跳转网页。

       2. 如果网页无法打开，直接访问unrealengine.com/accoun...

       3. 进入后，点击关联GitHub账户，点击授权EpicGames按钮，ioc源码详解完成OAuth应用授权流程。

       4. 接收邮件，加入GitHub上的@EpicGames组织。

       第二步：下载源码

       1. 登录GitHub账号。

       2. 在GitHub个人页面点击右上角Your profile，进入后点击这个图标（有这个图标表示已经加入虚幻组织）。

       3. 进入后，找到虚幻源码仓库，双击进入。

       4. 下载源码。

       第三步：打开源码文件

       1. 下载后解压，地址不能有中文和空格。

       2. 运行setup.bat，可能报错无法下载。

       - 第一种错误：Failed to download 'cdn.unrealengine.com/de...': 远程服务器返回错误: () 已禁止。 (WebException)

       解决办法：要解决此问题，您需要获取位于此处的文件：github.com/EpicGames/Un...

       然后替换engine/build/commit.gitdeps.xml版本中的文件。

       文件在这，点击下载Commit.gitdeps.xml。

       - 第二种错误：下载至%时，下载失败。

       解决办法：UE4源码下载对于文件路径长度有要求，将文件夹名字改短即可，6个字符长度。

       再次运行Setup.bat，即可成功。这个阶段时间很长。

       双击运行GenerateProjectFiles.bat文件，运行结束会生成UE5.sln文件，这个就是源码啦！

       获取源码方法二：

       这个方法适合只是想要了解学习引擎底层原理，并不用于编译的情况。

       快速打开代码去查看，一般用于非程序人员想要进阶了解引擎原理的时候。

       前提，安装Visual Studio。

       第一步：打开虚幻引擎工程。macd能量源码

       第二步：新建蓝图类，比如actor。

       第三步：新建C++组件，选择actor组件。

       第四步：创建类。

       第五步：完成，在Visual Studio里查看代码。

BoltDB源码解析（二）事务

       最近几天一直在研究BoltDB的代码，现在对它有了更深入的了解。这篇主要介绍BoltDB的事务处理。

       BoltDB的事务主要分为两类：一类是只读事务，另一类是读写事务。只读事务仅允许读取操作，而读写事务则可以同时进行读取和写入操作。在并发控制方面，BoltDB允许任意多个只读事务同时进行，但读写事务只能有一个。

       BoltDB支持一定程度的多版本并发控制（MVCC），这意味着读事务不会阻塞写事务，反之亦然。在程序运行过程中，你可能会发现多个读事务和一个写事务在同时进行。

       只读事务是通过db.View方法执行的，具体代码如下：

       Bolt的注释非常清晰，每一步都标明了具体操作。db.begin是新建一个transaction，而fn参数是用户传递的事务主体函数。

       注意，只读事务不会调用transaction的commit函数，除非发生error，此时需要调用t.Rollback()进行清理工作。

       读写事务是通过db.update执行的，整体上和View的代码类似，但是会创建一个读写事务。

       读写事务如果没有发生错误，最后会调用Commit方法，将事务进行的qr识别源码修改持久化到DB文件里，实现事务ACID特性里的“D"。

       BoltDB使用B-tree作为磁盘数据结构，在事务commit时，所有在内存中的修改都要持久化到磁盘上。在事务commit时，所有修改都需要持久化到多个新page里。

       读事务实现得比较简单，就是在基于mmap的B-tree上搜索到具体的key，返回对应的value。为了提升性能，BoltDB全程尽量避免copy。

       写事务比读事务要复杂，BoltDB如果需要修改一个page上的数据，首先会通过B-tree搜索定位到具体的key所在的leaf page，但它不会直接在这个page上修改，而是把这个page的数据copy到一个叫node的内存结构体里，修改是在node结构体里做的。

       在写事务中，所有的修改都暂存在内存里，在事务commit之前不会持久化。在事务commit的时候，所有的修改都要持久化。

       因此，BoltDB的使用建议是，一个事务做的事情不要太多，这样不必耗费太多内存保存中间状态，commit也不至于耗时太多。

BoltDB源码解析（七）Put和Delete操作

       Put和Delete的实现

       上一篇文章我们了解了BoltDB的Get API的实现。现在，我们来探讨Put和Delete API的实现：

       Put API的主要功能是将一对键值对插入到Bucket中，如果键已经存在，则更新对应的值。首先，进行一些限制条件的检查，例如Put操作是否由写事务发起的，因为Put只能由写事务调用。此外，看懂tcpip源码还需要检查键和值的大小是否符合限制条件。需要注意的是，Put操作和Get操作一样，这里也使用了Cursor来定位键应该放置的位置。

       在实际的Put操作中，会调用Cursor的一个不显眼的方法：

       这个方法实际上非常有用，它从当前Bucket的B-tree的根节点开始，一直到Cursor定位到的leaf page，为每个page创建一个对应的node结构。当然，如果一个page已经有对应的node，就直接使用它。

       为什么要这么做呢？这是因为事务篇中提到的修改操作具有“传染性”，修改B-tree的leaf节点会导致从root到leaf的所有page都需要修改，而BoltDB的修改操作都是在page对应的node里进行的，不是直接在page上修改，因此需要为这些page建立node结构。具体建立node结构的是Bucket的node方法：

       Bucket的node方法有两处需要注意，一个是新建的node会被追加到parent node的children中，记录下这些修改的node之间的关系，这个children在node持久化时会有用(node.spill方法)。另一个是node的数据是如何从page中读取的，这是由node的read方法完成的。

       node建立好之后，就在要修改的leaf对应的node上调用put方法：

       node的put方法相对简单，它是在inodes数组上查找对应的位置，如果exact为true，表示找到了相同的key，直接更新value；如果exact为false，相当于找到了应该插入的位置，然后在对应的inode上记录数据。我们来看一下inodes数组的定义：

       inodes数组是node实际存储数据的地方，由多个inode组成，每个不同的key对应一个不同的inode，inode之间是按key排序的。对于leaf节点来说，inode里使用key和value；对于branch节点来说，inode里使用key和pgid，pgid代表一个child page的id。value和pgid不会同时使用。

       put方法结束后，当前的Put操作也就结束了。也就是说，Put操作所做的仅仅是把新增或修改的数据放入到它所在的page对应的node内存中。

       顺便提一下Delete操作，它和Put操作非常类似，在建立起node结构之后，在对应的node的inodes数组中删除找到的key相等的inode就完成了，这里不再展开。

       那么，什么时候会把这些node里的数据持久化到DB文件里呢？是在整个写事务commit的时候。

       事务的Commit实现

       下面是事务commit的代码简化，保留了重要部分：

       Commit的整体流程比较长，下面一点一点进行说明。

       tx.root.rebalance()，这个root是root Bucket，rebalance是对root Bucket下所有子Bucket的所有node进行rebalance。这是什么意思？注意node的初始数据虽然来自一个page，但在经历了一些Delete操作后，有些node里面的数据可能过少，这时会先把这个node和它的左兄弟或右兄弟node合并(node的rebalance方法)，合并后node数会减少，但不存在node里数据过少的情况。这个操作对应于B-tree的merge操作，只不过这些node都是Go的内存结构，合并起来非常简单。当然，合并后把这些node spill到page的操作，需要的page总数也会减少。

       tx.root.spill()，这个方法是把root Bucket下所有子Bucket的所有node的内容都写入这个事务分配的dirty page里。注意这些dirty page是这个事务临时分配在内存里的，结构和DB文件的page完全一样，但还不是mmap映射的DB的page。

       刚开始看到spill这个方法时，感觉它代价有些高，感觉像是把整个B-tree都走了一遍。后来仔细看才发现不是这么回事。这个spill只对有node结构的节点进行处理，那些没修改过的page没有对应的node，根本不会处理。

       注意在经过多次Put操作后，node里存放的数据可能出现一个page写不下的情况，比如insert了几千个key value。spill会先把这样的node split成多个大小合适的node(node的split方法)，然后把这些node分别写入不同的page中。这个操作对应于B-tree的split操作。和rebalance方法类似的道理，因为这些node都是Go的内存结构，split起来非常容易。

       if tx.meta.pgid > opgid，这个判断是看当前事务需要的page数是否大于事务执行前DB文件有的page数，如果大于，说明DB文件放不下了，就调用db.grow增大文件，以容纳新增的page。

       紧接着是freelist的持久化操作，因为写事务可能使用了freelist里的一些page，同时也可能释放了一些page到freelist里，所以freelist很可能发生了变化，需要持久化。

       tx.write()，这个方法就是把所有的临时分配的dirty page都写入DB文件对应的page里。

       tx.writeMeta()，这个方法是把这个tx里的meta写到meta0或者meta1里面（写事务会交替写这两个meta page，这也是个常用技术，叫ping-pong buffer）。它的代码值得看一下：

       首先把meta写到临时分配的buf里，然后用文件IO写到DB文件里，最后调用fdatasync，把OS文件的buffer cache持久化到磁盘上。至此，写事务的所有数据都已经落盘完毕。后面新开启的事务会因为这个meta的txid是最大的，而选择使用这个最新的meta page。而这个meta page包括最新的root bucket，最新的freelist，最新的pgid，这些总体构成了一个DB的最新版本，保证新开启的事务读到最新版本的数据。

       看tx.write()和tx.writeMeta()的实现可以发现，写入数据用的是db.ops.writeAt，而这个方法默认值就是File.WriteAt方法，所以实际写入文件用的是文件IO，而不是直接写mmap内存。而BoltDB使用mmap一开始就把mmap映射的内存标记为只读的，压根不允许直接写mmap内存。为什么要这么做呢？

       猜测可能是为了安全。前面讲到Get操作为了性能是zero copy的，发现Get返回来的value是mmap上数据的指针，如果mmap设置为可读写的，应用程序代码五花八门，可能会通过指针一不小心修改了mmap上的数据，这样的修改因为走的不是API是无法保证事务的。把mmap设置为只读的消除了这种可能性。反过来说，如果mmap设置为可读写的，Get就不能返回mmap上的指针了，为了安全一定要copy一份数据出来才行，降低了Get的性能。

       这里还有个很自然而且很重要的问题是，如果事务commit失败了呢，BoltDB如何保证事务的原子性（ACID的A），确保这个写事务的所有操作，不论是落盘的，还是没落盘的，都不会生效？

       原子性要求，不管是commit走到哪一步，哪怕是已经把修改的数据，甚至包括修改的freelist已经落盘，只要最终事务commit失败，都不能对正确性产生任何影响。这里的正确性是指，数据库的状态（有实际的key value数据，freelist， pgid等共同构成）必须是在这个写事务运行之前的状态，数据不能被破坏，这个写事务也不能留下可被后续事务读到的任何更新。

       要做到原子性貌似挺难的，因为事务的commit里包括很多步骤，这些步骤都不是原子性的。不过重要的一点是，不论commit运行到哪一步，因为tx.writeMeta是最后一步，只有这一步运行成功commit才算成功，如果说commit失败了，那么tx.writeMeta一定是没运行，或者运行了半截，这个meta page没写完整，机器断电了。总之，这些情况下我们不会得到一个合法的新的meta page(这种情况下meta的validate方法会失败，因为meta的checksum不对)。这时候ping-pong buffer的meta page就起重要的作用了，因为交替写meta page的原因，即使这个写事务新的meta page没写成功，这个写事务运行前版本的meta page还在，而这个meta page包括这个写事务运行前的DB版本所有的状态（kv数据，freelist，pgid等）。这个meta page会被后续事务使用，就像那个失败的写事务从来没有运行过一样。而那个写事务留下的kv数据的page，freelist的page，即使是持久化了，也因为没有写成新的meta，没有机会被用到。

       还有个自然的疑问，即使这个失败的写事务写的page因为没有合法的meta无法被引用，不会影响正确性，但无法被引用是不是也意味着这些page无法被回收，浪费了磁盘空间？

       答案是也不会。在原来版本的meta里的free list和pgid的共同作用下，这些page会被视为free的，还可以使用，不会出现无法回收这些page的情况。

       还有个疑问，既然BoltDB交替写meta0和meta1，是不是连续两个事务commit正好在写meta时失败，数据库就废了？

       仔细研究发现，还是没事！因为写事务的txid也是meta的一部分，一个写事务失败，导致txid不会增长，下一次写事务的txid还是一样，meta的交替写是因为txid的变化引起的，既然没变化，就不交替了。所以下一个写事务即使写meta还失败了，也还是写的上一个写事务写的那个meta，不会把两个meta都写坏。

       总结一下，ping-pong buffer的meta page真是设计得精巧，是BoltDB达到原子性的关键！