皮皮网

1.cockroachDB分布式事务优化：事务管道与并行提交
2.插件介绍点云处理插件COCKROACH

cockroachDB分布式事务优化：事务管道与并行提交

       分布式事务在CockroachDB中的重要性不言而喻，其目标是让数据操作简便，而如何使得事务尽可能快速执行是CockroachDB关注的重点。CockroachDB设计时特别考虑了全球分布式部署的环境，投入大量精力优化事务协议，以适应高节点间延迟的微信中秋博饼源码集群。接下来，我们将深入探讨CockroachDB在分布式事务优化中的两大核心策略：事务管道和并行提交。

       在CockroachDB中，分布式事务允许操作跨越集群、地域和机器进行，同时提供SERIALIZABLE级别的隔离性和非过时读取的一致性保证。其事务模型受到Google Percolator的启发，采用三阶段模式进行处理：prepare阶段从SQL发出“Begin”指令直到事务提交之前，对于事务中的写操作，CockroachDB执行了两步操作：commit阶段，晴天直播源码当SQL发出“commit”指令时，系统检查事务记录，若无“abort”状态，则将其标记为“commit”；cleanup阶段，根据事务记录，系统异步清理已完成事务的write intent。

       在深入探讨优化策略之前，我们需要了解事务执行“慢”的原因。简化模型中，不考虑从存储读写的延迟时间，延迟模型计算了客户端从输入SQL到收到回应的总延迟：L_txn = L_prep + L_commit，其中L_commit的代价为提交阶段的RPC网络开销，而L_prep则由读和写请求的数量决定。由于CockroachDB的读操作直接从leaseholder（可视为raft leader）本地读取，因此L_r接近于零，满仓公式源码简化后的延迟模型为L_txn = R * L_r + W * L_w。由于分布式共识是同步操作，L_prep与写操作的数量成线性关系。

       为优化这一过程，CockroachDB引入了事务管道（Transactional Pipelining）机制，这是一种异步共识的实现方式。在没有事务管道之前，一个put的kv操作需要先在range的leaseholder上获取锁存器，然后进行raft共识写入write intent，待共识成功后返回。事务管道机制则允许put发送给raft状态机后直接返回，通过异步方式完成共识过程。此机制仅适用于不关注返回结果的语句，确保在commit之前所有异步共识都成功即可。

       事务管道的铃铛视频源码一大挑战是高效证明写意图已成功写入。CockroachDB在put操作返回后，后台启动gorouting异步验证写意图。理想情况下，验证过程应在commit之前结束，否则commit请求将同步验证，确保在commit之前所有写操作都成功复制。然而，实现这一目标并非易事，若在每个写操作返回后立即启动验证协程，可能导致资源耗尽；若只有一个验证协程，则速度会减慢。此外，如果commit请求在写操作后立即发出，会导致同步验证已完成的写操作，造成无效且冗余的营销神器源码操作。目前，CockroachDB官方尚未提供完整解决方案，持续关注此问题的进展。

       另一优化策略是“Read your write”原则，该原则指事务中的读依赖之前的写操作，管道机制无法保证之前写操作已成功共识。因此，在事务协调者阶段需记录所有需要确认的写操作，称为inflight-write，当存在依赖读时需要等待write intent成功写入。尽管这导致了管道之前的同步等待，但这是必要的。

       并行提交是CockroachDB在commit阶段的优化策略，旨在减少RPC延迟时间。在引入事务管道优化的基础上，我们分析了传统的两阶段提交（2PC）延迟模型，并提出并行提交策略。2PC至少需要两轮分布式共识后返回客户端提交成功，而并行提交策略则将commit阶段的功能前置至prepare阶段与写请求并行执行，将两轮共识减少为一轮。

       并行提交引入了staging状态，表示prepare和committed/abort之间的中间状态。当事务协调者发现有commit请求时，会并行发送EndTxn请求，将事务记录置为staging状态，同时包含所有未确认的inflight-write，等待所有inflight-write成功写入后，EndTxn成功返回，客户端接收到提交成功信息。随后，后台进程异步将staging状态改为committed。

       staging状态的设计巧妙之处在于记录了所有未确认的inflight-write（由于事务管道异步确认write intent，此集合不会过大），如果事务记录处于staging状态，并且观察者可以证明其事务记录中列出的所有写入已成功达成共识，则该事务被视为已提交。因此，并行提交不需要等待committed请求发出即可返回客户端提交成功。

       然而，staging状态较为“脆弱”，需要采取措施确保一致性。当staging状态的事务被另一冲突事务发现并被标记为废弃时，虽然可以写入write intent，但会将key上的时间戳推大，以阻止未来事务恢复后继续写入。这确保了staging状态不会破坏一致性。

       总结起来，事务管道和并行提交是CockroachDB在分布式事务优化中采用的两种策略，分别在prepare阶段和commit阶段对延迟进行了优化。两者结合将事务延迟降低至L_txn = w * L_w + L_c，将时间复杂度从O(n)优化至O(1)，显著提高了事务处理速度。CockroachDB在工程层面实施了大量工作，对于深入理解这些优化的同学，建议直接阅读源码。

       

参考资料：

       1. cockroachlabs.com/blog/...

       2. cockroachlabs.com/blog/...

       3. cockroachDB paper

插件介绍点云处理插件COCKROACH

       COCKROACH插件是一款开源的点云处理工具，由Petras Vestartas和Andrea Settimi共同开发。

       此插件依托于Open3D、CGAL和Cilantro库，代码可在Github上找到：github.com/9and3/Cockro...

       开源的初衷是为了打造一个面向.NET的开放源代码点云处理工具，开发者期望有更多人为其贡献，增添更多功能。

       以下通过开发者提供的案例，详细解析COCKROACH插件的功能。

       包括：拾取点云、输出点云信息；按点数降低点云采样；按Voxel大小采样，Voxel越大，点云数越小；以box裁剪点云，支持反向裁剪；以多段线裁剪点云；以平面去切点云；根据颜色和点大小显示点云；显示点云的法向量；用点云创建网格；网格修复；网格的中心骨架；把网格转成点云；布尔网格等。

       插件下载方面，COCKROACH插件提供了多种方式。

       1. 可通过Food4Rhino下载COCKROACH插件，搜索插件名称，找到对应版本即可下载。下载链接：food4rhino.com/en/app/c...

       注意：下载Grasshopper版本时，请选择倒数第二个版本，以免下载错误。

       2. 第二种方法仅支持Rhino版本安装，不支持Grasshopper版本。使用程序集管理包（PackageManager）进行下载，在犀牛7中执行_PackageManager指令，搜索COCKROACH插件直接安装。

       3. 如果熟悉代码，还可以从github下载COCKROACH插件的源代码。github.com/9and3/Cockro...

       Grasshopper版本安装完成后，即可使用。