1.xfs文件系统：layout与架构、数据数据源码分析
2.数据中台系统源码及技术路线
3.Redis源码解析：一条Redis命令是架构架构如何执行的？
4.Designable 应用和源码浅析
5.OVS 总体架构、源码结构及数据流程全面解析
6.从零开始构建向量数据库：Milvus 的源码源码源码编译安装（一）
xfs文件系统：layout与架构、源码分析
本文由腾讯工程师aurelian撰写，数据数据深入解析Linux内核中xfs文件系统的架构架构layout与架构，结合源码剖析其工作原理。源码源码直播间指标公式源码首先，数据数据xfs的架构架构layout包括超级块、AGF管理（空闲空间追踪）、源码源码AGI管理（inode管理）、数据数据AGFL（空闲链表）以及B+树结构等组成部分，架构架构每个部分都有其特定功能，源码源码如超级块用于存储关键信息，数据数据B+树用于快速查找空间。架构架构
在文件操作方面，源码源码xfs支持iops、fops和aops三个操作集，分别负责inode元数据、内存级读写和磁盘级读写。创建文件时，会检查quota并预留空间，通过一系列函数如xfs_trans_reserve_quota和xfs_dir_ialloc进行操作。分配inode时，会依据agi信息和ag的空闲情况动态分配，并通过xfs_iget确保inode在核心内存中可用。
磁盘级inode分配涉及agi信息的获取和B+树的查找，xfs_ialloc_ag_alloc会根据空闲inode情况完成连续或非连续的分配。写操作涉及内存和磁盘级别，buffer io通过page cache管理，直接io和DAX write则有特定的处理方式。xfs的映射关系和data区域树管理对于高效读写至关重要。
工具方面，mkfs.xfs用于格式化，xfs_fsr、xfs_bmap、xfs_info等用于维护和监控文件系统，xfs_admin和xfs_copy用于系统参数调整和数据复制，xfs_db则是用于调试的工具。希望本文能帮助读者理解xfs的复杂性，如需了解更多详情，可关注鹅厂架构师公众号。分类图片源码
数据中台系统源码及技术路线
数据中台系统源码与技术路线详解
数据中台作为企业数字化转型的关键组件，它通过整合企业基础设施和数据能力，实现了数据资产化和服务复用，降低成本并推动业务创新。其核心目标是统一企业数据标准，构建一个全域级的数据中心，促进数据共享和复用，以满足业务分析和优化的多元需求。 数据中台通过整合分散的数据资源，实现数据融合、标准化存储，提供可靠的数据基础。它优化了数据处理流程，引入自动化工具，提升数据处理速度和准确性，从而提高员工效率，实现精细化数据资源管理，降低成本并增强数据复用性。 在对外产品服务创新中，数据中台帮助企业基于客户数据进行深入分析，调整产品策略，优化客户体验，从而提升品牌竞争力。此外，大模型和生成式AI的发展对数据中台提出了新要求，包括整合多类型数据和处理复杂场景，实时统一架构则满足了企业对高效数据处理的需求。 在建设路径上，数据中台的落地涉及从规划到运营的全过程，需要系统性布局，并在实施过程中不断迭代优化。建设过程中，组织需确保数据战略与业务战略一致，得到高层领导支持和跨部门协作，同时选择与企业现有架构兼容的技术栈和工具。 安全性与合规性是数据中台建设的重要考量，开放性架构则推动业务创新与运营效率提升。总之，数据中台是企业数字化转型的基石，它通过整合资源、西游理财源码优化流程和适应技术变革，为企业创造价值和竞争优势。Redis源码解析：一条Redis命令是如何执行的？
作者：robinhzhang Redis，一个开源内存数据库，凭借其高效能和广泛应用，如缓存、消息队列和会话存储，本文将带你探索其命令执行的底层流程。本文将以源码解析的形式，逐层深入Redis的核心结构和命令执行过程，旨在帮助开发者理解实现细节，提升编程技术和设计意识。源码结构概览
在学习Redis源代码之前，首先要了解其主要的组成部分：redisServer、redisClient、redisDb、redisObject以及aeEventLoop。这些结构体和事件模型构成了Redis的核心架构。redisServer：服务端运行的核心结构，包括监听socket、数据存储的redisDb列表和客户端连接信息。
redisClient：客户端连接状态的存储，包括命令处理缓冲区、回复数据列表和数据库句柄。
redisDb：键值对的数据存储，采用两个哈希表实现渐进式rehash。
redisObject：存储对象的通用表示，包含引用计数和LRU时间，用于内存管理。
aeEventLoop：事件循环，管理文件和时间事件的处理。
核心流程详解
Redis的执行流程从main函数开始，首先初始化配置和服务器组件，进入主循环处理事件。命令执行流程涉及redis启动、客户端连接、接收命令和返回结果四个步骤：启动阶段：创建socket服务器，注册可读事件，进入主循环。
连接阶段：客户端连接后，自动答题系统源码接收并处理命令，创建客户端实例。
命令阶段：客户端发送命令，服务端解析并调用对应的命令处理函数。
结果阶段：处理命令后，根据协议格式构建回复并写回客户端。
渐进式rehash与内存管理
Redis的内存管理采用引用计数法，通过对象的refcount字段控制内存分配和释放。rehash操作在Redis 2.x版本引入，通过逐步迁移键值对，降低对单线程性能的影响。当负载达到阈值，会进行扩容，这涉及新表的创建和键值对的迁移。总结
本文通过Redis源码分析，揭示了其命令执行的细节，包括启动流程、客户端连接、命令处理和结果返回，以及内存管理策略。这将有助于开发者深入理解Redis的工作原理，提升编程效率和设计决策能力。Designable 应用和源码浅析
本文基于 Designable 1.0.0-beta. 进行演示和分析，旨在提供对设计组件和源码的浅析。Designable 提供了丰富的功能和组件，以满足复杂应用需求。以下将对其中的几个关键特性进行详细介绍。
首先，使用说明页面示例展示了集成代码组件的灵活性和便利性。在设计页面中，可以直观地嵌套和组合基础组件，实现高效且直观的界面构建。
复杂组件如 FormCollapse 的实现是 Designable 的亮点之一。FormCollapse 支持添加 CollapsePanel，并允许用户通过拖拽功能将子组件添加到指定区域。这种动态布局和交互方式极大地提高了组件的适应性和灵活性。
对于 JSON Schema 和 TreeNode 的互转，Designable 提供了高效的转换机制。这一功能使得数据结构的管理与操作更为便捷，适用于各种需要动态数据交换的尚学堂 bbs 源码应用场景。
深入探讨 Designable 的项目结构时，发现其基于 Lerna 的 monorepo 架构，包含多个独立但紧密关联的项目。主要包包括核心逻辑、React 组件、示例应用和设置表单等。这种结构确保了代码的可维护性和可扩展性。
核心逻辑中，Designable 大量运用了 reactive 库，以实现组件间的响应式交互。在 models 中定义的类通过 define 命令实现响应式数据管理，确保数据变动时视图自动更新。React 组件通过 @formily/reactive-react observer 方法，将组件转变为响应式实体，确保每次视图渲染时，自动收集依赖并在依赖更新时重新渲染。
SettingForm 作为设置表单的核心，通过订阅发布类 Subscribable 来管理事件处理。它记录事件处理函数，当发布事件时，会循环调用所有事件处理函数，传入事件对象供处理函数决策是否匹配，实现事件的高效响应与处理。
Engine 类和相关图如 DragDropDriver 和 effect 初始化流程图展示了 Designable 在组件动态管理和交互优化上的设计思路。通过 driver 初始化流程，实现组件的拖拽功能，以及 effect 的初始化，确保应用的流畅性和交互性。
在 Designable 中，修改组件属性的机制允许用户在运行时直接调整组件的配置，无需重新加载页面或进行复杂的编码操作，提高了开发效率和应用的动态适应性。
OVS 总体架构、源码结构及数据流程全面解析
OVS 是一款基于SDN理念的虚拟交换机，它在数据中心的虚拟网络中发挥着关键作用。其核心架构由控制面和数据面组成，控制面通过OpenFlow协议管理交换策略，数据面则负责实际的数据包交换。OVS的整体架构可以细分为管理面、数据面和控制面，每个部分都有特定的功能和工具以提升用户体验。
管理面主要包括OVS提供的各种工具，如ovs-ofctl用于OpenFlow交换机的监控和管理，ovs-dpctl用于配置和管理内核模块的datapath，ovs-vsctl负责ovs-vswitchd的配置和ovsdb-server的数据库操作，ovs-appctl则集合了这些工具的功能。这些工具让用户能方便地控制底层模块。
源码结构方面，OVS的数据交换逻辑由vswitchd和可选的datapath实现，ovsdb存储配置信息，控制面使用OVN，提供兼容性和性能。OVS的分层结构包括vswitchd与ovsdb通信，ofproto处理OpenFlow通信，dpif进行流表操作，以及netdev抽象网络设备并支持不同平台和隧道类型。
数据转发流程中，ovs首先解析数据包信息，然后根据流表决定是否直接转发。若未命中，会将问题上交给用户态的ovs-vswitchd，进一步处理或通过OpenFlow通知控制器。ovs-vswitchd在必要时更新流表后，再将数据包返回给内核态的datapath进行转发。
总的来说，OVS通过其强大的管理工具和精细的架构设计，简化了用户对虚拟网络的操控，确保了高效的数据传输和策略执行。
从零开始构建向量数据库：Milvus 的源码编译安装（一）
在知乎上新开了关于“向量数据库”内容的专栏[1]，本文将详细介绍如何在x和ARM架构的Linux系统上编译安装开源项目Milvus，这个项目由Linux Foundation AI & Data基金会支持，常与Weaviate和Elasticsearch相提并论[2][3]。 由于Milvus主要在GitHub进行开发，中文网络中关于编译安装的教程很少，且大多是过时的1.x版本资料，而Milvus的版本迭代迅速，目前主要提供Docker容器安装，本地开发者或追求透明度的开发者可能会觉得不够友好。本文将从头开始，逐步引导你进行编译安装。前置准备
在开始前，需要确保操作系统、开发环境和必要的依赖已经准备妥当。Linux作为主力生产环境，本文将重点介绍在Ubuntu上编译。macOS和Windows上的步骤类似，但这里主要针对Linux。操作系统
推荐使用Ubuntu，无论是服务器、容器基础镜像，还是个人笔记本。具体配置和安装细节可以参考我在其他文章中介绍的《笔记本上搭建Linux学习环境》[6]。开发环境
Milvus主要使用Golang编写，同时包含C++代码。确保Golang和C++环境可用，参考《搭建Golang开发环境》[8]，并注意Milvus官方推荐的版本。源码获取
获取Milvus源码有两种方式：Git Clone或下载压缩包，其中Git Clone可能需要借助国内镜像加速。具体步骤包括设置代码仓库的上游，确保代码同步。编译基础依赖
项目依赖OpenBLAS加速向量计算，详细安装步骤在《走进向量计算：OpenBLAS编译》[]中有详述。准备构建依赖：cmake
确保cmake版本至少为3.，Ubuntu .需手动安装，而Ubuntu .可直接使用apt。不同版本可能有差异，注意官方文档推荐的版本。额外依赖：clang-format和clang-tidy
项目代码中需要clang-format和clang-tidy，Ubuntu .和.的安装方式各有不同，务必安装正确版本以保持和官方构建一致。编译 Milvus
切换到 Milvus 代码目录，执行make命令编译。整个过程可能耗时，但完成后将在./bin/目录下找到可执行文件。总结
本文详细介绍了在Ubuntu .和.环境中编译安装Milvus的步骤，包括操作系统、开发环境和依赖的安装。后续文章将深入探讨容器镜像构建优化以及在MacOS上的安装指南。 期待你的反馈，如果觉得有用，请点赞和分享。如有任何问题或需要更新，请关注后续内容更新，感谢支持！openGauss数据库源码解析系列文章——事务机制源码解析（一）
事务是数据库操作的核心单位，必须满足原子性、一致性、隔离性、持久性（ACID）四大属性，确保数据操作的可靠性与一致性。以下是openGauss数据库中事务机制的详细解析：
### 事务整体架构与代码概览
在openGauss中，事务的实现与存储引擎紧密关联，主要集中在源代码的`gausskernel/storage/access/transam`与`gausskernel/storage/lmgr`目录下。事务系统包含关键组件：
1. **事务管理器**：事务系统的中枢，基于有限循环状态机，接收外部命令并根据当前事务状态决定下一步执行。
2. **日志管理器**：记录事务执行状态及数据变化过程，包括事务提交日志（CLOG）、事务提交序列日志（CSNLOG）与事务日志（XLOG）。
3. **线程管理机制**：通过内存区域记录所有线程的事务信息，支持跨线程事务状态查询。
4. **MVCC机制**：采用多版本并发控制（MVCC）实现读写隔离，结合事务提交的CSN序列号，确保数据读取的正确性。
5. **锁管理器**：实现写并发控制，通过锁机制保证事务执行的隔离性。
### 事务并发控制
事务并发控制机制保障并发执行下的数据库ACID属性，主要由以下部分构成：
- **事务状态机**：分上层与底层两个层次，上层状态机通过分层设计，支持灵活处理客户端事务执行语句（BEGIN/START TRANSACTION/COMMIT/ROLLBACK/END），底层状态机记录事务具体状态，包括事务的开启、执行、结束等状态变化。
#### 事务状态机分解
- **事务块状态**：支持多条查询语句的事务块，包含默认、已开始、事务开始、运行中、结束状态。
- **底层事务状态**：状态包括TRANS_DEFAULT、TRANS_START、TRANS_INPROGRESS、TRANS_COMMIT、TRANS_ABORT、TRANS_DEFAULT，分别对应事务的初始、开启、运行、提交、回滚及结束状态。
#### 事务状态转换与实例
通过状态机实例展示事务执行流程，包括BEGIN、SELECT、END语句的执行过程，以及相应的状态转换。
- **BEGIN**：开始一个事务，状态从默认转为已开始，之后根据语句执行逻辑状态转换。
- **SELECT**：查询语句执行，状态保持为已开始或运行中，事务状态不发生变化。
- **END**：结束事务，状态从运行中或已开始转换为默认状态。
#### 事务ID分配与日志
事务ID（xid）以uint单调递增序列分配，用于标识每个事务，CLOG与CSNLOG分别记录事务的提交状态与序列号，采用SLRU机制管理日志，确保资源高效利用。
### 总结
事务机制在openGauss数据库中起着核心作用，通过详细的架构设计与状态管理，确保了数据操作的ACID属性，支持高并发环境下的高效、一致的数据处理。MVCC与事务ID的合理使用，进一步提升了数据库的性能与数据一致性。未来，将深入探讨事务并发控制的MVCC可见性判断机制与进程内的多线程管理机制，敬请期待。
PointNet／PointNet++网络结构详解，源码分析
点云处理深度学习方法需应对置换不变性和旋转不变性。点云原始数据的稀疏性是三维方法共同挑战。PointNet解决置换不变性，使用对称函数如最大值函数，高维特征提取后最大化，降低低维损失。PointNet通过T-Net矩阵保证旋转不变性，该矩阵转换任意角度输入至正面点云。PointNet整体架构如图所示。
PointNet++是PointNet改进版，PointNet在分类和Part Segmentation表现良好，但在Semantic Segmentation受限。PointNet++依据2D CNN思想改进，通过SA模块进行特征学习。模块首先采样关键点，围绕每个关键点选取球形区域内点作为Grouping，应用PointNet提取特征。每个点特征不仅包含自身信息，还融合领域内周围点关系。关键点坐标变换确保不变性，输入变换后球形区域内点相对关系确定。最终得到的点特征包含多层次特征学习结果。PointNet++通过不同分辨率和尺度的Grouping解决点云稀疏性影响。
总结，PointNet和PointNet++在点云处理中各有优势。PointNet通过置换不变性和旋转不变性处理策略，实现对点云数据的有效学习。PointNet++进一步通过多层次特征学习和关键点选择，提高对点与点关系的捕捉能力。两者的架构和策略设计旨在优化点云数据处理效率和精度，满足不同应用需求。
