皮皮网

1.go源码分析——类型
2.Glide源码分析
3.Alluxio 客户端源码分析
4.React源码分析4-深度理解diff算法
5.3d稀疏卷积——spconv源码剖析（三）
6.markdown-it 源码分析及插件编写：parse 和 token（1/3）

go源码分析——类型

       类型是简单简单Go语言中的核心概念，用于定义数据的源码源码结构和行为。类型可以分为基础类型和自定义类型，分析分析方法编译器会为每种类型生成对应的简单简单描述信息，这些信息构成了Go语言的源码源码类型系统。内置类型的分析分析方法王中王指标公式源码数据结构在`runtime.type`文件中，而自定义类型的简单简单数据结构在`type.go`文件中，包括了类型名称、源码源码大小、分析分析方法对齐边界等属性。简单简单例如，源码源码切片的分析分析方法元素类型和map的键值类型都在其中有所体现。空接口`interface{ }`和非空接口`iface`是简单简单描述接口的底层结构体，分别用于表示不包含方法的源码源码接口和包含方法的接口。空接口的分析分析方法结构简单，包含类型和数据的位置信息，而非空接口的结构更复杂，包含接口的类型、实体类型和方法信息。接口的实现依赖于方法集的匹配，时间复杂度为O(m+n)。断言是判断一个类型是否实现了某个接口的机制，它依赖于接口的动态类型和类型元数据。类型转换和接口断言遵循类型兼容性原则，而反射提供了访问和操作类型元数据的能力，其核心是`reflect.Type`和`reflect.Value`两个结构体类型，分别用于获取类型信息和操作值。反射的关键在于明确接口的动态类型和类型实现了哪些方法，以及类型元数据与空接口和非空接口的数据结构之间的关系。

Glide源码分析

       深入剖析Glide源码：解析与理解其架构与机制

       1. Glide三大关键流程

       使用Glide加载时，主要包含三大关键流程：with、load、into。通过链式调用这些方法，能轻松完成加载任务，但背后蕴含的原理复杂且源码规模庞大。分析源码时，需抓住重点。

       1.1 with主线

       with方法是Glide中的重要接口，可传入Activity或Fragment，与页面生命周期紧密关联。在分析中，我们曾遇到线上事故，因伙伴在with方法中传入了Context而非Activity，手机库 源码下载导致页面消失后请求仍在后台运行，最终刷新页面时找不到加载的容器直接崩溃。因此，with方法与页面生命周期息息相关。

       1.1.1 Glide创建

       通过getRetriever方法最终获得RequestManagerRetriever对象。在Glide的构造方法中，通过双检锁方式创建Glide对象。之后，调用Glide的build方法创建一个Glide实例，传入缓存和Bitmap池等对象。

       1.1.2 RequestManagerRetriever

       Glide的build方法直接创建RequestManagerRetriever对象，需requestManagerFactory参数，若未定义则默认为DEFAULT_FACTORY。获取此对象后，方便后续加载。

       1.1.3 生命周期管理

       在获取RequestManagerRetriever后，调用其get方法。当with方法传入Activity时，会在子线程调用另一个get方法，而主线程中通过fragmentGet方法，创建空Fragment并同步页面生命周期。

       1.1.4 总结

       with方法主要完成：创建Glide对象，绑定页面生命周期。

       1.2 load主线

       通过with方法获得RequetManager，调用load方法创建RequestBuilder对象，将加载类型赋值给model。剩余操作由into方法负责。

       1.3 into主线

       into方法负责Glide的创建和生命周期绑定。传入ImageView，根据其scaleType属性复制RequestOption。into方法调用buildRequest返回Request，并判断是否能执行请求。执行请求或从缓存获取后回调onResourceReady。

       1.3.1 发起请求

       创建request后，调用RequetManager的track方法，执行请求并添加到请求队列。判断isPaused状态，决定是否发起网络请求。成功加载或从缓存获取后回调onResourceReady。

       1.3.2 三级缓存

       通过EngineKey获取资源，从内存、活动缓存和LRUCache中查找。若未获取到，lodash.js 源码则发起网络请求。成功后加入活跃缓存并回调onResourceReady。

       1.3.3 onResourceReady

       资源加载完成或从缓存获取后，调用SingleRequest的onResourceReady方法。判断是否设置RequestListener，最终调用target的onResourceReady方法，显示。

       1.3.4 小结

       into方法主要步骤包括：创建加载请求、判断请求执行、从缓存获取资源、网络请求与资源回调。

       2. 手写简单Glide框架

       实现Glide需理解其特性，特别是生命周期绑定和三级缓存。手写时，着重实现这两点。在load方法中，支持多种资源加载，并使用RequestOption保存请求参数。在into方法中，传入ImageView控件，并在buildTargetRequest方法中判断是否发起网络请求。实现三级缓存逻辑，确保加载效率。使用协程进行线程切换，提高性能。通过简单API加载本地或网络链接，实现Glide功能。

Alluxio 客户端源码分析

       Alluxio是一个用于云分析和人工智能的开源数据编排技术，作为分布式文件系统，采用与HDFS相似的主从架构。系统中包含一个或多个Master节点存储集群元数据信息，以及Worker节点管理缓存的数据块。本文将深入分析Alluxio客户端的实现。

       创建客户端逻辑在类alluxio.client.file.FileSystem中，简单示例代码如下。

       客户端初始化包括调用FileSystem.Context.create创建客户端对象的上下文，在此过程中需要初始化客户端以创建与Master和Worker连接的连接池。若启用了配置alluxio.user.metrics.collection.enabled，将启动后台守护线程定时与Master节点进行心跳传输监控指标信息。同时，客户端初始化时还会创建负责重新初始化的后台线程，定期从Master拉取配置文件的哈希值，若Master节点配置发生变化，uboot启动源码目录则重新初始化客户端，期间阻塞所有请求直到重新初始化完成。

       创建具有缓存功能的客户端在客户端初始化后，调用FileSystem.Factory.create进行客户端创建。客户端实现分为BaseFileSystem、MetadataCachingBaseFileSystem和LocalCacheFileSystem三种，其中MetadataCachingBaseFileSystem和LocalCacheFileSystem对BaseFileSystem进行封装，提供元数据和数据缓存功能。BaseFileSystem的调用主要分为三大类：纯元数据操作、读取文件操作和写入文件操作。针对元数据操作，直接调用对应GRPC接口（例如listStatus）。接下来，将介绍客户端如何与Master节点进行通信以及读取和写入的流程。

       客户端需要先通过MasterInquireClient接口获取主节点地址，当前有三种实现：PollingMasterInquireClient、SingleMasterInquireClient和ZkMasterInquireClient。其中，PollingMasterInquireClient是针对嵌入式日志模式下选择主节点的实现类，SingleMasterInquireClient用于选择单节点Master节点，ZkMasterInquireClient用于Zookeeper模式下的主节点选择。因为Alluxio中只有主节点启动GRPC服务，其他节点连接客户端会断开，PollingMasterInquireClient会依次轮询所有主节点，直到找到可以连接的节点。之后，客户端记录该主节点，如果无法连接主节点，则重新调用PollingMasterInquireClient过程以连接新的主节点。

       数据读取流程始于BaseFileSystem.openFile函数，首先通过getStatus向Master节点获取文件元数据，然后检查文件是否为目录或未写入完成等条件，若出现异常则抛出异常。寻找合适的Worker节点根据getStatus获取的文件信息中包含所有块的信息，通过偏移量计算当前所需读取的块编号，并寻找最接近客户端并持有该块的Worker节点，从该节点读取数据。判断最接近客户端的Worker逻辑位于BlockLocationUtils.nearest，考虑使用domain socket进行短路读取时的Worker节点地址一致性。根据配置项alluxio.worker.data.server.domain.socket.address，判断每个Worker使用的domain socket路径是否一致。如果没有使用域名socket信息寻找到最近的Worker节点，则根据配置项alluxio.user.ufs.block.read.location.policy选择一个Worker节点进行读取。小程序 源码论坛若客户端和数据块在同一节点上，则通过短路读取直接从本地文件系统读取数据，否则通过与Worker节点建立GRPC通信读取文件。

       如果无法通过短路读取数据，客户端会回退到使用GRPC连接与选中的Worker节点通信。首先判断是否可以通过domain socket连接Worker节点，优先选择使用domain socket方式。创建基于GRPC的块输入流代码位于BlockInStream.createGrpcBlockInStream。通过GRPC进行连接时，每次读取一个chunk大小并缓存chunk，减少RPC调用次数提高性能，chunk大小由配置alluxio.user.network.reader.chunk.size.bytes决定。

       读取数据块完成后或出现异常终止，Worker节点会自动释放针对该块的写入锁。读取异常处理策略是记录失败的Worker节点，尝试从其他Worker节点读取，直到达到重试次数上限或没有可用的Worker节点。

       若无法通过本地Worker节点读取数据，则客户端尝试发起异步缓存请求。若启用了配置alluxio.user.file.passive.cache.enabled且存在本地Worker节点，则向本地Worker节点发起异步缓存请求，否则向负责读取该块数据的Worker节点发起请求。

       数据写入流程首先向Master节点发送CreateFile请求，Master验证请求合法性并返回新文件的基本信息。根据不同的写入类型，进行不同操作。如果是THROUGH或CACHE_THROUGH等需要直接写入底层文件系统的写入类型，则选择一个Worker节点处理写入到UFS的数据。对于MUST_CACHE、CACHE_THROUGH、ASYNC_THROUGH等需要缓存数据到Worker节点上的写入类型，则打开另一个流负责将每个写入的块缓存到不同的Worker上。写入worker缓存块流程类似于读取流程，若写入的Worker与客户端在同一个主机上，则使用短路写直接将块数据写入Worker本地，无需通过网络发送到Worker上。数据完成写入后，客户端向Master节点发送completeFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。

React源码分析4-深度理解diff算法

       React 每次更新，都会通过 render 阶段中的 reconcileChildren 函数进行 diff 过程。这个过程是 React 名声远播的优化技术，对新的 ReactElement 内容与旧的 fiber 树进行对比，从而构建新的 fiber 树，将差异点放入更新队列，对真实 DOM 进行渲染。简单来说，diff 算法是为了以最低代价将旧的 fiber 树转换为新的 fiber 树。

       经典的 diff 算法在处理树结构转换时的时间复杂度为 O(n^3)，其中 n 是树中节点的个数。在处理包含 个节点的应用时，这种算法的性能将变得不可接受，需要进行优化。React 通过一系列策略，将 diff 算法的时间复杂度优化到了 O(n)，实现了高效的更新 virtual DOM。

       React 的 diff 算法优化主要基于以下三个策略：tree diff、component diff 和 element diff。tree diff 策略采用深度优先遍历，仅比较同一层级的元素。当元素跨层级移动时，React 会将它们视为独立的更新，而不是直接合并。

       component diff 策略判断组件类型是否一致，不一致则直接替换整个节点。这虽然在某些情况下可能牺牲一些性能，但考虑到实际应用中类型不一致且内容完全一致的情况较少，这种做法有助于简化 diff 算法，保持平均性能。

       element diff 策略通过 key 对元素进行比较，识别稳定的渲染元素。对于同层级元素的比较，存在插入、删除和移动三种操作。这种策略能够有效管理 DOM 更新，确保性能。

       结合源码的 diff 整体流程从 reconcileChildren 函数开始，根据当前 fiber 的存在与否决定是直接渲染新的 ReactElement 内容还是与当前 fiber 进行 Diff。主要关注的函数是 reconcileChildFibers，其中的细节与具体参数的处理方式紧密相关。不同类型的 ReactElement（如 REACT_ELEMENT_TYPE、纯文本类型和数组类型）将走不同的 diff 流程，实现更高效、针对性的处理。

       diff 流程结束后，形成新的 fiber 链表树，链表树上的 fiber 标记了插入、删除、更新等副作用。在完成 unitWork 阶段后，React 构建了一个 effectList 链表，记录了需要进行真实 DOM 更新的 fiber。在 commit 阶段，根据 effectList 进行真实的 DOM 更新。下一章将深入探讨 commit 阶段的详细内容。

3d稀疏卷积——spconv源码剖析（三）

       构建Rulebook

       下面看ops.get_indice_pairs，位于：spconv/ops.py

       构建Rulebook由ops.get_indice_pairs接口完成

       get_indice_pairs函数具体实现：

       主要就是完成了一些参数的校验和预处理。首先，对于3d普通稀疏卷积，根据输入shape大小，kernel size，stride等参数计算出输出输出shape，子流行稀疏卷积就不必计算了，输出shape和输入shape一样大小

       准备好参数之后就进入最核心的get_indice_pairs函数。因为spconv通过torch.ops.load_library加载.so文件注册,所以这里通torch.ops.spconv.get_indice_pairs这种方式来调用该函数。

       算子注册：在src/spconv/all.cc文件中通过Pytorch提供的OP Register(算子注册的方式)对底层c++ api进行了注册，可以python接口形式调用c++算子

       同C++ extension方式一样，OP Register也是Pytorch提供的一种底层扩展算子注册的方式。注册的算子可以通过 torch.xxx或者 tensor.xxx的方式进行调用，该方式同样与pytorch源码解耦，增加和修改算子不需要重新编译pytorch源码。用该方式注册一个新的算子，流程非常简单：先编写C++相关的算子实现，然后通过pytorch底层的注册接口（torch::RegisterOperators），将该算子注册即可。

       构建Rulebook实际通过python接口get_indice_pairs调用src/spconv/spconv_ops.cc文件种的getIndicePairs函数

       代码位于：src/spconv/spconv_ops.cc

       分析getIndicePairs直接将重心锁定在GPU逻辑部分，并且子流行3d稀疏卷积和正常3d稀疏卷积分开讨论，优先子流行3d稀疏卷积。

       代码中最重要的3个变量分别为：indicePairs，indiceNum和gridOut，其建立过程如下：

       indicePairs代表了稀疏卷积输入输出的映射规则，即Input Hash Table 和 Output Hash Table。这里分配理论最大的内存，它的shape为{ 2,kernelVolume,numAct}，2表示输入和输出两个方向，kernelVolume为卷积核的volume size。例如一个3x3x3的卷积核，其volume size就是(3*3*3)。numAct表示输入有效(active)特征的数量。indiceNum用于保存卷积核每一个位置上的总的计算的次数，indiceNum对应中的count

       代码中关于gpu建立rulebook调用create_submconv_indice_pair_cuda函数来完成，下面具体分析下create_submconv_indice_pair_cuda函数

       子流线稀疏卷积

       子流线稀疏卷积是调用create_submconv_indice_pair_cuda函数来构建rulebook

       在create_submconv_indice_pair_cuda大可不必深究以下动态分发机制的运行原理。

       直接将重心锁定在核函数：

       prepareSubMGridKernel核函数中grid_size和block_size实则都是用的整形变量。其中block_size为tv::cuda::CUDA_NUM_THREADS,在include/tensorview/cuda_utils.h文件中定义，大小为。而grid_size大小通过tv::cuda::getBlocks(numActIn)计算得到,其中numActIn表示有效(active)输入数据的数量。

       prepareSubMGridKernel作用：建立输出张量坐标(通过index表示)到输出序号之间的一张哈希表

       见：include/spconv/indice.cu.h

       这里计算index换了一种模板加递归的写法，看起来比较复杂而已。令：new_indicesIn = indicesIn.data()，可以推导得出index为：

       ArrayIndexRowMajor位于include/tensorview/tensorview.h，其递归调用写法如下：

       接着看核函数getSubMIndicePairsKernel3：

       位于：include/spconv/indice.cu.h

       看：

       上述写法类似我们函数中常见的循环的写法，具体可以查看include/tensorview/kernel_utils.h

       NumILP按默认值等于1的话，其stride也是gridDim.x*blockDim.x。索引最大值要小于该线程块的线程上限索引blockDim.x * gridDim.x，功能与下面代码类似：

       参考： blog.csdn.net/ChuiGeDaQ...

markdown-it 源码分析及插件编写：parse 和 token（1/3）

       markdown-it 是一个广受欢迎的 JavaScript Markdown 解析库，它提供了强大的插件系统，简化了 Markdown 转换为 HTML 的过程。然而，其文档相对晦涩，初学者可能难以理解如何编写插件。本文旨在通过阅读 markdown-it 的源码，为想要开发插件的读者提供一些启示。首先，让我们简要了解一下 markdown-it 的基本使用方法。

       使用 markdown-it 的核心方法包括 `render` 和 `parse`。`render` 方法直接将 Markdown 转换成 HTML，而 `parse` 方法则将 Markdown 转换成 token，之后使用 `renderer.render` 方法将这些 token 转换成 HTML。实际上，`render` 方法就是调用了 `parse` 和 `renderer.render` 的组合。

       为了更清晰地解释这些流程，本文将分为两部分：Markdown 解析为 token 和 token 转换为 HTML。在深入源码之前，建议读者先尝试使用 markdown-it，以便在阅读过程中更好地理解代码。

       下面，我们开始阅读 markdown-it 的源码，建议读者在阅读本部分内容前，先自己动手试用 markdown-it，这样能帮助你更好地理解下面的内容。强烈建议读者从官方链接克隆源码，跟随本文一起阅读。

       步骤 1：无需过多解释，我们直接从步骤 2 开始。步骤 2：实例化。实例化涉及初始化几个变量并对配置进行处理。这部分对理解代码逻辑影响不大，故不详细展开。主要关注点在于初始化过程。

       步骤 3：Markdown 解析为 token。在深入分析具体代码之前，先看下生成的 token 是什么样子。我们将通过一个例子来展示 parse 后的 token 结构。

       在分析源码前，不妨先看看 parse 后的 token 大致是什么样。例如，一个简单的 Markdown 文本通过 parse 后会生成一个包含多个 token 的数组，每个 token 包括类型、内容等信息。你可以在官方文档中查看完整的 token 内容。查看 token 的过程，建议点击右上角的 debug 功能。

       token 包含头尾两个元素，中间的 token 通常表示 Markdown 的某一特定元素，如文本、链接、列表等。这些中间的 token 与特定的类型绑定，比如 inline 类型。inline 类型的 token 通常包含子 token，这些子 token 用于处理 Markdown 语法中更复杂的元素，例如标记、列表等。

       下面，我们将重点讲解 parse 的核心规则。解析流程主要分为两步：初始化状态和应用预定义规则。状态初始化用于保存解析过程中的信息，而规则应用则负责将 Markdown 转换成 token。在源码中，解析流程涉及核心规则，包括 block 规则和 inline 规则。

       block 规则是处理 Markdown 中的块元素，如段落、列表等。inline 规则则关注处理 Markdown 中的内联元素，如文本、超链接等。通过理解这些规则，可以深入理解 markdown-it 如何将复杂的 Markdown 文本解析为结构化的 token。

       在解析流程中，block 规则会调用特定的函数来处理每行文本，而 inline 规则则应用于每一个需要解析的 token。理解这些规则有助于编写自定义插件，从而扩展 markdown-it 的功能。

       深入理解 markdown-it 的源码需要耐心和细致，本文仅提供了一个大致的框架和关键点的概述。希望本文能为正在开发或计划开发 markdown-it 插件的读者提供一些启示。在后续的篇章中，我们将分别探讨 markdown-it 的渲染流程和插件编写技术，敬请关注。本文由 GitHub 上的 WPL/s 发布。