1.husky 源码浅析
2.NLP修炼系列之Bert（二）Bert多分类&多标签文本分类实战（附源码）
3.FFplay源码分析-nobuffer
4.flv.js源码知识点（下） FLV格式解析
5.Netty源码解析 -- FastThreadLocal与HashedWheelTimer
6.WebRTC 源码分析——Android 视频硬件编码

husky 源码浅析

       解析 Husky 源码：揭示 Git 钩子的文章奥秘

       前言

       在探索 Husky 的工作原理之前，让我们先回顾一下自定义 Git Hook 的流源概念。通过 Husky，码文我们能够实现对 Git 钩子的章网指定目录控制，灵活地执行预先定义的源码命令。本篇文章将带领大家深入 Husky 的文章防水小程序源码源码，揭示其工作流程和使用 Node.js 编写 CLI 工具的流源要点。

       Husky 工作流程

       从 Husky 的码文安装流程入手，我们能够直观地理解其工作原理。章网主要步骤如下：

       执行 `npx husky install`。源码

       通过 Git 命令，文章将 hooks 目录指向 Husky 提供的流源目录。

       确保新拉取的码文仓库在执行 `install` 后自动调整 Git hook 目录，以保持一致性。章网

       在这一过程中，源码Husky 通过巧妙地添加 npm 钩子，确保了新仓库在安装完成后能够自动配置 Git 钩子路径，实现了跨平台的统一性。

       源码浅析

       bin.ts

       bin.ts 文件简洁明了，核心在于模块导入语法和 Node.js CLI 工具的实现。它支持了导入模块的两种方式，并解释了在 TypeScript 中如何灵活使用它们。

       npm 中的可执行文件

       通过配置 package.json 的 `bin` 字段，我们可以将任意脚本或工具作为 CLI 工具进行全局安装，以便在命令行中直接调用。Husky 利用这一特性，为用户提供了一个简洁的安装流程和便捷的调用方式。

       获取命令行参数

       在 Node.js 中，`process.argv` 提供了获取命令行参数的便捷方式。通过解析这个数组，我们可以轻松获取用户传递的参数，实现命令与功能的对应。

       index.ts

       核心逻辑在于安装、配置和卸载 Git 钩子的函数。Husky 的代码结构清晰，易于理解。其中，`core.hooksPath` 的配置和权限设置（如 `mode 0o`）是关键步骤，确保了 Git 钩子的执行权限和统一性。

       husky.sh

       作为初始化脚本，husky.sh 执行了一系列环境配置和日志输出操作。其重点在于根据不同 Shell 环境（如 Zsh）进行适配性处理，确保 Husky 在各类环境中都能稳定运行。

       结语

       Husky 的网络引流源码实现通过 `git config core.hooksPath` 和 `npm prepare` 钩子的巧妙结合，不仅简化了 Git 钩子的配置流程，还提升了代码的可移植性和一致性。使用 Husky，开发者能够更灵活地管理 Git 钩子，提升项目的自动化程度。

NLP修炼系列之Bert（二）Bert多分类&多标签文本分类实战（附源码）

       在NLP修炼系列之Bert（二）的上一篇文章中，我们对Bert的背景和预训练模型进行了深入讲解。现在，我们将步入实战环节，通过Bert解决文本的多分类和多标签分类任务。本文将介绍两个实际项目，一个是基于THUCNews数据集的类新闻标题分类，另一个是我们公司业务中的意图识别任务，采用多标签分类方式。

       1.1 数据集详解

       多分类项目使用THUCNews数据集，包含万个新闻标题，长度控制在-个字符，共分为财经、房产等个类别，每个类别有2万个样本。训练集包含万个样本，验证集和测试集各1万个，每个类别条。

       多标签任务数据集来自公司业务，以对话形式的json格式存在，用于意图识别。由于隐私原因，我们无法提供，但网上有很多公开的多标签数据集，稍加调整即可适用。

       1.2 项目结构概览

       项目包含Bert预训练模型文件、配置文件和词典等，可以从Huggingface官网下载。

        datas 目录下存放数据集、日志和模型。

       models 包含模型定义和超参数配置，还包括混合模型如Bert+CNN等。

       run.py 是项目入口，负责运行训练。

       train_eval.py 负责模型训练、验证和测试。

       utils 提供数据预处理和加载工具。

       2. 项目流程和环境要求

       通过run.py调用argparse工具配置参数。源码资产管理安装环境要求Python 3.8，项目中已准备好requirements.txt文件。

       3. 项目实战步骤

       从构建数据集到模型定义，包括数据预处理、数据迭代器的创建、配置定义以及训练、验证和测试模块的实现。

       4. 实验与总结

       我们尝试了以下实验参数：num_epochs、batch_size、pad_size和learning_rate。在fine-tune模式下，Bert表现最佳，否则效果不佳。项目代码和数据集可通过关注布尔NLPer公众号获取，回复相应关键词获取多分类和多标签分类项目源码。

FFplay源码分析-nobuffer

       在使用 FFplay 播放 RTMP 流时，不开启 nobuffer 选项会导致画面延迟高达7秒左右，而开启此选项后，局域网延迟可降低到毫秒左右。因此，本文将深入探讨nobuffer的实现细节，以及播放端缓存7秒数据的作用。

       fflags 的定义在 libavformat/options_table.h 文件中，这是一个通用选项，所有解复用器均包含此选项。在调用 avformat_open_input() 函数时，会将该命令行参数传入，其位置与所有格式参数相同，如在之前的文章《FFplay源码分析》中所述。记得在调试参数中添加-fflags nobuffer。

       在 avformat_open_input() 函数内部，fflags 这个 AVOption 会被传递给 AVClass，该类存储了多个 AVOption，而fflags 的索引为5。在 av_opt_set_dict() 函数中，fflags 的值会被应用并清除其他选项。在 avformat_open_input() 执行完毕后，AVFormatContext::flags 的第7位应被置为1，即二进制的 。通过下图可以清晰地看到这个过程。

       在 avformat_find_stream_info() 函数内部，如果没有设置nobuffer标记，探测的efibootmgr源码解析数据包将被丢入队列。avformat_find_stream_info() 首先读取一段数据包以分析输入流的编码器等信息，为了重用这些数据包，它们会被放入队列中。然而，整个探测过程长达5秒，这意味着 FFplay 大概会读取5秒的数据来分析输入流。若开启nobuffer，则不会重复使用这些探测数据，FFplay 探测完输入流后，会读取新的数据包进行播放。无需缓存，从而降低了延迟。

       通过在 ffpaly.c 文件中的 avformat_find_stream_info() 函数前后输出时间，可以发现两者相差5秒，直观展示了nobuffer对于降低延迟的作用。在实时场景下，缓存功能变得多余，它原本是为了分析本地文件，避免重复读取，但在实时场景中反而影响了性能。因此，在实时场景中，关闭缓存更为合适。

       补充说明：若在本地虚拟机环境下，不启用缓存也能实现流畅播放。然而，如果 SRS 部署在局域网的另一台机器上，不开启缓存可能导致视频卡顿，原因可能是解码前未能及时读取视频帧，FFplay 不断丢弃视频帧，尤其是当视频比音频慢时，这种情况下缓存功能反而成为瓶颈。

flv.js源码知识点（下） FLV格式解析

       flv.js系列三：FLV格式解析

       此篇文章为flv.js源码知识点系列的终篇，旨在深入解析FLV文件的格式。在理解FLV文件数据结构及如何在JavaScript中读取特定二进制数据的基础上，文章将引导读者逐步构建对FLV文件解析的全面认知。

       FLV格式解析主要涉及两个关键部分：FLVHeader和FLVBody。FLVHeader为文件的前导部分，固定长度为9字节，其结构定义了文件的后续部分。FLVBody包含多个Tag，每个Tag由TagHeader和TagData组成，Tag的innodb源码模块结构为字节，体现了FLV文件的层次化和可扩展性。

       在进行FLV文件解析时，二进制数据读取API显得尤为重要，特别是DateView类的使用。DateView允许以位级别访问ArrayBuffer中的数据，提供了读取、写入以及转换数据类型的能力，极大地简化了二进制数据的处理流程。

       具体而言，DateView提供了构造函数new DataView，用于指定数组缓冲区、偏移量和长度。获取数据时，可以通过getUint8、getUint等方法，灵活地读取不同长度的整数。此外，了解字节序（大字节序与小字节序）的概念及其对数据读取的影响，对于正确解析FLV文件至关重要。

       位操作是二进制数据处理的另一大利器，包括按位非、按位与、按位或、按位异或以及位移操作等。这些操作允许在位级别上进行复杂的数据提取和重组，对于处理如FLV标签中的时间戳拼接等特定场景尤为关键。

       最后，文章强调了结合FLV格式文档和二进制数据读取技术进行解析的重要性。通过解析每个字段，开发者可以有效地理解和处理FLV文件中的音视频数据，为后续的音视频解码、传输和播放提供坚实基础。

       通过本系列文章的学习，读者不仅掌握了flv.js源码的解析原理，还深入理解了FLV文件格式的内在结构与处理方法，为音视频开发工作打下坚实的技术基础。

Netty源码解析 -- FastThreadLocal与HashedWheelTimer

       Netty源码分析系列文章接近尾声，本文深入解析FastThreadLocal与HashedWheelTimer。基于Netty 4.1.版本。

       FastThreadLocal简介：

       FastThreadLocal与FastThreadLocalThread协同工作。FastThreadLocalThread继承自Thread类，内部封装一个InternalThreadLocalMap，该map只能用于当前线程，存放了所有FastThreadLocal对应的值。每个FastThreadLocal拥有一个index，用于定位InternalThreadLocalMap中的值。获取值时，首先检查当前线程是否为FastThreadLocalThread，如果不是，则从UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取InternalThreadLocalMap，这实际上回退到使用ThreadLocal。

       FastThreadLocal获取值步骤：

       #1 获取当前线程的InternalThreadLocalMap，如果是FastThreadLocalThread则直接获取，否则通过UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取。

       #2 通过每个FastThreadLocal的index，获取InternalThreadLocalMap中的值。

       #3 若找不到值，则调用initialize方法构建新对象。

       FastThreadLocal特点：

       FastThreadLocal无需使用hash算法，通过下标直接获取值，复杂度为log(1)，性能非常高效。

       HashedWheelTimer介绍：

       HashedWheelTimer是Netty提供的时间轮调度器，用于高效管理各种延时任务。时间轮是一种批量化任务调度模型，能够充分利用线程资源。简单说，就是将任务按照时间间隔存放在环形队列中，执行线程定时执行队列中的任务。

       例如，环形队列有个格子，执行线程每秒移动一个格子，则每轮可存放1分钟内的任务。任务执行逻辑如下：给定两个任务task1（秒后执行）、task2（2分秒后执行），当前执行线程位于第6格子。那么，task1将放到+6=格，轮数为0；task2放到+6=格，轮数为2。执行线程将执行当前格子轮数为0的任务，并将其他任务轮数减1。

       HashedWheelTimer的缺点：

       时间轮调度器的时间精度受限于执行线程的移动速度。例如，每秒移动一个格子，则调度精度小于一秒的任务无法准时调用。

       HashedWheelTimer关键字段：

       添加延迟任务时，使用HashedWheelTimer#newTimeout方法，如果HashedWheelTimer未启动，则启动HashedWheelTimer。启动后，构建HashedWheelTimeout并添加到timeouts集合。

       HashedWheelTimer运行流程：

       启动后阻塞HashedWheelTimer线程，直到Worker线程启动完成。计算下一格子开始执行的时间，然后睡眠到下次格子开始执行时间。获取tick对应的格子索引，处理已到期任务，移动到下一个格子。当HashedWheelTimer停止时，取消任务并停止时间轮。

       HashedWheelTimer性能比较：

       HashedWheelTimer新增任务复杂度为O(1)，优于使用堆维护任务的ScheduledExecutorService，适合处理大量任务。然而，当任务较少或无任务时，HashedWheelTimer的执行线程需要不断移动，造成性能消耗。另外，使用同一个线程调用和执行任务，某些任务执行时间过久会影响后续任务执行。为避免这种情况，可在任务中使用额外线程执行逻辑。如果任务过多，可能导致任务长期滞留在timeouts中而不能及时执行。

       本文深入剖析FastThreadLocal与HashedWheelTimer的实现细节，旨在提供全面的技术洞察与实战经验。希望对您理解Netty源码与时间轮调度器有帮助。关注微信公众号，获取更多Netty源码解析与技术分享。

WebRTC 源码分析——Android 视频硬件编码

       本文深入剖析了 WebRTC 在 Android 平台上的视频硬件编码机制。首先，回顾了 MediaCodec 的概念和基础使用，这是Android中用于处理音频和视频数据的关键组件。MediaCodec 支持编码（将原始数据转换为压缩格式）和解码（将压缩数据转换回原始格式），通常与MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface等组件一起使用。

       接下来，文章探讨了WebRTC 如何利用硬件编码器。通过 DefaultVideoEncoderFactory 和 HardwareVideoEncoderFactory 的交互，WebRTC 实现了 h 编码器的初始化和配置。在代码实现中，我们关注了 MediaCodec 的输入和输出缓冲区、编码器工作模式以及 MediaCodec 与 Surface 的关系，这些是理解整个编码流程的关键点。

       在编码器初始化的部分，通过 DefaultVideoEncoderFactory 的 createEncoder 函数，实例化了 HardwareVideoEncoder。调用栈显示，这一过程主要在 native 端完成，通过 jni 调用 Java 端代码来获取当前设备支持的编码器信息。

       编码数据送入编码器的过程涉及到 VideoEncoder 接口，WebRTC 使用 HardwareVideoEncoder 实现了这一接口，利用 MediaCodec 进行编码。通过 EglBase 和 OpenGL ES 的集成，WebRTC 将 VideoFrame 对象转换为与 MediaCodec 关联的 Surface 的纹理。这一过程确保了编码器接收到了正确的视频数据格式。

       获取编码后的数据时，WebRTC 使用 MediaCodec 的同步模式进行获取。当数据可用时，通过 callback.onEncodedFrame(encodedImage, new CodecSpecificInfo()) 方法告知引擎，引擎负责进一步处理编码后的帧，如封装 RTP 包和发送到对端。

       码流控制方面，WebRTC 包括拥塞控制和比特率自适应两个主要方面。当比特率发生变化时，WebRTC 会调用 VideoEncoder.setRateAllocation() 方法来更新比特率。在编码过程中，通过特定的代码逻辑来判断并调整当前的码率与所需码率是否匹配，以适应网络条件的变化。

       本文以几个疑问的方式从源码角度详细解析了整个编码流程，包括从 MediaCodec 的创建和配置、视频数据的编码到编码后的数据获取和码流控制等关键步骤。通过深入分析，希望读者能够更好地理解 WebRTC 在 Android 平台上的编码技术。

       为了进一步加深对 Android 音视频核心知识点的理解，推荐访问以下链接：/Ei3VPD。

openGauss数据库源码解析系列文章——事务机制源码解析（一）

       事务是数据库操作的核心单位，必须满足原子性、一致性、隔离性、持久性（ACID）四大属性，确保数据操作的可靠性与一致性。以下是openGauss数据库中事务机制的详细解析：

       ### 事务整体架构与代码概览

       在openGauss中，事务的实现与存储引擎紧密关联，主要集中在源代码的`gausskernel/storage/access/transam`与`gausskernel/storage/lmgr`目录下。事务系统包含关键组件：

       1. **事务管理器**：事务系统的中枢，基于有限循环状态机，接收外部命令并根据当前事务状态决定下一步执行。

       2. **日志管理器**：记录事务执行状态及数据变化过程，包括事务提交日志（CLOG）、事务提交序列日志（CSNLOG）与事务日志（XLOG）。

       3. **线程管理机制**：通过内存区域记录所有线程的事务信息，支持跨线程事务状态查询。

       4. **MVCC机制**：采用多版本并发控制（MVCC）实现读写隔离，结合事务提交的CSN序列号，确保数据读取的正确性。

       5. **锁管理器**：实现写并发控制，通过锁机制保证事务执行的隔离性。

       ### 事务并发控制

       事务并发控制机制保障并发执行下的数据库ACID属性，主要由以下部分构成：

       - **事务状态机**：分上层与底层两个层次，上层状态机通过分层设计，支持灵活处理客户端事务执行语句（BEGIN/START TRANSACTION/COMMIT/ROLLBACK/END），底层状态机记录事务具体状态，包括事务的开启、执行、结束等状态变化。

       #### 事务状态机分解

       - **事务块状态**：支持多条查询语句的事务块，包含默认、已开始、事务开始、运行中、结束状态。

       - **底层事务状态**：状态包括TRANS_DEFAULT、TRANS_START、TRANS_INPROGRESS、TRANS_COMMIT、TRANS_ABORT、TRANS_DEFAULT，分别对应事务的初始、开启、运行、提交、回滚及结束状态。

       #### 事务状态转换与实例

       通过状态机实例展示事务执行流程，包括BEGIN、SELECT、END语句的执行过程，以及相应的状态转换。

       - **BEGIN**：开始一个事务，状态从默认转为已开始，之后根据语句执行逻辑状态转换。

       - **SELECT**：查询语句执行，状态保持为已开始或运行中，事务状态不发生变化。

       - **END**：结束事务，状态从运行中或已开始转换为默认状态。

       #### 事务ID分配与日志

       事务ID（xid）以uint单调递增序列分配，用于标识每个事务，CLOG与CSNLOG分别记录事务的提交状态与序列号，采用SLRU机制管理日志，确保资源高效利用。

       ### 总结

       事务机制在openGauss数据库中起着核心作用，通过详细的架构设计与状态管理，确保了数据操作的ACID属性，支持高并发环境下的高效、一致的数据处理。MVCC与事务ID的合理使用，进一步提升了数据库的性能与数据一致性。未来，将深入探讨事务并发控制的MVCC可见性判断机制与进程内的多线程管理机制，敬请期待。