1.bert源码解析
2.CUDA编程OneFlow Softmax 算子源码解读之WarpSoftmax
3.数据库中间件-cetus源码介绍
4.vue-router源码六、例源router.resolve源码解析
5.七爪源码：如何使用 Java 访问 BigQuery 数据仓库
6.Framework层的源码Binder（源码分析篇）
bert源码解析
训练数据生成涉及将原始文章语料转化为训练样本，这些样本按照目标（如Mask Language Model和Next Sentence Prediction）被构建并保存至tf_examples.tfrecord文件。例源此过程的源码核心在于函数create_training_instances，它接受原始文章作为输入，例源输出为训练instance列表。源码合肥到南阳源码在这一过程中，例源文章首先被分词，源码随后通过create_instances_from_document函数构建具体训练实例。例源构建实例流程如下：
确定最大序列长度后，源码Next Sentence Prediction任务被构建。例源选取文章的源码开始位置至结尾，确保生成的例源句子集长度至少等于最大序列长度。在此集合中随机挑选一个位置（a_end），源码将句子集分为两部分：前部分作为序列A，例源而后部分有%的概率成为序列B，剩余%则随机选择另一篇文章的句子集（总长度不小于「max_seq_length-序列A」），形成Next Sentence Prediction任务。
Mask language model任务构建通过将序列A和序列B组合成一个训练序列tokens，并对其进行掩码操作实现。掩码操作以token为单位，利用WordPiece进行分词，确保全词掩码模式下的整体性，无论是全掩码还是全不掩码。每个序列以masked_lm_prob（0.）概率进行掩码，对于被掩码的token，%情况下替换为[MASK]，%保持不变，%则替换为词表中随机选择的单词。返回结果包括掩码操作后的序列、掩码token索引及真实值。
训练样本结构由上述处理后形成，每条样本包含经过掩码操作的序列、掩码token的索引及真实值。
分词器包括全词分词器（FullTokenizer），它首先使用BasicTokenizer进行基础分词，图片app源码验证包括小写化、按空格和标点符号分词，以及中文的字符分词，随后使用WordpieceTokenizer基于词表文件对分词后的单词进行WordPiece分词。
模型结构从输入开始，经过BERT配置参数，包括WordEmbedding、初始化embedding_table、embedding_postprocessor等步骤，最终输出sequence和pooled out结果。WordEmbedding负责将输入token（input_ids）转换为其对应的embedding，包括token embedding、segment embedding和position embedding。embedding_postprocessor在得到的token embedding上加上position embedding和segment embedding，然后进行layer_norm和dropout处理。
Transformer Model中的attention mask根据input_mask构建，用于计算attention score。self attention过程包括query、key、value层的生成，query与key相乘得到attention score，经过归一化处理，并结合attention_mask和dropout，形成输出向量context_layer。随后是feed forward过程，包括两个网络层：中间层（intermediate_size，激活函数gelu）和输出层（hidden_size，无激活函数）。
sequence和pooled out分别代表最后一层的序列向量和[CLS]向量的全连接层输出，维度为hidden_size，激活函数为tanh。
训练过程基于BERT产生的序列向量和[CLS]向量，分别训练Mask Language Model和Next Sentence Prediction。Mask Language Model训练通过get_masked_lm_output函数，主要输入为序列向量、cyw指标源码意思embedding table和mask token的位置及真实标签，输出为mask token的损失。Next Sentence Predication训练通过get_next_sentence_output函数，本质为一个二分类任务，通过全连接网络将[CLS]向量映射，计算交叉熵作为损失。
CUDA编程OneFlow Softmax 算子源码解读之WarpSoftmax
深度学习框架中的Softmax操作在模型中扮演关键角色，尤其在多分类任务中，其用于将logits映射成概率分布，或在Transformer结构中衡量query与key的相似度。Softmax的CUDA实现直接关系到模型训练效率。本文以OneFlow框架中的一种优化Softmax实现为例，即Warp级别的Softmax，特别适用于矩阵宽度不超过的场景。
Softmax操作的计算公式如下：
[公式]
为解决数值溢出问题，通常先减去向量的最大值。优化后的公式为：
[公式]
Softmax计算涉及五个关键步骤：reduceMax、broadcastSub、exp、reduceSum、broadcastDiv。本篇文章将深入探讨OneFlow源码中的实现技巧。
OneFlow采用分段函数优化SoftmaxKernel，针对不同数量的列选择不同实现策略，以适应各种场景。为实现优化，OneFlow提供三种Softmax实现方式，以期在所有情况下达到较高的有效带宽。
对于WarpSoftmax分支，源码中函数调用关系清晰，实现细节分为四部分：数据Pack、调用链、DispatchSoftmaxWarpImpl、DispatchSoftmaxWarpImplCols、DispatchSoftmaxWarpImplPadding、go语言goland源码LaunchSoftmaxWarpImpl。各部分分别专注于提升访问带宽、确定函数参数、实现核心计算逻辑。
在WarpSoftmax的核函数SoftmaxWarpImpl中，重点实现以下步骤：核函数启动参数确定、线程网格形状定义、数据加载到寄存器、计算最大值、计算指数和、规约操作、通信优化等。实现过程中，OneFlow通过优化数据访问模式、利用寄存器存储中间结果、并行规约操作，以及束内通信，提升了计算效率。
总结WarpSoftmax源码中的关键点，本文详细解读了其优化策略与实现细节，旨在提高模型训练速度。通过深入分析OneFlow框架中的Softmax实现，读者可以更全面地理解深度学习框架在CUDA环境下进行优化的策略。
数据库中间件-cetus源码介绍
数据库中间件Cetus的源码介绍将重点放在其内部流程的解析上。从启动开始，Cetus的执行流程主要从src/mysql-proxy-cli.c文件的main函数出发，调用main_cmdline函数。在正常情况下，启动service后，流程会进入main_cmdline函数中的chassis_mainloop。
chassis_mainloop函数将调用cetus_master_process_cycle，该过程一直传递chassis结构，其包含关键元素。在cetus_master_process_cycle中，程序开启worker_process，大猿人源码部署主要在cetus_spawn_process函数中进行，之后进入cetus_worker_process_cycle进行初始化。
worker_process通过死循环调用主进程chassis_event_loop，并监听客户端消息。在执行流程中，会经过event_base_loop和ev_run等函数，进一步处理事件。
具体任务处理流程从event_base_loop开始，调用ev_run、ev_invoke_pending、ev_x_cb_io、ev_x_cb，最终到达network_mysqld_con_handle处理传入的SQL语句，并将它们赋值给con->orig_sql。接下来调用normal_read_query_result函数，此函数调用network_mysqld_read_rw_resp处理与后端数据库的消息，并基于返回结果进行后续操作。
总结，Cetus源码中，从启动至执行流程，再到任务处理，构成了一个完整的数据库中间件执行逻辑。其核心在于通过一系列函数调用，实现消息的传递、处理和最终反馈，确保数据的高效、准确处理。流程清晰，结构严谨，体现了Cetus在数据库中间件领域的专业性和高效性。
vue-router源码六、router.resolve源码解析
vue-router源码系列带你深入了解v4.0.版本的实现，前提是对基本用法有一定了解，可通过官网学习。本文焦点是router.resolve的解析过程。
router.resolve的核心任务是将给定的路由地址标准化。它接受两个参数：rawLocation（可能为对象或字符串）和currentLocation（可选，默认为currentRoute）。解析过程分为两个分支：
parseURL函数接收query解析函数、location和currentLocation，负责处理相对路径。例如，当to='cc'，from='/aa/bb'时，经过一系列resolveRelativePath操作，最终可能转换为'/aa/cc'，'/aa/bb/cc'等。特别地，如果from路径以'/ '开始，无论to如何，resolveRelativePath始终返回'/cc'。
解析完rawLocation后，调用matcher.resolve进一步处理，这个阶段会根据匹配规则进行更复杂的路径处理。
最终，router.resolve返回一个标准化后的路由对象，包含了处理后的路径信息和其他相关数据，为后续的导航操作提供依据。
七爪源码：如何使用 Java 访问 BigQuery 数据仓库
在本文中，我们将深入探讨如何利用Java应用程序通过BigQuery Java SDK访问数据仓库。
首先，要访问BigQuery，你需要进行一些基本的配置。这包括设置BigQuery的权限，确保你的Java应用具有足够的访问权限以执行查询操作。
接下来，初始化一个BigQuery对象是关键步骤。这涉及到引入SDK库，设置连接参数，并创建一个代表查询的实例。
以下是一段实际的代码示例，展示了如何执行查询：
java
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.QueryJob;
import com.google.cloud.bigquery.QueryJobConfiguration;
// 初始化BigQuery对象
BigQuery bigQuery = BigQueryOptions.getDefaultInstance().getService();
// 设置查询配置
QueryJobConfiguration queryConfig = QueryJobConfiguration.newBuilder("YOUR_QUERY_HERE")
.build();
// 执行查询
QueryJob queryJob = bigQuery.query(queryConfig);
queryJob.run();
这段代码可以作为一个模板，你可以从用户界面(UI)接收查询参数，然后执行并返回查询结果给UI。
Framework层的Binder（源码分析篇）
本文以android-.0.0_r的AOSP分支为基础，解析framework层的Binder工作原理。
从ServiceManager的getService方法入手，其核心代码是通过getIServiceManager().getService(name)获取服务。首先，ServiceManager的实现与进程中的ProcessState密切相关，ProcessState是单例，负责打开和映射Binder驱动。构造函数中，它会初始化驱动、验证版本并设置线程数，接着进行binder映射。
在ProcessState的getContextObject方法中，调用native函数android_util_Binder.cpp中的getContextObject()。这个函数通过handle 0（ServiceManager的handle）获取BpBinder对象，然后通过javaObjectForIBinder函数将其转换为Java中的类型。
进一步分析，BpBinder与java层的Binder之间存在对应关系，通过BinderProxy NativeData创建单例的BinderProxy。然后，每个服务的BinderProxy实例化和计数处理都在这个过程中完成。ServiceManagerNative.asInterface方法简化了getIServiceManager的调用，通过调用asInterface实例化ServiceManagerProxy。
IServiceManager接口通过AIDL生成，其代理类ServiceManagerProxy实际上是不必要的。aidl文件在编译时生成对应java代码，用于binder通信。通过aidl文件，我们可以看到如queryLocalInterface等方法的实现细节。
在Parcel的协助下，客户端与服务端进行数据传递，通过序列化和反序列化进行交互。在transact函数中，对Parcel大小进行检查，避免数据传输过大导致的问题。最后，客户端与binder驱动的通信过程涉及了Transaction数据的写入、等待响应、数据处理和内存回收等步骤。
总的来说，framework层的Binder工作涉及服务管理、数据转换、通信协议和内存管理等环节，理解这些有助于深入掌握Binder的工作机制。
[转]Megatron-LM源码系列(八)： Context Parallel并行
原文链接： Megatron-LM源码系列(八)： Context Parallel并行
Context Parallel并行(CP)与sequence并行(SP)相比，核心差异在于SP只针对Layernorm和Dropout输出的activation在sequence维度进行切分，而CP则进一步扩展，对所有input输入和所有输出activation在sequence维度上进行切分，形成更高效的并行处理策略。除了Attention模块外，其他如Layernorm、Dropout等模块在CP并行中无需任何修改，因为它们在处理过程中没有涉及多token间的交互。
Attention模块之所以特殊，是因为在计算过程中，每个token的查询(query)需要与同一sequence中其他token的键(key)和值(value)进行交互计算，存在内在依赖性。因此，在进行CP并行时，计算开始前需要通过allgather通信手段获取所有token的KV向量，反向计算时则通过reduce_scatter分发gradient梯度。
为了降低显存使用，前向计算阶段每个GPU仅保存部分KV块，反向阶段则通过allgather通信获取全部KV数据。这些通信操作在特定的rank位置（相同TP组内）进行，底层通过send和recv等操作实现allgather和reduce_scatter。
以TP2-CP2的transformer网络为例，CP并行的通信操作在Attention之前执行，其他则为TP通信。AG表示allgather，RS表示reduce_scatter，AG/RS表示前向allgather反向reduce_scatter，RS/AG表示前向reduce_scatter反向allgather。
TP2对应为[GPU0, GPU1], [GPU2, GPU3]，CP2指的就是TP组相同位置的rank号，即[GPU0, GPU2], [GPU1, GPU3]。CP并行类似于Ring Attention，但提供了OSS与FlashAttention版本，并去除了冗余的low-triangle causal masking计算。
LLM常因序列长度过长而导致显存耗尽（OOM）。传统解决方法包括重计算或扩大TP（tensor parallel）大小，但各自存在计算代价增加或线性fc计算时间减少与通信难以掩盖的问题。CP则能更高效地解决这一问题，每个GPU处理一部分序列，同时减少CP倍的通信和计算量，同时保持TP不变，使得activation量也减少CP倍。性能优化结果展示于图表中，用户可通过指定--context-parallel-size在Megatron中实现CP。
具体源码实现以Megatron-Core 0.5.0版本为例进行说明。
参考资料：
[链接]#gStore-weekly | gstore源码解析（一）：基于boost的gstore http服务源码解析
gStore, 由北京大学王选计算机所数据管理实验室的邹磊教授团队开发的图数据库系统，专门针对知识图谱设计，旨在高效管理大量关联数据。图谱学苑的技术分享系列将推出gStore源码深度解析系列，目标是帮助内核开发者和图数据库研究者理解系统内部构造。系列将逐步深入，从外部到核心，由易入难，以SERVER服务为核心，剖析其启动、参数处理、线程池管理和HTTP请求解析等关键环节。
首先，ghttp模块基于Ole Christian Eidheim的Simple-Web-Service构建，提供一个基于Boost.Asio的轻量级HTTP服务器。服务启动时，采用fork创建子进程，主进程作为守护进程，确保服务的稳定运行。通过命令行参数，用户可以指定HTTP服务监听端口和预加载数据源。
ghttp通过线程池技术实现多线程服务，个线程预设，HttpServer负责接收所有请求，而query接口则有其独立的子线程池。每个请求都会在子线程中独立处理，参数处理包括GET请求的URLEncode/Decode和POST请求的JSON格式解析。
在request_thread方法中，接口参数的提取和校验是核心环节，但安全机制的详细实现将在后续章节深入讨论。阅读时，结合Main/ghttp.cpp源码将有助于理解。下篇文章将聚焦于核心接口如build、load、query的具体实现逻辑解析。
