1..cp是开奖开奖什么意思？
2.go build介绍
3.判断是否有权限cp命令
4.CPython源码学习：5、Python如何加载so/pyd动态库？
5.[转]Megatron-LM源码系列(八)： Context Parallel并行
6.源码详解系列(八)--全面讲解HikariCP的源码源码使用和源码

.cp是什么意思？

       “。cp”是结果一种文件格式后缀，英文全称是网站“C++ source file”，意思是开奖开奖C++源代码文件。当我们用C++语言编写程序时，源码源码碰胡源码下载我们通常需要使用一个文本编辑器编写程序代码，结果并将程序代码保存为.cp文件格式。网站cp文件包含了程序的开奖开奖源代码，可以用编译器将其转换为可执行的源码源码程序。

       .cp文件是结果用来编写和存储C++程序的源代码文件。通常情况下，网站程序员会使用一个文本编辑器（如Notepad++、开奖开奖Sublime Text等）来编写程序代码，源码源码并将其存储为.cp文件格式。结果这样做的好处是可以将代码进行版本控制，以便记录程序的历史修改记录，并保留之前版本的代码，方便以后的追溯和比对。

       如果想要打开并编辑.cp文件，我们需要一个文本编辑器。常见的文本编辑器有Notepad++、Sublime Text等。在打开.cp文件时，easyv源码最好使用专业的编程工具进行编辑，比如Visual Studio。这些工具可以自动识别和高亮显示C++语言的关键字，提高编程效率和体验。另外，如果想要运行.cp文件，需要使用C++编译器将源代码转换为可执行文件，然后在计算机上运行即可。

go build介绍

       go build命令用于编译Go源码文件或代码包及其依赖包。

       执行该命令时，若不指定代码包，则默认编译当前目录下的代码包。例如编译logging代码包，可以通过以下两种方式：

       直接在logging目录下执行go build命令。

       若logging代码包仅包含库源码文件和测试源码文件，执行后不会在当前目录或goc2p项目pkg目录生成文件。

       源码文件分类

       Go语言源码文件分为三类：命令源码文件、库源码文件和测试源码文件。命令源码文件作为可执行程序入口，库源码文件集中各种待用程序实体，测试源码文件用于程序实体的功能和性能测试。

       编译方法

       除了直接在目录下执行go build命令，还可以将代码包导入路径作为参数传递给命令。清单源码例如编译cnet/ctcp代码包：

       在任意目录下执行go build cnet/ctcp命令。

       正确执行go build依赖环境变量GOPATH中包含goc2p项目的根目录。代码包导入路径相对于$GOROOT/src或GOPATH/src子目录，例如logging绝对路径为~/golang/goc2p/src/logging。

       多代码包编译

       可以通过go build命令同时编译多个Go源码文件。但需注意，文件需在同一目录中。依赖代码包会自动编译，如app代码包依赖logging和basic，执行go build app时，会先检查并编译所需依赖。

       输出文件和命令标记

       编译时，对于仅包含库源码文件的代码包，go build仅做检查性编译，不输出结果文件。使用标记-v可查看编译包名。结果文件名称与源码文件主文件名相同，使用标记-o可自定义输出文件名。标记-i安装未安装的依赖代码包。

       高级标记

       其他常用标记如-p n限制并发数量、-n不实际运行、-buildmode=default指定编译模式等。标记用于控制编译行为，源码热源如链接器标记、编译器标记、链接器标记等。标记-race、-installsuffix控制输出目录。标记用于指定编译标签、自定义编译工具等。

       通过go build命令，Go开发人员可以高效编译代码包及依赖，灵活控制编译行为，满足不同场景需求。

判断是否有权限cp命令

       有权限。cp命令能够使用的前提是对于要复制的文件，cp命令的执行者至少要具备读权限r，这是因为复制文件至少要知道文件的内容吧。就像一个可执行文件，如果它的权限是可读，那么证明执行者至少可以阅读文件的源代码，既然可以阅读了，那么复制一个跟他模仿源代码自己再写一个道理是一样的。所以文件可读就证明它可以被复制了。

CPython源码学习：5、Python如何加载so/pyd动态库？

       在探讨Python如何加载so/pyd动态库之前，coldfusion 源码我们先了解Python的载入动态库流程。Python中的导入动态库主要涉及ImportLoader模块。在Python启动前，会执行pyinit_config进行配置，并在该过程中调用init_importlib函数。在init_importlib中，初始化_install函数，该函数执行二进制码。

       官方提供了_install对应的Python函数，其中包括sys.path_hooks和sys.meta_path两个重要的路径。path_hooks用于存放模块导入的查找器，而meta_path用于存放模块导入路径。这些路径可以修改，通过改变查找器接管Python的import方法。

       在_install源码中，通过FileFinder方法hook了supported_loaders，该方法通过_get_supported_file_loader()方法获取一系列loader，包括ExtensionFileLoader（用于加载so/pyd）、SourceFileLoader（用于加载py文件）和SourcelessFileLoader（用于加载pyc文件）。这些loader用于查找文件、模块、so模块等。

       当使用import指令时，Python会通过这些loader查找是否存在对应的文件、模块、so模块。loader通过_extension_suffixes方法获取后缀，例如在cpython版本3.的Windows amd平台下，后缀为.cp-win_amd.pyd。

       Python通过import_find_and_load函数调用importlib._bootstrap._find_and_load函数，最终调用loader中的create_module方法。在ExtensionFileLoader的create_module方法中，会调用_imp中的create_dynamic方法，该方法为C代码，最终调用_imp_create_dynamic_impl中的_PyImport_LoadDynamicModuleWithSpec函数。

       在_PyImport_LoadDynamicModuleWithSpec中，模块加载分为两步：首先通过_PyImport_FindSharedFuncptrWindows获取载入初始化模块的函数，函数名称为PyInit_${ ModuleName}（如PyInit_mymath）；接着调用PyInit_${ ModuleName}函数，初始化函数返回一个PyObject*，即PyModuleDef，定义了模块的所有信息。

       至此，理解了Python如何读取动态库文件，可以着手编写CPython扩展库。编写扩展库涉及调用CPython的C-API。首先需要定义一个入口函数PyInit_mymath，并返回一个PyModuleDef类型。接着，在库文件中定义m_methodes，这里定义了一个名为devision的方法，对应C代码中的division函数，该函数接收两个long变量并求出除法值返回。

       编写完成后，需要使用CMakeLists.txt进行编译，并设置生成的so文件后缀，符合Python导入外部so/pyd文件的规则，如.cp-win_amd.pyd。编译完成后，在Python中import mymath，并使用刚刚编写的division方法。

       在进行import之前，需要将so/pyd的路径添加到sys.path中。通过这些步骤，可以编写并使用CPython扩展库。

[转]Megatron-LM源码系列(八)： Context Parallel并行

       原文链接： Megatron-LM源码系列(八)： Context Parallel并行

       Context Parallel并行(CP)与sequence并行(SP)相比，核心差异在于SP只针对Layernorm和Dropout输出的activation在sequence维度进行切分，而CP则进一步扩展，对所有input输入和所有输出activation在sequence维度上进行切分，形成更高效的并行处理策略。除了Attention模块外，其他如Layernorm、Dropout等模块在CP并行中无需任何修改，因为它们在处理过程中没有涉及多token间的交互。

       Attention模块之所以特殊，是因为在计算过程中，每个token的查询(query)需要与同一sequence中其他token的键(key)和值(value)进行交互计算，存在内在依赖性。因此，在进行CP并行时，计算开始前需要通过allgather通信手段获取所有token的KV向量，反向计算时则通过reduce_scatter分发gradient梯度。

       为了降低显存使用，前向计算阶段每个GPU仅保存部分KV块，反向阶段则通过allgather通信获取全部KV数据。这些通信操作在特定的rank位置（相同TP组内）进行，底层通过send和recv等操作实现allgather和reduce_scatter。

       以TP2-CP2的transformer网络为例，CP并行的通信操作在Attention之前执行，其他则为TP通信。AG表示allgather，RS表示reduce_scatter，AG/RS表示前向allgather反向reduce_scatter，RS/AG表示前向reduce_scatter反向allgather。

       TP2对应为[GPU0, GPU1], [GPU2, GPU3]，CP2指的就是TP组相同位置的rank号，即[GPU0, GPU2], [GPU1, GPU3]。CP并行类似于Ring Attention，但提供了OSS与FlashAttention版本，并去除了冗余的low-triangle causal masking计算。

       LLM常因序列长度过长而导致显存耗尽（OOM）。传统解决方法包括重计算或扩大TP（tensor parallel）大小，但各自存在计算代价增加或线性fc计算时间减少与通信难以掩盖的问题。CP则能更高效地解决这一问题，每个GPU处理一部分序列，同时减少CP倍的通信和计算量，同时保持TP不变，使得activation量也减少CP倍。性能优化结果展示于图表中，用户可通过指定--context-parallel-size在Megatron中实现CP。

       具体源码实现以Megatron-Core 0.5.0版本为例进行说明。

       

参考资料：

[链接]

源码详解系列(八)--全面讲解HikariCP的使用和源码

       源码详解系列(八)：HikariCP深度剖析

       HikariCP是一个高效数据库连接池，它的核心在于通过“池”复用连接，减少创建和关闭连接的开销。本文将全面介绍HikariCP的使用方法和源码细节。

       使用场景与内容

       本文将涉及HikariCP的以下内容：

       如何获取连接对象并进行基本操作

       项目环境设置，包括JDK、Maven版本和依赖库

       如何配置HikariCP，包括依赖引入和配置文件编写

       初始化连接池，以及通过JMX进行管理

       源码分析，重点讲解ConcurrentBag和HikariPool类，以及其创新的“标记模型”

       HikariDataSource的两个HikariPool的用意和加载配置

       核心原理

       HikariCP的性能优势主要源于其“标记模型”，通过减少锁的使用，提高并发性能。它使用CopyOnWriteArrayList来保证读操作的效率，结合CAS机制实现无锁的借出和归还操作。

       源码亮点

       源码简洁且易读，特别是ConcurrentBag类，它是HikariCP的核心组件。类结构与DBCP2类似，包含一个通用的资源池，可以应用于其他需要池化管理的场景。

       总结

       通过本文，读者可以深入了解HikariCP的工作原理，掌握其配置和使用技巧，以及源码实现。希望本文对数据库连接池有深入理解的开发者有所帮助。

       

参考资料：

HikariCP官方GitHub地址