github actions 从入门到精通（十二）使用CMake自动编译执行C++Windows下工程文件

       国产CFD开源软件OneFLOW在尝试使用免费的Travis服务器后，发现免费资源虽好，但并非没有限制。这反映了OneFLOW在开发迭代过程中，始终重视自动测试的axis.jar源码策略。为了适应新的环境，我们需要进行相应的准备工作。本文将聚焦于如何使用CMake在Windows环境下实现C++工程的自动化编译与执行。

       具体来说，C++代码的编写是首要步骤。在Windows操作系统的GitHub Actions中，我们编写了特定的action文件以执行CMake构建。运行结果展示了编译过程的顺利进行，验证了CMake的正确配置。接着，构建产物的安装步骤通过CMake Install实现，确保了编译后的可执行文件能够被正确部署。最终，运行结果符合预期，成功验证了自动化流程的有效性。

       为了实现这一系列操作，CMake文件扮演了关键角色。在项目根目录下，CMakeLists.txt文件负责总体构建策略的定义。同时，特定目录下的CMakeList.txt文件针对该目录内的源代码，提供了具体的php物流管理系统源码构建指导。这样的组织方式使得开发者能够通过举一反三的方法，对不同模块或项目应用相似的自动化构建策略，从而实现更大范围的开发效率提升。

       为方便查阅与搜索，本文内容被整理并收录于相关资源库中，以供有需要的开发者参考与学习。通过本文的学习与实践，开发者不仅能够掌握CMake在Windows环境下的自动化编译与执行技术，还能够进一步探索如何在不同项目中灵活应用这一工具，从而在开发过程中实现更高的自动化水平。

《YOLOv5全面解析教程》​十二，Loss 计算详细解析

       在YOLOv5的训练过程中，Loss计算起着关键作用。这些损失函数主要包括分类损失(cls_loss)、置信度损失(obj_loss)和边界框损失(box_loss)，它们协同工作以优化模型的性能，确保模型能够准确识别对象并定位其在图像中的位置。

       源码中的loss函数设计策略颇值得探究，如smooth_BCE，这是一种用于分类和检测问题的标签平滑技术，旨在防止过拟合。此外，FocalLoss和QFocalLoss是针对样本不平衡和困难样本学习的改进，FocalLoss通过降低简单样本权重，聚焦于困难样本，而QFocalLoss则进一步推广了这一思路。

       在ComputeLoss类中，销客多3.1完整源码__init__函数和build_targets函数是理解Loss计算的核心部分。__init__函数中引入了实验性的BCEBlurWithLogitsLoss，而build_targets则负责根据GT和anchor的特性筛选出正样本，用于后续的损失计算。这个过程涉及复杂的矩阵操作和坐标匹配，对于理解PyTorch或Oneflow的用户可能有一定挑战，但深入研究代码注释有助于理解。

       总之，YOLOv5中的ComputeLoss类是核心代码实现，尽管包含许多细节，但通过逐步分析和理解，这些复杂的计算机制会逐渐明朗。继续关注我们的项目，获取最新动态，共同探索YOLOv5的Loss计算细节。

一文了解预训练相关加速技巧

       探索深度学习训练加速秘籍：deepspeed、Megatron与OneFlow

       训练大模型不再是难题，得益于一系列开源工具。deepspeed，由微软打造，提供了强大的并行训练框架，包括3D并行性，特别是流水线并行、ZeRO内存优化技术。

       首先，deepspeed的3D并行性关注数据、模型和流水线的asp.net 网盘 源码协同工作。数据并行通过分散数据至多台worker，但通信开销大。模型并行则是将模型的不同层分布在不同设备上，流水线并行如PipeDream，通过分层并行计算，减少了通信瓶颈。PipeDream的挑战在于自动分层和权重管理，如Weight Stashing和Vertical Sync，确保一致性。

       ZeRO内存优化技术解决了GPU内存瓶颈问题，如GPT-2模型在单GPU上内存不足。ZeRO通过在多设备间共享计算和内存资源，减少每个GPU的负担，特别是通过ZeRO-DP和ZeRO-Offload，将参数和梯度分布在CPU和GPU之间，显著降低内存需求。

       NVIDIA的Megatron是专为GPT的模型库，集成了数据并行与模型并行，包括Tensor并行和Pipeline并行，旨在高效地扩展训练规模。OneFlow则以优化见长，减少了全局内存访问，通过延迟隐藏和梯度累加提高性能，尽管其MoE框架还未开源，但整体上展现了多种并行策略的整合。

       比如，PaddlePaddle采用2D和3D并行策略，微信小程序 日历 源码百度的"4D混合并行"是多种并行策略的综合应用。还有混合精度和后向重计算等优化手段，如Checkpointing，通过重新计算部分前向激活以节省内存。

       这些工具和方法的出现，极大地推动了大模型训练的效率，但不断的技术迭代和优化仍在继续。深入理解并利用这些技巧，将助力你在深度学习的征途中加速前行。

       参考文献：

       [1] 掘金：深度学习流水线并行之PipeDream

       [2-4] ZeRO相关论文

       [5] ZeRO-Offload

       [6] ZeRO-Infinity

       [7] NVIDIA Megatron

       [8-] 大模型训练实践与分析文章

       [-] 优化方法与源码解析

FasterTransformer Decoding 源码分析(三)-LayerNorm介绍

       本文深入探讨FasterTransformer中LayerNormalization（层归一化）的源码实现与优化。作为深度学习中的关键技术，层归一化可确保网络中各层具有相似的分布，从而加速训练过程并改善模型性能。背景介绍部分详细解释了层归一化的工作原理，强调其在神经网络中的高效并行特性与广泛应用。文章从代码起点开始剖析，具体路径位于解码过程的核心部分。调用入口展示了传入参数，包括数据描述和关键参数gamma、beta、eps，简洁直观，符合公式定义。深入源码的解析揭示了优化点，特别是针对特定数据类型和维度，使用了定制化内核。此设计针对高效处理半精度数据样本，减少判断指令，实现加速运算，且对偶数维度数据进行调整以最大化Warp特性利用。接下来，内核实现的详细描述，强调了通过共享内存与block、warp级归约实现公式计算的高效性。这部分以清晰的代码结构和可视化说明，解释了块级别与Warp级归约在单个块处理多个数据点时的协同作用，以及如何通过巧妙编程优化数据处理效率。文章总结了FasterTransformer中LayerNormalization的整体优化策略，强调了在CUDA开发中基础技巧的应用，并指出与其他优化方案的比较。此外，文章还推荐了OneFlow的性能优化实践，为读者提供了一个深入探索与对比学习的资源。

CUDA编程OneFlow Softmax 算子源码解读之WarpSoftmax

       深度学习框架中的Softmax操作在模型中扮演关键角色，尤其在多分类任务中，其用于将logits映射成概率分布，或在Transformer结构中衡量query与key的相似度。Softmax的CUDA实现直接关系到模型训练效率。本文以OneFlow框架中的一种优化Softmax实现为例，即Warp级别的Softmax，特别适用于矩阵宽度不超过的场景。

       Softmax操作的计算公式如下：

       [公式]

       为解决数值溢出问题，通常先减去向量的最大值。优化后的公式为：

       [公式]

       Softmax计算涉及五个关键步骤：reduceMax、broadcastSub、exp、reduceSum、broadcastDiv。本篇文章将深入探讨OneFlow源码中的实现技巧。

       OneFlow采用分段函数优化SoftmaxKernel，针对不同数量的列选择不同实现策略，以适应各种场景。为实现优化，OneFlow提供三种Softmax实现方式，以期在所有情况下达到较高的有效带宽。

       对于WarpSoftmax分支，源码中函数调用关系清晰，实现细节分为四部分：数据Pack、调用链、DispatchSoftmaxWarpImpl、DispatchSoftmaxWarpImplCols、DispatchSoftmaxWarpImplPadding、LaunchSoftmaxWarpImpl。各部分分别专注于提升访问带宽、确定函数参数、实现核心计算逻辑。

       在WarpSoftmax的核函数SoftmaxWarpImpl中，重点实现以下步骤：核函数启动参数确定、线程网格形状定义、数据加载到寄存器、计算最大值、计算指数和、规约操作、通信优化等。实现过程中，OneFlow通过优化数据访问模式、利用寄存器存储中间结果、并行规约操作，以及束内通信，提升了计算效率。

       总结WarpSoftmax源码中的关键点，本文详细解读了其优化策略与实现细节，旨在提高模型训练速度。通过深入分析OneFlow框架中的Softmax实现，读者可以更全面地理解深度学习框架在CUDA环境下进行优化的策略。

CGNS简介

       CFD General Notation System (CGNS) 是一种广泛应用于CFD（Computational Fluid Dynamics）软件中的数据格式，其重要性日益凸显，使得众多软件采用此格式。掌握CGNS对于用户来说显得尤为关键，尤其是国产开源软件OneFLOW，它大量使用并将其作为核心数据格式，这使得对CGNS相关问题的理解尤为重要。

       虽然时间和精力的限制意味着可能无法全面解决所有问题，但这些问题的探讨仍具有抛砖引玉的作用，能够为初学者减轻负担，降低学习曲线的陡峭度。

       CGNS官方网站提供了全面的资源，涵盖了CGNS的各个方面。

       CGNS的使用包括两个方面：一是正确调用其数据库的语句接口，二是通过源码编译CGNS库文件以加深理解。对于后续可能进行的编译工作，首先需要正确编译CGNS源码。鉴于OneFLOW采用C++编程，因此后续工作将主要集中在如何编译和使用CGNS的C++库。

       为方便查阅，本文内容已整合并归类，以供用户快速检索。

Ubuntu.下安装mpich2（HYDRA3.3a2）

       Ubuntu.下安装mpich2，直接使用命令sudo apt install mpich即可简单完成。对于源码编译，未来有机会再深入探讨。安装mpich的目的是为了支持国产开源CFD软件OneFLOW所需的并行计算能力，确保跨平台环境搭建。

       安装完毕后，通过mpicxx --version查看版本信息，发现自动调用的是g++9.2.1，其他版本类似也进行了相应测试。

       mpirun命令提供更多信息，显示出版本为hydra3.3a2，表明是较新版本。尝试直接下载源码编译，结果与通过apt安装的版本相近。

       使用源码示例程序运行时，遇到了找不到文件的困扰，影响了测试心情。对比c代码，发现无明显问题，暗示环境配置大致正确。

       测试并行运行功能，使用mpirun -n 4 ./cpi命令，发现可以成功并行，输出结果稍显杂乱。深入研究cxxpi.cxx文件，发现定义了预定义宏，导致简单代码编译失败。

       通过调整mpicxx命令，增加预定义宏DHAVE_CXX_IOSTREAM和DHAVE_NAMESPACE_STD，成功解决了c++部分的问题。最终，运行mpirun -n 8 ./cxxpi确保了复杂环境的通过。

       Ubuntu.与gcc9.2.1下的mpich2环境安装成功，对于有兴趣的读者，可以借鉴这些经验应用到更为复杂的项目中。