1.[推理部署]👉Mac源码编译TensorFlow C++指北
2.YOLOX目标检测实战：LabVIEW+YOLOX ONNX模型实现推理检测（含源码）
3.ONNX-Runtime一本通：综述&使用&源码分析（持续更新）
4.XGBoost源码解读
5.LLM推理2：vLLM源码学习
6.腾讯T2I-adapter源码分析（2）-推理源码分析

[推理部署]👉Mac源码编译TensorFlow C++指北

       在Mac环境下编译TensorFlow C++源码，需要完成以下步骤，推理推理以避免可能的源码绎原编译问题，确保顺利构建。什归

       首先，结演确认系统环境满足要求。归结规则yfiles net 源码需有Xcode和Command Line Tools，推理推理JDK 1.8.0版本以支持编译过程中所需的源码绎原Java环境，以及Bazel工具，什归TensorFlow依赖此工具进行编译。结演特别注意Bazel版本需与TensorFlow对应，归结规则如TensorFlow 1.对应Bazel 0..1。推理推理

       接下里，源码绎原安装依赖，什归包括JDK和Bazel。结演JDK安装时需检查电脑中是否已安装，并确保正确安装。使用HomeBrew安装Bazel，通过命令行接受协议，并使用`--user`指令确保安装在个人目录的`bin`文件夹下，同时设置`.bazelrc`路径为`$HOME/.bazelrc`。

       安装自动化工具`automake`和使用Python3.7.5在虚拟环境中构建TensorFlow C++源码。推荐使用清华镜像源加速`pip`的安装过程。通过`git clone`方式下载TensorFlow源码，确保checkout至r1.分支。调整域名映射以提升`git clone`速度。

       进行编译选项配置，通常在TensorFlow文件夹内运行命令，根据提示选择默认选项。

       开始编译TensorFlow，此过程可能需要较长时间，完成后，应在`bazel-bin/tensorflow`目录下找到编译好的uniapp源码平台`libtensorflow_cc.so`和`libtensorflow_framework.1.dylib`文件。

       若遇到`Undefined symbols for architecture x_: “_CFRelease”`错误，这通常与创建软连接有关，无需特别处理。若需要手动安装额外依赖库，如Eigen3，可参考相关指南。

       编译完成后，可对C++接口进行测试，验证编译过程的正确性。通常情况下，Mac下的TensorFlow 1. C++源码编译完成。

       最后，编译TFLite，生成的动态链接库将保存在指定目录下。在`CMakelists.txt`文件中增加对应配置项，以完成TFLite的构建。

       总结而言，Mac下TensorFlow 1. C++源码编译及TFLite的构建，需要遵循上述步骤，并确保环境与工具版本的兼容性，以顺利进行编译过程。Linux系统下的编译方式相似，但具体细节可能有所不同。

YOLOX目标检测实战：LabVIEW+YOLOX ONNX模型实现推理检测（含源码）

       LabVIEW实现YOLOX目标检测

       本文将介绍如何利用LabVIEW进行YOLOX目标检测的实战操作。YOLOX是由旷视科技开源的高性能实时目标检测网络，通过将解耦头、数据增强、无锚点及标签分类等领域的优秀进展与YOLO进行集成，实现了超越YOLOv3、YOLOv4和YOLOv5的性能，并保持了极高的推理速度。本文将主要关注如何在LabVIEW中部署YOLOX的maya软件源码ONNX模型进行推理。

       一、环境搭建

       部署环境：所需环境包括LabVIEW软件，以及YOLOX ONNX模型。

       LabVIEW工具包：安装LabVIEW ONNX工具包，以实现与ONNX模型的交互。

       二、模型的获取与转化

       方式一：直接下载ONNX模型。访问GitHub仓库获取YOLOX的ONNX模型，链接如下：github.com/Megvii-BaseD...

       方式二：将训练好的模型pth转换为ONNX。通过下载YOLOX源码、安装库、从基准表下载预训练模型，然后使用特定指令将pth模型转换为ONNX格式。具体步骤如下：

        1. 安装YOLOX：在YOLOX-main文件夹中执行命令行指令。

        2. 安装pycocotools。

        3. 下载预训练模型：使用指定链接下载模型文件至特定路径。

        4. 将模型pth转换为ONNX：执行相关命令。

       三、LabVIEW实现YOLOX ONNX推理检测

       加载模型：将转换后的ONNX模型放置至LabVIEW项目中的model文件夹内，配置LabVIEW程序加载模型。

       目标检测实现：使用LabVIEW ONNX工具包中的Create_Session.vi加载模型，并选择CPU、CUDA或TensorRT进行推理加速。通过查看模型结构、加载模型及实现目标检测，最终输出检测结果。

       四、源码及模型下载

       链接：访问百度网盘下载相关源码与模型，链接如下：pan.baidu.com/s/1FMRH1F...

       总结：本文详细介绍了在LabVIEW中实现YOLOX目标检测的全过程，包括环境搭建、模型获取与转化、LabVIEW实现推理检测以及源码下载。sf授权源码希望对读者在LabVIEW与人工智能技术应用方面有所帮助。如有疑问或讨论，欢迎在评论区留言，同时也欢迎加入技术交流群。

ONNX-Runtime一本通：综述&使用&源码分析（持续更新）

       ONNX-Runtime详解：架构概览、实践与源码解析

       ONNX-Runtime作为异构模型运行框架，其核心机制是先对原始ONNX模型进行硬件无关的图优化，之后根据支持的硬件选择相应的算子库，将模型分解为子模型并发在各个平台执行。它提供同步模式的计算支持，暂不包括异步模式。ORT（onnx-runtime缩写）是主要组件，包含了图优化（graph transformer）、执行提供者（EP）等关键模块。

       EP是执行提供者，它封装了硬件特有的内存管理和算子库，可能只支持部分ONNX算子，但ORT的CPU默认支持所有。ORT统一定义了tensor，但EP可有自定义，需提供转换接口。每个推理会话的run接口支持多线程，要求kernel的compute函数是并发友好的。

       ORT具有后向兼容性，能运行旧版本ONNX模型，并支持跨平台运行，包括Windows、Linux、macOS、iOS和Android。安装和性能优化是实际应用中的重要步骤。

       源码分析深入到ORT的远程查看源码核心模块，如框架（内存管理、tensor定义等）、图结构（构建、排序与修改）、优化器（包括RewriteRule和GraphTransformer），以及平台相关的功能如线程管理、文件操作等。Session是推理流程的管理核心，构造函数初始化模型和线程池，load负责模型反序列化，initialize则进行图优化和准备工作。

       ORT中的执行提供者（EP）包括自定义实现和第三方库支持，如TensorRT、CoreML和SNPE。其中，ORT与CoreML和TensorRT的集成通过在线编译，将ONNX模型传递给这些框架进行计算。ORT通过统一的接口管理元框架之上的算子库，但是否支持异构运算（如SNPE与CPU库的混合）仍有待探讨。

       总结来说，ONNX-Runtime处理多种模型格式，包括原始ONNX和优化过的ORT模型，以适应多平台和多设备需求。它通过复杂的架构和优化技术，构建了可扩展且高效的推理软件栈，展示了flatbuffer在性能和体积方面的优势。

       附录：深入探讨ORT源码编译过程的细节。

XGBoost源码解读

       前言

       XGBoost是一代神器，其推理逻辑独树一帜，与Glove等相似，皆以思考出发，推导出理想结果。高斯正是这种思维的典范，XGBoost的代码实现也异常精妙，本文尝试将两者相结合，供您参考。

       高斯的做法

       优化目标设定，以均值为目标函数的导数为零。利用线性假设推导目标函数，进而优化以误差平方项为出发点。

       进一步，高斯将误差目标公式推广到参数求解中，实现优化。

       Glove的做法

       通过log-bilinear models, LBL启发，寻找满足概率约束的目标表达式，并推导出指数函数，从而实现类似LSA的因子分解。

       引入优化权重函数，最终实现最大似然估计。

       XGBoost的做法

       引入Stagewise限制，目标为找到最优的叶子节点，以最佳方式拆分，优化损失。

       通过泰勒展开，结合叶子节点权重假设，推导出目标公式。

       基于贪心算法，实现树的生长。

       代码解读

       从命令行入口开始，核心代码框架包括数据加载、初始化、循环训练与模型保存。训练过程包括计算样本预测结果、一阶和二阶梯度计算以及Boost操作。

       DoBoost实现GBLine和GBTree两种方式，提供GradientBooster核心函数，如DoBoost、PredictLeaf、PredictBatch等。

       默认采用GBTree，对于线性部分，效果难与非线性分类器相比。

       代码基本框架集成了DMLC的注册使用机制，插件式管理实现更新机制。

       实现精准和近似算法，主要关注ColMaker更新实现。在GBTree的DoBoost中，生成并发新树，更新ColMaker和TreePruner。

       ColMaker实现包括Builder与EnumerateSplit，最终依赖于TreeEvaluator的SplitEvaluator。

       SplitEvaluator实现树的分拆，对应论文中的相关函数，包括Gain计算、权重计算、单个叶子节点Gain计算与最终损失变化。

       本文仅作为案例介绍，XGBoost在近似计算、GPU计算与分布式计算方面也极具亮点。

       小结

       本文通过对比分析高斯、Glove与XGBoost的优化策略，展示了研究与工程结合的实践，强调在追求性能的同时，不能忽视效果的重要性。

LLM推理2：vLLM源码学习

       vLLM, developed at UC Berkeley, redefines LLM service efficiency with PagedAttention. This technology boosts throughput by times compared to HuggingFace Transformers without altering the model architecture, implemented in Python/C++/CUDA.

       At the heart of vLLM lies PagedAttention, addressing the memory bottleneck in LLM services. In traditional self-attention, computation lags behind memory access, causing performance constraints. PagedAttention utilizes virtual memory and paging principles to store continuous keys and values in non-contiguous memory segments. By dividing each sequence's KV cache into blocks, PagedAttention facilitates efficient attention computations. With near-optimal memory usage, PagedAttention minimizes memory waste to under 4%, while also supporting efficient memory sharing to reduce overhead in complex sampling algorithms, thus enhancing throughput.

       Continuous batching, initially unclear, was illuminated by @哦哦啊's insights. This technique optimizes system-level batch sizes to yield x or more performance improvements in real-world workloads. While most optimizations focus on model quantization and custom CUDA kernels, IO and memory issues typically outweigh compute concerns in LLM inference.

       LLM inference is memory-bound, not compute-bound. It often takes longer to load data to GPU cores than the computations themselves. Thus, throughput largely hinges on the batch size that can fit into high-bandwidth GPU memory. As the batch size increases, especially when max tokens are high, the disparity in completion times across different batches can diminish GPU utilization.

       vLLM stands out in benchmark tests, more than doubling performance over naive continuous batching. The dynamic space reservation capability of vLLM is suspected to significantly increase batch sizes, contributing to its superior performance.

       In the llm.py file, the _run_engine() function iterates to generate results for any incomplete requests, while the self.llm_engine.step() function retrieves data for sequences needing inference from the _schedule() function, which moves waiting sequences to the running state.

       To run vLLM, several methods are available, including adjustments for CUDA and PyTorch version mismatches in installation. Running examples/offline_inference.py provides a straightforward command-line interface.

       The LLM class encapsulates model loading, tokenizer creation, worker and scheduler setup, and memory allocation, including the block-based allocation strategy enabled by PagedAttention. The embed, N decoders, and normalization in the LlamaModel class facilitate efficient inference. The RMSNorm class leverages CUDA acceleration, and the LlamaDecoderLayer integrates LlamaAttention and LlamaMLP for processing. PagedAttention is instrumental in optimizing memory usage during inference.

       The sampling_params.py file contains default parameters for inference, generally not requiring modification. vLLM's core innovation lies in its PagedAttention technology, which optimizes memory management to enhance throughput.

       While single-batch inference may not outperform HuggingFace Transformers, vLLM demonstrates significant advantages in multi-batch scenarios. The discrepancies in inference results between vLLM and HuggingFace (HF) can be explored further for a deeper understanding of the system's nuances.

腾讯T2I-adapter源码分析（2）-推理源码分析

       随着stable-diffusion和midjourney展示出AI绘图的惊人潜力，人们对技术进步的惊叹不已。然而，AI绘图的可控性一直是痛点，仅凭描述词控制图像并不尽如人意。为增强AI图像的可控性，Controlnet和T2I-adapter等技术应运而生。本文将通过解析T2I-adapter的推理源码，揭示其工作原理。

       本文将深入剖析推理部分的代码，以便理解T2I-Adapter的实际操作。使用如下的命令行指令进行推理，如test_adapter.py，它需要指定条件类型、深度图路径、前置处理器类型、提示语、模型和缩放尺寸等参数。

       在test_adapter.py中，主要分为参数读取、模型加载和推理运算三个步骤。参数读取部分包括检查支持的条件、构建提示语，以及根据输入选择前置处理。模型加载涉及stable-diffusion和adapter模型，前者通过配置加载，后者根据输入条件构造Adapter模型。

       加载stable-diffusion模型时，代码引用了来自github的CompVis/stable-diffusion库，其中关键部分包括加载参数、模型配置以及UNetModel的改动。Adapter模型的构造与论文中的结构图一致，通过ResnetBlock的组合实现。

       在推理过程中，先对输入进行预处理，如深度图的处理。随后，get_adapter_feature和diffusion_inference两个核心函数调用adapter模型，与stable-diffusion模型结合进行特征融合和采样。最后，DDIM采样器接收并处理adapter特征，最终生成图像。

       通过以上分析，我们逐步揭示了T2I-adapter的推理机制。后续文章将探讨训练代码。在游戏开发中，AI生成游戏角色动作的应用，如AUTOMATIC，展示了这种技术的实际应用，以解决美术资源匮乏的问题。

ONNX一本通：综述&使用&源码分析（持续更新）

       ONNX详解：功能概述、Python API应用与源码解析

       ONNX的核心功能集中在模型定义、算子操作、序列化与反序列化，以及模型验证上。它主要通过onnx-runtime实现运行时支持，包括图优化和平台特定的算子库。模型转换工具如tf、pytorch和mindspore的FMK工具包负责各自框架模型至ONNX的转换。

       ONNX Python API实战

       场景一：构建线性回归模型，基础操作演示了API的使用。

       场景二至四：包括为op添加常量参数、属性以及控制流（尽管控制流在正式模型中应尽量避免）。

       场景五和后续：涉及for循环和自定义算子的添加，如Cos算子，涉及算子定义、添加到算子集、Python实现等步骤。

       源码分析

       onnx.checker：负责模型和元素的检查，cpp代码中实现具体检查逻辑。

       onnx.compose、onnx.defs、onnx.helper等：提供模型构建、算子定义和辅助函数。

       onnx.numpy_helper：处理numpy数组与onnx tensor的转换。

       onnx.reference：提供Python实现的op推理功能。

       onnx.shape_inference：进行模型的形状推断。

       onnx.version_converter：处理不同op_set_version的转换。

       转换实践

       ONNX支持将tf、pytorch和mindspore的模型转换为ONNX格式，同时也有ONNX到TensorRT、MNN和MS-Lite等其他格式的转换选项。

       总结

       ONNX提供了一个统一的IR（中间表示）框架，通过Python API构建模型，支持算子定义的检查和模型的序列化。同时，它利用numpy实现基础算子，便于模型的正确性验证，并支持不同框架模型之间的转换。