1.TVM源语-Compute篇
2.GridSample算子源码解析
3.极智开发 | 解读英伟达软件生态 一切的基础CUDA

TVM源语-Compute篇

       本文探讨TVM源码中的计算相关(primitives)模块，深入讲解如何在非神经网络场景下，如基于张量的密集计算中，通过TVM的原生指令实现算法。通过分解计算与调度，TVM提供了一种灵活高效的源码小说阅读并行计算框架。本文将首先通过向量相加（Vector Addition）实例，展示如何将算法数学表达式转化为TVM指令，实现输出矩阵的生成。接着，以矩阵乘法（GEMM）为例，说明TVM如何通过三层for循环来处理矩阵操作，并引入te.compute和te.reduce_axis等关键指令。进一步，通过简化卷积实现，解释了如何使用TVM DSL（数据描述语言）来处理多通道输入和输出特征图的网站源码视频解析卷积操作。最后，文章总结了TVM DSL的使用方式，强调其功能性编程风格，以及lambda表达式和reduce_axis在隐藏for循环细节、增强算法理解与优化后端性能方面的优势。

       在向量相加（Vector Addition）部分，我们定义数组长度n，两个数组A和B，通过lambda表达式将每个元素相加，存储到数组C中。TVM的te.compute指令用于指定输出结果的形状，lambda表达式则对应于循环逻辑，create_schedule构建出计算流程。利用tvm.lower将生成的schedule映射至IR（中间表示）上，展示与常规C代码相似的pip下载源码包流程。

       矩阵乘法（GEMM）示例中，我们定义了矩阵A、B和C的维度，通过三层for循环实现矩阵乘法和加法。引入te.reduce_axis指令以优化循环结构，展示矩阵乘法运算的关键步骤和优化潜力。进一步，通过简化卷积实现，我们深入探讨了如何处理单通道输入图像和滤波器的卷积运算，解释了补零操作和使用te.compute处理多输入的实现方式。最终，总结了TVM DSL在表达计算逻辑、隐藏低级循环细节、优化算法性能方面的优势，以及其功能性编程风格对理解与优化算法带来的直播源码设置参数便利。

GridSample算子源码解析

       PyTorch的GridSample算子，其核心功能是按给定的索引进行采样，具体如官方描述：从低分辨率的输入（input）根据流场grid生成高分辨率的输出（output）。

       实现该算子的关键步骤是通过核心函数grid_sampler_2d_kernel进行二维数据处理。这个函数扮演了运算的桥梁，它处理输入数据和grid索引，以生成最终的高分辨率结果。

       另一个关键方法是grid_sampler_compute_source_index，它负责计算grid中的每个索引在原始输入数据中的精确对应位置，这是生成采样结果的关键步骤。

       在性能优化方面，可以考虑使用共享内存或L2缓存技术，例如，通过将频繁访问的数据如input、grid和output存储在这些高效存储区域，个人网页源码大全以减少内存访问时间和提高运算效率。

极智开发 | 解读英伟达软件生态 一切的基础CUDA

       欢迎关注我的公众号 [极智视界]，获取我的更多经验分享

       大家好，我是极智视界，本文来介绍一下 解读英伟达软件生态 一切的基础CUDA。

       邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接： t.zsxq.com/0aiNxERDq

       CUDA，全称为 Compute Unified Device Architecture，是英伟达于 年推出的一个平行计算平台和应用编程接口 API 模型。CUDA 之于英伟达的重要性主要体现在下面几个方面：

       所以，解读英伟达软件生态，必须要从 CUDA 说起。虽然 CUDA 再往下还有如 PTX 的指令集加速层级，但是PTX 的普及程度其实并不高，甚至可能很多朋友都没听说过 PTX，其实也算正常，因为基本上的 N 卡开发者，根本没必要接触到 PTX，把 CUDA 学好就足够够的了。

       把 CUDA 作为标杆，似乎是很多 AI 芯片厂商 "共同的做法"，比较有代表性的是升腾的 Ascend C、寒武纪的 Bang C，但是其实这几个之间有相似但又有不相似的地方。相似的地方在于不管是升腾还是寒武纪都想提供一套类似 CUDA 的可以充分调用自己 NPU 硬件加速的对外接口，提高客制化的灵活性。不相似的地方一方面在于我们是在学人家，很多接口其实是为了贴近 CUDA 的接口而进行的高级封装，毕竟大部分开发者其实已经形成了 CUDA 的开发习惯，这个时候让大家切换起来更加顺手的做法就是 "模仿"，而要做这种程度的 "模仿" 势必要协调好硬件架构和软件接口的映射；不相似的另外一方面体现在软件生态的层次清晰度，这个拿升腾来专门说，升腾 Ascend C 的发布时间在 年 5 月 6 日，而反观英伟达 CUDA 的发布时间是 年。什么意思呢，很明显可以看到英伟达的软件生态是以 CUDA 为基础然后层层往上叠的，而升腾是先有了 CANN，先有了 MindSpore 这些 "高层建筑"，然后往下才有了 Ascend C，这种软件生态的层次结构就没有那么清晰，当然这种说法也只是基于时间上的，这并不影响它在空间上还是具备不错的软件生态层次结构。

       再回到 CUDA 本身，需要清楚的一点是，CUDA 其实一开始主要是面向优化计算密集型计算 (Compute-Bound)，因为不管是最开始的通用科学计算还是后来的以 CNN 为主流的深度学习计算都是计算密集型，但是后来 Transformer 又逐渐流行，所以 CUDA 也是不断在 "与时俱进" 在做平衡、做兼顾，比如在 A 开始，CUDA 新增了从 L1 Cache 到 HBM Global Memory 数据直接异步拷贝的指令，其实也是在丰富自身对于访存密集型计算 (Memory-Bound) 的优化。

       我之前写过挺多关于 CUDA 的分享，罗列一些，

       CUDA 是一种硬件强相关的编程模型，要掌握好 CUDA，需要先看懂 GPU 硬件架构，从而映射到 CUDA 内存模型、线程模型上，这点跟 C 语言、跟 C++ 这类 "高级" 编程语言就很不一样，所以很多朋友会觉得 CUDA C 比较难写，特别是要写出高性能的 CUDA C，比较难。确实，这是事实，特别是对于写出高性能的 CUDA C，会涉及资源的高效调度，比如 Shared Memory、L1 Cache 等的调度；会涉及适应硬件架构超参的配置，比如 Thread、Block、Grid 等的配置。

       总之，对于 CUDA 的深入学习，是一门 "稳挣不亏" 的 "买卖"，原因不再过多赘述，主要体现在它的重要性上。

       好了，以上分享了 解读英伟达软件生态 一切的基础CUDA，希望我的分享能对你的学习有一点帮助。

       公众号传送