1.《Android Runtime源码解析》介绍
2.vue runtime源码分析学习——day4:createApp
3.如何编译 dotnet/runtime 源代码
4.onnxruntime源码学习-编译与调试 (公网&内网)
5.Addressables Runtime源码学习之总览
6.openplc 研究:runtime层编译及运行,码分SCADABR试运行
《Android Runtime源码解析》介绍
《Android Runtime源码解析》是我创作的第二本技术专著,于6月底完成印刷,码分现已在各大电商平台上市。码分借此机会,码分我简要介绍本书内容,码分以便对此感兴趣的码分广东道闸源码朋友能有所了解。
本书以Android .0.0_r源码为基础,码分从编译器开发者的码分视角,分析了ART的码分各个部分及其主要流程,旨在向读者展示ART的码分基本框架。由于ART发展至今,码分规模庞大,码分复杂度较高,码分很多细节无法完全覆盖。码分因此,码分本书选择基本框架进行介绍,以便读者根据个人兴趣深入挖掘感兴趣的细节。
全书内容分为四个部分。第一部分包括第一章,主要介绍ART的基础知识;第二部分包括第二章至第四章,主要介绍ART中的编译器部分,包括dex2oat工具,这部分属于编译时阶段;第三部分包括第五章和第六章,主要介绍ART的启动和运行,属于运行时阶段;第四部分包括第七章,主要介绍ART中的垃圾回收部分。读者可以按照顺序阅读,也可以根据自己的需要选择阅读相关部分,不影响对内容的理解。
各章内容如下:第一章,从虚拟机基础、ART发展历史、ART核心架构和源码目录结构等方面对ART基础进行了介绍;第二章,介绍了dex2oat工具的入口、driver以及DexToDexCompiler等;第三章,刀锋战纪2客户端源码分析了OptimizingCompiler中的JNI处理和Compile过程,并对Compile过程中的主要环节进行了详细阐述;第四章,介绍了OptimizingCompiler中硬件平台无关和硬件平台相关的优化,并深入分析了硬件平台无关优化中的典型优化;第五章,分析了ART在启动时的几个主要流程;第六章,分析了ART在执行时的主要流程;第七章,分析了ART GC的整体架构、种类及具体实现。
本书适合新入行的ART开发者以及想了解ART基本情况的各类开发者。
由于作者水平有限,本书中可能存在诸多问题,敬请各位专家批评指正。
vue runtime源码分析学习——day4:createApp
在深入研究vue runtime源码时,我们首先确定了分析的路径和方法。
createApp这个关键入口点位于@vue/runtime-dom包中,它是开发者项目启动的起点。
在开始代码分析前,我们选择在packages\vue\__tests__\index.spec.ts中的测试用例进行,通常选择第一个即可,因为这里模拟的是客户端环境,但需确保testEvironment配置正确并配合jsdom库使用。
createApp方法内部包含一些开发环境特有的检查,如injectCompilerOptionsCheck和injectNativeTagCheck,它们在生产环境不会执行。通过Object.defineProperty绑定,可以防止这些检查被意外修改。
createApp的主要任务包括调用ensureRenderer、createAppApi和mount等。其中,ensureRenderer涉及到typescript的重载,而createAppApi则是通过缓存render和hydrate方法,优化性能。
在render部分,我们首次遇到reload,顶底指标源码无未来不漂移这是与vue-loader中热更新功能的联系点。尽管loader中的reload方法不接受参数,但它们本质上是处理相同逻辑的。
mount方法的核心内容是将js代码转化为DOM,它会处理createVNode和vnode的生成,以及与container._vnode的更新和比对,即旧vnode与新vnode的差异处理。
虽然今天的内容可能略显琐碎,但createApp的总体流程已经清晰了。后续将继续深入解析其他关键部分。
如何编译 dotnet/runtime 源代码
在准备为 dotnet/runtime 修改 issue 的过程中,发现仅仅克隆代码后,编译成功远比想象中困难。因此,本文详细记录了整个编译过程,希望对大家有所帮助。操作环境为 Windows ,如需了解具体操作环境要求,请参考官方文档。
在准备阶段,建议按照官方文档中《在Windows上构建dotnet/runtime的要求》进行环境准备。这里无需特别强调是否安装了 Visual Studio ,因为可以根据实际需求自行安装。
在初次尝试编译时,遇到了第一个错误,发现需要安装 Python3。在安装 Python3 后,再次尝试编译时,又遇到了另一个错误。经过查找,发现这涉及到一个下载文件的任务,但下载地址并未显示具体值。此时,通过查阅 dotnet/runtime 的3d小精灵卡牌源码 issue 讨论区,找到了一个解决方案。尽管该方案来自一位自称是中国用户的发帖,但这证明了社区中有着丰富的资源和帮助。
为了解决编译过程中可能出现的下载错误,建议在编译过程中生成详细的日志文件。使用特定工具打开日志文件后,可以清晰地查看到具体的下载地址。这样,就可以根据日志信息,下载所需的文件并解压,从而解决编译过程中出现的问题。经过多次尝试和解决,最终成功编译代码。
然而,在编译成功后,当我们尝试运行 dotnet/runtime 自带的测试用例时,发现出现了找不到指定 dll 的错误。经过分析,发现编译的 dll 版本与当前查找的版本不符。通过查阅 build.cmd 命令的帮助文档,了解到可以通过指定编译框架版本来解决此问题。再次编译并确保了正确的框架版本后,测试用例得以成功运行。
总体而言,编译过程中遇到的主要问题源于访问国外资源的网速较慢。这需要我们在编译过程中保持耐心,并灵活运用社区资源和工具来解决问题。
onnxruntime源码学习-编译与调试 (公网&内网)
在深入学习ONNX Runtime的过程中,我决定从1.版本开始,以对比与理解多卡并行技术。为此,我选择了通过`./tools/ci_build/build.py`脚本进行编译,而不是直接执行`build.sh`,因为后者并不直接提供所需的通达信波段生命线源码参数。在`build.py:::parse_arguments()`函数中,我找到了可选择的参数,例如运行硬件(CPU/GPU)、调试模式(Debug/Release)以及是否并行编译。我特别使用了`--skip_submodule_sync`,以避免因与公网不通而手动下载“submodule”,即`./cmake/external`文件夹下的依赖组件。这样可以节省每次编译时检查依赖组件更新的时间,提高编译效率。同时,我使用`which nvcc`命令来确定`cuda_home`和`cudnn_home`的值。
我的编译环境配置为gcc8.5.0、cuda.7和cmake3..1,其中cmake版本需要不低于3.,gcc版本则至少为7.0,否则编译过程中会出现错误。在编译环境的配置中,可以通过设置PATH和LD_LIBRARY_PATH来指定可执行程序和动态库的路径。对于手动下载“submodule”的不便,可以通过先在公网编译cpu版本,然后在编译开始阶段由构建脚本自动下载所有依赖组件并拷贝至所需目录来简化流程。
编译顺利完成后,生成的so文件并未自动放入bin目录,这可能是由于在安装步骤后bin目录下才会出现相应的文件。接下来,我进入了调试阶段,使用vscode进行调试,最终成功运行了`build/RelWithDebInfo/onnxruntime_shared_lib_test`可执行文件。
在深入研究ONNX Runtime的编译流程时,我发现了一个更深入的资源,它涵盖了从`build.sh`到`build.py`再到`CmakeList.txt`的编译过程,以及上述流程中涉及的脚本解析。对这个流程感兴趣的读者可以进行更深入的研究。
在编译过程中,我遇到了一些问题,如下载cudnn并进行安装,以及解决找不到`stdlib.h`的问题。对于找不到`stdlib.h`,我通过查阅相关文章和理解编译过程中搜索路径的逻辑,最终找到了解决方案。如果忽略这个问题,我选择在另一台机器上重新编译以解决问题。
在使用vscode调试时,我遇到了崩溃问题,这可能是由于vscode、gdb或Debug模式编译出的可执行文件存在潜在问题。通过逐步排除,我最终确定问题可能出在Debug模式编译的可执行文件上。这一系列的探索和解决过程,不仅加深了我对ONNX Runtime的理解,也提高了我的调试和问题解决能力。
Addressables Runtime源码学习之总览
Addressables系统,一套封装了资源管理逻辑的系统,主要由Editor和Runtime两部分构成。其中,Editor负责资源的分组管理和打包,而Runtime则主要处理资源的内存管理。
本文将重点分析Runtime部分,首先从整体上对其进行概述。Runtime主要包括API、初始化、资源定位、资源加载和解析、资源管理以及多平台这些部分。这些分类主要是基于类的功能性进行总结的。
以下标题分类则是按照Runtime下代码的目录层级进行划分的。在ResourceManager目录下,包含ResourceProvider目录,其中Provider主要负责各种资源的加载和解析。此外,Manager目录下还包含Operations目录,Operations作为操作类,负责初始化、加载、卸载等操作。这里包含了Operations的基类以及ProviderOperation等。
APIAddressables是一个API的壳,主要包含以下几个成员:
其中,API的接口主要包括以下几种:
AddressablesImpl是关于Addressables接口的具体实现。
AssetLabelReference是Asset Label的引用类,实现了IKeyEvaluator接口。
RuntimeKey对应LabelString。
AssetReference是Addressable Asset的引用,同样实现了IKeyEvaluator接口。
RuntimeKey对应GUID。
包含资源加载和卸载的接口,最终会调用AddressableImpl的接口。
AssetReferenceUILabelRestriction用于限制AssetReference的Label。
IKeyEvaluator提供RuntimeKey的接口。
初始化、资源定位器ResourceLocators、资源管理ResourceManager、资源内容管理器ResourcesProviders、服务Services、公用Utility等模块在编辑中...
openplc 研究:runtime层编译及运行,SCADABR试运行
在虚拟机环境搭建OpenPLC的runtime层,首先,选择使用本地虚拟机进行运行,便于在没有硬件设备的情况下进行测试。
下载代码资源,将OpenPLC的代码从Gitee平台获取,以方便在本地进行操作。使用Gitee平台提供的一键下载功能,轻松获取所需代码。
在虚拟机中进行代码的编译和安装,过程中可能会遇到网络速度较慢的情况,考虑使用清华镜像或其他加速工具以提高下载效率。运行后,通过访问localhost:,即可看到已经运行的OpenPLC系统,使用默认账号密码openplc进行登录。
运行默认程序,系统中预设了空白程序blank_program.st,点击左下角的运行按钮,程序将被启动执行。对于需要上传部署新程序的情况,需要将梯形图程序编译后生成的.st文件手动复制到OpenPLC runtime设备上,再通过启动对应程序并执行运行操作。在梯形图中虽有包含IO的blink功能,但实际运行状态需进一步确认。
启用EtherCAT功能,从GitHub源码库下载OpenPLC代码,使用git命令自动集成EtherCAT代码,随后对EtherCAT进行编译和安装。修改配置文件/etc/sysconfig/ethercat,注意路径应正确为/etc/ethercat.conf,配置文件只需设置MASTER0的MAC地址以及genric的module名称,其余无需填写。启动命令为指定的EtherCAT启动命令。
对于固定系统内核以防止自动更新的需求,根据具体情况进行操作,确保系统稳定运行。
关于SCADABR模块,国内用户可能面临下载困难的情况,建议通过Gitee或其他本地镜像平台同步代码资源。进行安装并运行,使用默认账号密码admin登录。基于Tomcat的SCADA系统,性能和功能可能较为传统,考虑寻找其他开源免费的SCADA软件进行比较和选择,以满足实际需求。
ONNX-Runtime一本通:综述&使用&源码分析(持续更新)
ONNX-Runtime详解:架构概览、实践与源码解析
ONNX-Runtime作为异构模型运行框架,其核心机制是先对原始ONNX模型进行硬件无关的图优化,之后根据支持的硬件选择相应的算子库,将模型分解为子模型并发在各个平台执行。它提供同步模式的计算支持,暂不包括异步模式。ORT(onnx-runtime缩写)是主要组件,包含了图优化(graph transformer)、执行提供者(EP)等关键模块。
EP是执行提供者,它封装了硬件特有的内存管理和算子库,可能只支持部分ONNX算子,但ORT的CPU默认支持所有。ORT统一定义了tensor,但EP可有自定义,需提供转换接口。每个推理会话的run接口支持多线程,要求kernel的compute函数是并发友好的。
ORT具有后向兼容性,能运行旧版本ONNX模型,并支持跨平台运行,包括Windows、Linux、macOS、iOS和Android。安装和性能优化是实际应用中的重要步骤。
源码分析深入到ORT的核心模块,如框架(内存管理、tensor定义等)、图结构(构建、排序与修改)、优化器(包括RewriteRule和GraphTransformer),以及平台相关的功能如线程管理、文件操作等。Session是推理流程的管理核心,构造函数初始化模型和线程池,load负责模型反序列化,initialize则进行图优化和准备工作。
ORT中的执行提供者(EP)包括自定义实现和第三方库支持,如TensorRT、CoreML和SNPE。其中,ORT与CoreML和TensorRT的集成通过在线编译,将ONNX模型传递给这些框架进行计算。ORT通过统一的接口管理元框架之上的算子库,但是否支持异构运算(如SNPE与CPU库的混合)仍有待探讨。
总结来说,ONNX-Runtime处理多种模型格式,包括原始ONNX和优化过的ORT模型,以适应多平台和多设备需求。它通过复杂的架构和优化技术,构建了可扩展且高效的推理软件栈,展示了flatbuffer在性能和体积方面的优势。
附录:深入探讨ORT源码编译过程的细节。