1.如何编译 dotnet/runtime 源代码
2.ONNX-Runtime一本通:综述&使用&源码分析(持续更新)
3.什么是运行时
4.UE4 LevelSequence源码剖析(一)
5.《Android Runtime源码解析》介绍
6.什么是运行时runtime,软件报错microsoft visual c++ runtime library
如何编译 dotnet/runtime 源代码
在准备为 dotnet/runtime 修改 issue 的过程中,发现仅仅克隆代码后,编译成功远比想象中困难。因此,本文详细记录了整个编译过程,gif图格式源码希望对大家有所帮助。操作环境为 Windows ,如需了解具体操作环境要求,请参考官方文档。
在准备阶段,建议按照官方文档中《在Windows上构建dotnet/runtime的要求》进行环境准备。这里无需特别强调是否安装了 Visual Studio ,因为可以根据实际需求自行安装。
在初次尝试编译时,遇到了第一个错误,发现需要安装 Python3。在安装 Python3 后,再次尝试编译时,又遇到了另一个错误。经过查找,发现这涉及到一个下载文件的任务,但下载地址并未显示具体值。此时,通过查阅 dotnet/runtime 的 issue 讨论区,找到了一个解决方案。尽管该方案来自一位自称是中国用户的发帖,但这证明了社区中有着丰富的资源和帮助。
为了解决编译过程中可能出现的下载错误,建议在编译过程中生成详细的日志文件。使用特定工具打开日志文件后,可以清晰地查看到具体的下载地址。这样,就可以根据日志信息,下载所需的文件并解压,从而解决编译过程中出现的问题。经过多次尝试和解决,最终成功编译代码。
然而,在编译成功后,当我们尝试运行 dotnet/runtime 自带的kafka源码导入工程测试用例时,发现出现了找不到指定 dll 的错误。经过分析,发现编译的 dll 版本与当前查找的版本不符。通过查阅 build.cmd 命令的帮助文档,了解到可以通过指定编译框架版本来解决此问题。再次编译并确保了正确的框架版本后,测试用例得以成功运行。
总体而言,编译过程中遇到的主要问题源于访问国外资源的网速较慢。这需要我们在编译过程中保持耐心,并灵活运用社区资源和工具来解决问题。
ONNX-Runtime一本通:综述&使用&源码分析(持续更新)
ONNX-Runtime详解:架构概览、实践与源码解析
ONNX-Runtime作为异构模型运行框架,其核心机制是先对原始ONNX模型进行硬件无关的图优化,之后根据支持的硬件选择相应的算子库,将模型分解为子模型并发在各个平台执行。它提供同步模式的计算支持,暂不包括异步模式。ORT(onnx-runtime缩写)是主要组件,包含了图优化(graph transformer)、执行提供者(EP)等关键模块。
EP是执行提供者,它封装了硬件特有的内存管理和算子库,可能只支持部分ONNX算子,但ORT的CPU默认支持所有。ORT统一定义了tensor,但EP可有自定义,需提供转换接口。每个推理会话的run接口支持多线程,要求kernel的compute函数是并发友好的。
ORT具有后向兼容性,能运行旧版本ONNX模型,并支持跨平台运行,包括Windows、Linux、macOS、iOS和Android。安装和性能优化是实际应用中的重要步骤。
源码分析深入到ORT的核心模块,如框架(内存管理、屏幕窗口识别源码tensor定义等)、图结构(构建、排序与修改)、优化器(包括RewriteRule和GraphTransformer),以及平台相关的功能如线程管理、文件操作等。Session是推理流程的管理核心,构造函数初始化模型和线程池,load负责模型反序列化,initialize则进行图优化和准备工作。
ORT中的执行提供者(EP)包括自定义实现和第三方库支持,如TensorRT、CoreML和SNPE。其中,ORT与CoreML和TensorRT的集成通过在线编译,将ONNX模型传递给这些框架进行计算。ORT通过统一的接口管理元框架之上的算子库,但是否支持异构运算(如SNPE与CPU库的混合)仍有待探讨。
总结来说,ONNX-Runtime处理多种模型格式,包括原始ONNX和优化过的ORT模型,以适应多平台和多设备需求。它通过复杂的架构和优化技术,构建了可扩展且高效的推理软件栈,展示了flatbuffer在性能和体积方面的优势。
附录:深入探讨ORT源码编译过程的细节。
什么是运行时
运行时(Runtime)在计算机编程中,指的是程序在执行过程中的状态,它涉及到程序的运行、管理以及资源的分配。
例如,在基本的BASIC示例中,程序通过RUN命令启动并执行直到END语句为止。此时,程序仅存在于源码阶段,并未运行。RUN程序则提供了一个操作系统与源码之间的运行时环境,它负责解析代码、执行指令并将其发送给操作系统。
编译语言(Compiled binary languages)如C语言,金山快盘源码程序需先编译为机器语言,再由操作系统执行。编译过程中,通常会检测出如崩溃声明语句等错误,帮助开发者调试。
字节码语言(Bytecode languages)如Java和Python,将源码编译为字节码,由运行时程序执行。这类运行时程序能够辅助代码管理,如跟踪内存使用情况,捕获非法请求。虽然这类语言的运行速度相对较慢,但其强大的运行时环境可以降低错误率。
脚本语言(Scripting languages)如JavaScript、Perl和PHP,无需预编译,程序在执行时逐行解释并执行。这使得这类语言更灵活,但执行速度较慢。它们允许在运行时调整源码,但也存在潜在的代码安全风险。
运行时环境可以提供多种功能,包括资源管理、错误检测和代码执行。不同编程语言的运行时环境根据其特点和目标提供了不同的功能和性能。理解运行时的概念对于开发者来说至关重要,因为它直接关系到程序的执行效率、安全性和调试过程。
UE4 LevelSequence源码剖析(一)
UE4的LevelSequence源码解析系列将分四部分探讨,本篇聚焦Runtime部分。Runtime代码主要位于UnrealEngine\Engine\Source\Runtime\MovieScene目录,结构上主要包括Channels、Evaluation、Sections和Tracks等核心模块。
ALevelSequenceActor是Runtime的核心,负责逐帧更新,它包含UMovieSceneSequence和ULevelSequencePlayer。ALevelSequenceActor独立于GameThread更新,并且在Actor和ActorComponent更新之前,确保其在RuntTickGroup之前执行。网站后台取源码
IMovieScenePlaybackClient的关键接口用于绑定,编辑器通过IMovieSceneBindingOwnerInterface提供直观的蓝图绑定机制。UMovieSceneSequence是LevelSequence资源实例,它支持SpawnableObject和PossessableObject,便于控制对象的拥有和分离。
ULevelSequencePlayer作为播放控制器,由ALevelSequenceActor的Tick更新,具有指定对象在World和Sublevel中的功能,还包含用于时间控制的FMovieSceneTimeController。UMovieSceneTrack作为底层架构,由UMovieSceneSections组成,每个Section封装了Section的帧范围和对应Channel的数据。
序列的Eval过程涉及EvalTemplate和ExecutionTokens,它们协同工作模拟Track。FMovieSceneEvaluationTemplate定义了Track的模拟行为,而ExecutionTokens则是模拟过程中的最小单元。真正的模拟操作在FMovieSceneExecutionTokens的Apply函数中执行,通过BlendingAccumulator进行结果融合。
自定义UMovieSceneTrack需要定义自己的EvaluationTemplate,这部分将在编辑器拓展部分详细讲解。序列的Runtime部分展示了如何在GameThread中高效管理和模拟场景变化,为后续的解析奠定了基础。
《Android Runtime源码解析》介绍
《Android Runtime源码解析》是我创作的第二本技术专著,于6月底完成印刷,现已在各大电商平台上市。借此机会,我简要介绍本书内容,以便对此感兴趣的朋友能有所了解。
本书以Android .0.0_r源码为基础,从编译器开发者的视角,分析了ART的各个部分及其主要流程,旨在向读者展示ART的基本框架。由于ART发展至今,规模庞大,复杂度较高,很多细节无法完全覆盖。因此,本书选择基本框架进行介绍,以便读者根据个人兴趣深入挖掘感兴趣的细节。
全书内容分为四个部分。第一部分包括第一章,主要介绍ART的基础知识;第二部分包括第二章至第四章,主要介绍ART中的编译器部分,包括dex2oat工具,这部分属于编译时阶段;第三部分包括第五章和第六章,主要介绍ART的启动和运行,属于运行时阶段;第四部分包括第七章,主要介绍ART中的垃圾回收部分。读者可以按照顺序阅读,也可以根据自己的需要选择阅读相关部分,不影响对内容的理解。
各章内容如下:第一章,从虚拟机基础、ART发展历史、ART核心架构和源码目录结构等方面对ART基础进行了介绍;第二章,介绍了dex2oat工具的入口、driver以及DexToDexCompiler等;第三章,分析了OptimizingCompiler中的JNI处理和Compile过程,并对Compile过程中的主要环节进行了详细阐述;第四章,介绍了OptimizingCompiler中硬件平台无关和硬件平台相关的优化,并深入分析了硬件平台无关优化中的典型优化;第五章,分析了ART在启动时的几个主要流程;第六章,分析了ART在执行时的主要流程;第七章,分析了ART GC的整体架构、种类及具体实现。
本书适合新入行的ART开发者以及想了解ART基本情况的各类开发者。
由于作者水平有限,本书中可能存在诸多问题,敬请各位专家批评指正。
什么是运行时runtime,软件报错microsoft visual c++ runtime library
runtime在编程中指的是运行时环境,即程序执行所需的环境。runtime与执行时间紧密相关,但并非简单的“运行时”或“时运行”的合成词,中文理解为“执行准备环境”可能更贴切。 runtime库是在编译时构建,用于在程序运行期间实现语言内置功能,如输入输出、内存管理等。 C语言中的crt0是运行时库的最小组成部分,用于提供最基本的运行环境。crt0通常包含7个步骤,其结构在一些启动代码中常见,如u-boot源码。 crt0.S编译生成crt0.o文件,这是所有gcc编译应用程序的前序代码。类似的crt前缀文件如crt1.o等共同构成了runtime库。 运行时库与标准库不同。标准库定义了可用功能,但不构成编程语言规范的一部分。运行时库是程序执行必不可少的部分,如printf()函数,这部分代码在启动过程执行,对程序员不可见。 在操作系统中,不使用标准库的应用程序几乎无实际意义,因为它们无法访问外设或在屏幕上输出信息。但在裸机环境下,访问外设不需要系统调用,可以不依赖标准库。 简单编写一个只包含main函数的程序,编译后查看符号表,会发现许多函数符号源自crt*.o文件。 更多关于runtime的信息和相关概念,可以参考: 运行时相关问答:runtime stackoverflow链接 运行时库相关词条:运行时库维基百科链接 C运行初始化:运行时初始化embecosm链接 运行时库与标准库相关问答:运行时库与标准库问答链接onnxruntime源码学习-编译与调试 (公网&内网)
在深入学习ONNX Runtime的过程中,我决定从1.版本开始,以对比与理解多卡并行技术。为此,我选择了通过`./tools/ci_build/build.py`脚本进行编译,而不是直接执行`build.sh`,因为后者并不直接提供所需的参数。在`build.py:::parse_arguments()`函数中,我找到了可选择的参数,例如运行硬件(CPU/GPU)、调试模式(Debug/Release)以及是否并行编译。我特别使用了`--skip_submodule_sync`,以避免因与公网不通而手动下载“submodule”,即`./cmake/external`文件夹下的依赖组件。这样可以节省每次编译时检查依赖组件更新的时间,提高编译效率。同时,我使用`which nvcc`命令来确定`cuda_home`和`cudnn_home`的值。
我的编译环境配置为gcc8.5.0、cuda.7和cmake3..1,其中cmake版本需要不低于3.,gcc版本则至少为7.0,否则编译过程中会出现错误。在编译环境的配置中,可以通过设置PATH和LD_LIBRARY_PATH来指定可执行程序和动态库的路径。对于手动下载“submodule”的不便,可以通过先在公网编译cpu版本,然后在编译开始阶段由构建脚本自动下载所有依赖组件并拷贝至所需目录来简化流程。
编译顺利完成后,生成的so文件并未自动放入bin目录,这可能是由于在安装步骤后bin目录下才会出现相应的文件。接下来,我进入了调试阶段,使用vscode进行调试,最终成功运行了`build/RelWithDebInfo/onnxruntime_shared_lib_test`可执行文件。
在深入研究ONNX Runtime的编译流程时,我发现了一个更深入的资源,它涵盖了从`build.sh`到`build.py`再到`CmakeList.txt`的编译过程,以及上述流程中涉及的脚本解析。对这个流程感兴趣的读者可以进行更深入的研究。
在编译过程中,我遇到了一些问题,如下载cudnn并进行安装,以及解决找不到`stdlib.h`的问题。对于找不到`stdlib.h`,我通过查阅相关文章和理解编译过程中搜索路径的逻辑,最终找到了解决方案。如果忽略这个问题,我选择在另一台机器上重新编译以解决问题。
在使用vscode调试时,我遇到了崩溃问题,这可能是由于vscode、gdb或Debug模式编译出的可执行文件存在潜在问题。通过逐步排除,我最终确定问题可能出在Debug模式编译的可执行文件上。这一系列的探索和解决过程,不仅加深了我对ONNX Runtime的理解,也提高了我的调试和问题解决能力。
vue runtime源码分析学习——day4:createApp
在深入研究vue runtime源码时,我们首先确定了分析的路径和方法。
createApp这个关键入口点位于@vue/runtime-dom包中,它是开发者项目启动的起点。
在开始代码分析前,我们选择在packages\vue\__tests__\index.spec.ts中的测试用例进行,通常选择第一个即可,因为这里模拟的是客户端环境,但需确保testEvironment配置正确并配合jsdom库使用。
createApp方法内部包含一些开发环境特有的检查,如injectCompilerOptionsCheck和injectNativeTagCheck,它们在生产环境不会执行。通过Object.defineProperty绑定,可以防止这些检查被意外修改。
createApp的主要任务包括调用ensureRenderer、createAppApi和mount等。其中,ensureRenderer涉及到typescript的重载,而createAppApi则是通过缓存render和hydrate方法,优化性能。
在render部分,我们首次遇到reload,这是与vue-loader中热更新功能的联系点。尽管loader中的reload方法不接受参数,但它们本质上是处理相同逻辑的。
mount方法的核心内容是将js代码转化为DOM,它会处理createVNode和vnode的生成,以及与container._vnode的更新和比对,即旧vnode与新vnode的差异处理。
虽然今天的内容可能略显琐碎,但createApp的总体流程已经清晰了。后续将继续深入解析其他关键部分。
Addressables Runtime源码学习之总览
Addressables系统,一套封装了资源管理逻辑的系统,主要由Editor和Runtime两部分构成。其中,Editor负责资源的分组管理和打包,而Runtime则主要处理资源的内存管理。
本文将重点分析Runtime部分,首先从整体上对其进行概述。Runtime主要包括API、初始化、资源定位、资源加载和解析、资源管理以及多平台这些部分。这些分类主要是基于类的功能性进行总结的。
以下标题分类则是按照Runtime下代码的目录层级进行划分的。在ResourceManager目录下,包含ResourceProvider目录,其中Provider主要负责各种资源的加载和解析。此外,Manager目录下还包含Operations目录,Operations作为操作类,负责初始化、加载、卸载等操作。这里包含了Operations的基类以及ProviderOperation等。
APIAddressables是一个API的壳,主要包含以下几个成员:
其中,API的接口主要包括以下几种:
AddressablesImpl是关于Addressables接口的具体实现。
AssetLabelReference是Asset Label的引用类,实现了IKeyEvaluator接口。
RuntimeKey对应LabelString。
AssetReference是Addressable Asset的引用,同样实现了IKeyEvaluator接口。
RuntimeKey对应GUID。
包含资源加载和卸载的接口,最终会调用AddressableImpl的接口。
AssetReferenceUILabelRestriction用于限制AssetReference的Label。
IKeyEvaluator提供RuntimeKey的接口。
初始化、资源定位器ResourceLocators、资源管理ResourceManager、资源内容管理器ResourcesProviders、服务Services、公用Utility等模块在编辑中...