1.clang 学习笔记
2.clang 在 Windows 下的码下安装教学
3.Clang概述
4.Gcc 和 Clang
5.Clang前端源码分析
6.一文带你梳理Clang编译步骤及命令
clang 学习笔记
clang是LLVM编译器工具集的一个用于编译C、C++、码下Objective-C的码下前端,由苹果公司赞助开发,码下源代码采用类BSD的码下伊利诺伊大学厄巴纳-香槟分校开源码许可。相对于gcc,码下比赛报名系统源码clang具有以下优势:
1. 支持更现代的码下C++标准,如C++、码下C++、码下C++等。码下
2. 代码质量更高,码下由于其分析更加严格,码下能够发现更多潜在错误。码下
3. 更好的码下类型推断,可以减少使用模板代码的码下需要。
4. 提供更详细的错误信息和诊断,帮助开发者快速定位问题。
然而,clang在某些方面仍需改进,比如在处理大型项目时的构建速度和内存使用效率。此外,相对于gcc,clang的社区支持和文档可能稍显不足。
要安装LLVM + clang,有二进制安装和源码安装两种方式。对于二进制安装,您可以在官网下载适合您操作系统的预编译版本。源码安装则需要下载LLVM源码,编译并配置安装。具体步骤如下:
1. 下载LLVM源码包。
2. 配置编译选项,包括指定安装路径等。
3. 使用`make`命令编译源码。
4. 使用`sudo make install`命令安装。
编译C程序使用clang与gcc类似,可以通过创建一个包含`main`函数的C源文件,使用命令行编译并链接生成可执行文件。例如:
1. 使用`gcc`或`clang`命令编译源文件。
2. 使用`./a.out`运行生成的可执行文件。
本文使用Zhihu On VSCode进行创作与发布。
clang 在 Windows 下的安装教学
Windows 下安装 Clang 的教程
在探讨编译器选择的话题时,shenjack 提到使用 Clang(LLVM)作为替代gcc的选择。Clang作为LLVM项目的一部分,提供了C、C++等语言的前端和工具,具有GCC兼容的编译器驱动器clang和与MSVC兼容的clang-cl.exe。可以直接下载源代码进行构建。 当我们决定采用Clang时,首先访问llvm/release下载LLVM的Windows版本,例如LLVM-xx.x.x-win/.exe。如果网络速度慢,可考虑使用其他方法加速下载。源码搭配技巧视频 安装过程中,双击文件启动安装,可能会遇到Windows的安全提示,但只需忽略并继续。在安装步骤中,不一定要选择创建桌面图标,因为通常不会直接通过桌面启动编译器。确保勾选PATH选项,以便在终端中自动识别Clang。 根据安装选项,如果是当前用户安装,重启终端;如果是所有用户安装,重启或注销电脑。最后,顺利安装完成。 但需要注意的是,尽管安装了Clang,由于其在Windows上的功能局限,可能还需安装MSVC和Windows SDK,因为链接器仍然依赖于MSVC。在Nuitka中使用Clang时,只需将--mingw替换为--clang,并添加--msvc=latest参数。Clang概述
LLVM项目的一个子项目,基于LLVM架构的C/C++/Objective-C编译器前端
Clang将C/C++/Object-C源码转换成LLVM IR,指令选择将LLVM IR转换成Selection DAG node(SDNode),指令调度将SDNode转换成MachineInstr,代码输出将MachineInstr转换成MCInst。
Clang的两层含义:自动调用后端程序包括预处理(preprocessing),编译(compiling),链接(linking)并生成可执行程序,将C/C++/Object-C源码编译成LLVM IR。
Compiler Driver本质是调度管理程序,Clang Driver划分成五个阶段:Parse、Pipeline、Bind、Translation、Execute。其执行过程大致如下:Driver::ExecuteCompilation -> Compilation::ExecuteJobs -> Compilation::ExecuteCommand-> Command::Execute -> llvm::sys::ExecuteAndWait。其执行过程调用相关操作系统,执行其系统相关的执行程序,并等待执行过程完成。
Clang的核心组件包括Tokens、抽象语法树(AST)、语法分析、递归下降、Precedence Climbing算法等。Tokens是通过词法分析产生的单词记号,词法分析在预处理过程中初始化。抽象语法树(AST)是语法分析的输出,表示源代码语法结构的c开发程序源码抽象表示。递归下降解析中缀表达式语法一般有两个问题,Precedence Climbing算法的主要思想是将表达式视为一堆嵌套的子表达式,其中每个子表达式都具有其包含的运算符的最低优先级。
Clang的入口位于tools/driver/driver.cpp中的int main(int Argc, const char **Argv)函数,如果程序第一个参数是-cc1则直接执行函数static int ExecuteCC1Tool(SmallVectorImpl &ArgV),此时为前端模式,直接执行cc1_main或cc1as_mian;执行完毕后程序退出;如果不是-cc1,则进行相关命令解释,生成相容的命令行,由int Driver::ExecuteCompilation(Compilation &C,SmallVectorImpl> &FailingCommands)执行相容的命令行。
Clang通过Action完成具体的操作,CompilerInstance是一个编译器实例,综合了一个 Compiler 需要的 objects,如 Preprocessor,ASTContext,DiagnosticsEngine,TargetInfo 等。CompilerInvocation为编译器执行提供各种参数,它综合了TargetOptions、DiagnosticOptions、HeaderSearchOptions、CodeGenOptions、DependencyOutputOptions、FileSystemOptions、PreprocessorOutputOptions等各种参数。FrontendAction::ExecuteAction()是一个纯虚函数,通过继承这个方法来实现具体的Front End Action,Clang还提供了几个继承子类 ASTFrontendAction,PluginASTAction,PreprocessorFrontendAction。 Action及其派生的Action定义如下,大多数Front end Action都继承ASTFrontendAction,每一个ASTFrontendAction都会创建一个或者多个ASTConsumer,ASTConsumer也是一个纯虚类,通过继承ASTConsumer去实现特定的AST Consumer。
ASTConsumer中可以重载下面两个函数:HandleTopLevelDecl()解析顶级的声明(像全局变量,函数定义等)的时候被调用;HandleTranslationUnit()在整个文件都解析完后会被调用。大概流程如下:初始化CompilerInstance之后,调用其成员函数ExcutionAction, ExcutionAction会间接依次调用FrontendAction的6个成员函数(直接调用的是FrontendAction的三个public 接口,BeginSourceFile,Execute,EndSourceFile),而FrontendAction的ExecuteAction会最终调用语法分析函数ParseAST(未强制要求ParseAST放入ExcuteAction,但ASTFrontendAction如此)。 ParseAST在分析过程中,又会插入ASTConsumer的多个句柄(用得最多是HandleTopLevelDecl和 HandleTranslationUnit)。
Clang的Parser是通过void clang::ParseAST(Sema &S, bool PrintStats, bool SkipFunctionBodies)执行的,ParseAST()函数对个top level decleration(包括变量和函数)调用parser解析得到一颗正确的语法树。Clang使用递归下降(recursive-decent)的语法分析,具体来说,采用的蒙阴社交app源码是基于中缀表达式分析的precedence climbing算法。
Clang的Parser(lib/Parse和lib/AST)是通过void clang::ParseAST(Sema &S, bool PrintStats, bool SkipFunctionBodies)执行的,ParseAST()函数对个top level decleration(包括变量和函数)调用parser解析得到一颗正确的语法树。
Gcc 和 Clang
GCC 编译器作为 Linux 系统下的主要 C/C++ 编译工具,广泛安装于多数 Linux 发行版中。其命令形式通常为“gcc”,并提供了丰富的选项来辅助编译过程。其中,常用选项包括:-E 仅执行预处理,-c 编译或汇编源文件但不执行链接,-S 完成编译但不汇编,仅生成汇编代码,-o 用于指定输出文件名。在 Linux 系统中,未指定输出文件名时,默认输出名为“a.out”,源文件后缀生成为“.o”,汇编文件后缀为“.s”。GCC支持多种环境的代码生成,如使用-m、-m、-m选项生成不同位数环境的代码,例如,-m下int、long和指针类型均为位,-m下int为位,long和指针类型为位,-m与-m类似,但在汇编文件开头添加了gcc汇编制导,用于运行位模式的二进制文件。
编译过程主要分为预处理、编译、汇编和链接四个阶段。下面以一段源码为例,详细分析每个阶段的内容。
首先,预处理过程会展开宏定义和条件编译,生成预处理文件。使用cpp命令执行预处理,得到的sample.i文件中,宏定义和条件编译已根据实际情况展开,宏引用被替换为实际值。通过-D指令可以自定义宏的值,进行预处理。在Linux系统下,通过“man gcc”可查询GCC命令的详细用法。
接着,GCC将预处理文件编译为汇编代码,生成汇编文件。汇编文件包含了核心的汇编代码,展示了编译过程中的汇编指令和数据操作。对比位机器和位机器汇编代码的怎么找溯源码差异,可以发现主要在于寄存器的位宽和指令的位宽不同。
汇编代码中,.cfi_startproc和.cfi_endproc用于初始化和结束本地数据结构,本地标签用于分支目的地标记。基本汇编指令如pushl、movl、subl、cmpl、je、addl、sall、ret、movl等,分别用于操作寄存器、存储数据、进行算术运算和逻辑运算、控制流程等。了解这些基本指令的用途有助于深入理解程序的执行流程。
使用GCC的-c选项编译源代码为机器代码,通过-o选项指定输出文件名。可以使用as命令得到机器语言,通过objdump指令查看目标文件的机器码,反汇编指令帮助理解机器码的含义。在程序中发现符号定义冲突时,可以使用nm命令列出目标文件中的符号,快速定位问题。
最后,链接器(ld)将编译生成的目标文件链接为可执行文件。链接过程中,链接器解析未定义的符号引用,将目标文件中的占位符替换为实际的符号地址。如果缺少必要的CRT文件,ld会生成警告。可通过查询/usr/lib/x_-linux-gnu路径找到CRT文件。C运行时文件(CRT)包含程序入口函数_start,负责调用__libc_start_main初始化libc,并调用main函数;_init函数在main函数前运行;_fini函数在main函数后运行。链接时使用-lc选项链接C标准库。
Clang 是一个基于LLVM的C/C++编译器,提供C/C++/Objective C/Objective C++语言的编译支持,旨在超越GCC。Clang预处理、生成汇编代码、生成目标文件、得到可执行文件的过程与GCC类似,但Clang提供了更多的特性,如更快的编译速度、更好的错误诊断和更先进的类型推断能力。使用Clang替代GCC进行C程序编译时,可以体验到这些额外的优势。
Clang编译过程包含预处理、生成位和位机器汇编代码、生成目标文件和得到可执行文件等步骤。使用Clang编译后的汇编代码、目标文件和可执行文件与GCC编译结果一致,但Clang在性能和语言支持方面可能具有优势。
Clang前端源码分析
Clang前端源码分析
Clang,作为Apple公司的一款重要编译器,旨在取代GCC的地位,其设计独特,架构分为前端、优化器和后端三部分。这种架构使得新语言编译器的开发仅需关注前端,而优化器和后端可以保持通用,适应不同架构的编译只需调整后端部分。Clang的起源是Apple为摆脱GCC的限制,由Chris Lattner主导,基于LLVM架构创建的,初衷是提供一个更清晰、易扩展和高效的选择。
在Xcode的演变中,从GCC 4.2版本后,LLVM-Clang逐渐取代了GCC的地位,尤其在Apple系统中,LLVM-Clang以其优点成为首选。Clang的模块化设计使得它在错误提示、IDE集成等方面表现优于GCC,尽管GCC支持更多语言和平台,但维护和性能不如Clang。如今,Clang在Android NDK中也逐渐占据主导,取代了部分GCC的职责,展示了其在编译领域的竞争力。
如果你想深入了解Clang的源码解析,可以关注DriverOptTable的生成机制,特别是Driver::ParseArgStrings方法,它负责将命令行参数解析为ArgList,对参数进行合法性检查,确保编译器的正确运行。通过这些细节,可以更好地理解Clang编译器参数处理的复杂性和灵活性。
一文带你梳理Clang编译步骤及命令
摘要: 本文简单介绍了Clang编译过程中涉及到的步骤和每个步骤的产物,并简单分析了部分影响预处理和编译成功的部分因素。本文简单介绍部分Clang和LLVM的编译命令。更关注前端部分(生成 IR 部分)。
1. Clang编译步骤概览我们可以使用命令打印出来Clang支持的步骤,如下:
clang-ccc-print-phasestest.c+-0:input,"test.c",c+-1:preprocessor,{ 0},cpp-output+-2:compiler,{ 1},ir+-3:backend,{ 2},assembler+-4:assembler,{ 3},object5:linker,{ 4},image根据上面的介绍,可以根据每一部分的结果,分为5个步骤(不包含上面的第0步):preprocessor、compiler、backend、assembler、linker等。
具体到 Clang 中每一步骤生成的结果文件。我们可以使用下面的示意图来表示:
说明:上面的示意图以Clang编译一个C文件为例,介绍了Clang编译过程中涉及到的中间文件类型:
(1) test.c 为输入的源码(对应步骤 0);
(2) test.i 为预处理文件(对应步骤 1 的输出,cpp-output 中,cpp 不是指 C++ 语言,而是 c preprocessor 的 缩写);
(3) test.bc 为 bitcode文件,是clang的一种中间表示(对应步骤 2 的输出);
(4) test.ll 为一种文本化的中间表示,可以打开来看的(对应步骤 2 的输出, 和 .bc 一样都是中间表示,可以相互转化);
(5) test.s 为汇编结果(对应步骤 3 的输出);
(6) test.o 为单文件生成的二进制文件(对应步骤 4 的输出);
(7) image 为可执行文件(对应步骤 5 的输出)。
注意:示意图画的也并不完整,如下介绍:
(1) 箭头所指的方向,表示可以从一种类型的文件,生成箭头所指的文件类型;
(2) 图中箭头并没有画完,比如可以从 test.c 生成 test.s, test.o 等。如果将上面的示意图当做一种 有向图,那么基于 箭头 所指的方向,只要 节点能连接的点,都是可以做转换的;
(3) 图中的实线和虚线,只是表示本人关心的Clang编译器中的内容,并没有其他的含义,本文也只介绍图中实线部分的内容,虚线部分的内容不做介绍。
2. 转换命令集合下面介绍部分涉及到上面步骤的转换命令:
#1..c->.iclang-E-ctest.c-otest.i#2..c->.bcclang-emit-llvmtest.c-c-otest.bc#3..c->.llclang-emit-llvmtest.c-S-otest.ll#4..i->.bcclang-emit-llvmtest.i-c-otest.bc#5..i->.llclang-emit-llvmtest.i-S-otest.ll#6..bc->.llllvm-distest.bc-otest.ll#7..ll->.bcllvm-astest.ll-otest.bc#8.多bc合并为一个bcllvm-linktest1.bctest2.bc-otest.bc上面列出了一部分Clang不同文件直接转换的命令(和第 1 部分的 示意图 序号匹配,还是只关心前端部分)。只是最后增加了一个将多个 bc 合并为一个 bc file 的命令。
3. 查看Clang AST结构我们可以通过如下的命令查看源码的AST结构:
clang-Xclang-ast-dump-ctest.c打印出来的AST信息,其实是预处理之后展开的源码信息,源码的AST内容在打印出来的内容的最下面。
如下面的代码:
#include<stdio.h>intmain(){ printf("hello");return0;}打印出来的部分AST(仅根当前文件内容匹配部分)如下:
头上的头文件引用等已经展开,没有了,但是下面的 main 函数定义,则如上面的 FunctionDecl 所示,并且给出了 代码中的位置。这里就不详细分析AST的结构了,写几个例子比对一下就很容易理解。
4. 编译正确性的影响因素当前,很多静态代码分析工具,都采用 Clang 和 LLVM 作为底座来开发静态代码分析工具。Clang自己也有 clang-tidy 工具可以用来做 C/C++ 语言的静态代码分析。为了能够用 Clang 和 LLVM 来成功分析 C/C++ 代码,需要考虑如何成功使用 Clang 和 LLVM 来编译 C/C++ 代码。可以考虑的是,成功生成 bc file,是静态代码分析的基础操作。
4.1 影响预处理结果的因素预处理过程,作用跟名字一样,都可以不当做编译的一个步骤,而是编译的一个预处理操作。我们说得再直白一点儿,其实就是做了一个文本替换的活儿,就是对 C/C++ 代码中的 预处理指令 进行处理。预处理指令很简单,比如 #include,#define 等,都是预处理指令(可以参考:/en-us/cpp/preprocessor/preprocessor-directives?view=msvc-,或者google下,很多介绍的)。
如果程序中没有预处理指令,即使我们随便瞎写的代码,预处理也一般不会有问题,如下的代码(main.c):
abcdef我们仍然可以正确得到 预处理结果:
#1"main.c"#1"<built-in>"1#1"<built-in>"3#"<built-in>"3#1"<commandline>"1#1"<built-in>"2#1"main.c"2abcdef为了成功执行预处理执行,很容易理解,就是可以对程序中的所有的 预处理指令 进行处理。比如:
(1) #include,依赖了一个头文件,我们能不能成功找到这个头文件;
(2) #define,定义了一个宏,在程序中定义宏的时候,我们能不能准确找到宏(找到,还必须准确);
(3) 其他指令。
4.2 影响IR生成因素这一步是针对上一步生成的预处理指令,进行解析的操作。这一步才是最关键的,归根结底,我们需要保证一点:使Clang编译器可以正确识别出来代码中内容表示的语法结构,并且接纳这种语法结构!
举一些简单例子:
(1) -std 用来指定支持的 C/C++ 标准的,如果我们没有指定,那么就会采用 Clang 默认的标准来编译,就可能导致语法不兼容;
(2) -Werror=* 等参数,可能将某些能识别的语法,给搞成错误的使用;
(3) 其他的部分,跟语法识别的参数;
(4) 还有一部分的语法,可能 Clang 自始至终就没有进行适配,这种就要考虑修改源码了。
4.3 链接相关因素在真正编译中,如果链接有问题,那就会失败,但是在静态代码分析中,链接有失败(无法链接)或者错误(不相关的给链接在一起),可能多点儿分析误报或者漏报,一般不会导致分析失败。这类问题,影响的不是中间表示的生成,而是分析结果(影响跨文件的过程间分析,影响对built-in函数的建模等)。
一般,链接命令的捕获,target信息配置等,会影响这部分的能力。当然,也跟你实现的工具有关(如果实现的工具,就没有跨文件的能力,这部分内容也没啥影响)。
作者:maijun。
clang什么意思
Clang是一个C语言、C加加、Objective-C语言的轻量级编译器。源代码发布于BSD协议下。将支持其普通lambda表达式、返回类型的简化处理以及更好的处理constexpr关键字。
Clang是一个由Apple主导编写,基于LLVM的C/C++/Objective-C编译器。是一个C++编写、基于LLVM、发布于LLVM BSD许可证下的C/C++/Objective-C/Objective-C++编译器。它与GNU C语言规范几乎完全兼容(当然,也有部分不兼容的内容,包括编译命令选项也会有点差异),并在此基础上增加了额外的语法特性,比如C函数重载(通过__attribute__((overloadable))来修饰函数),其目标(之一)就是超越GCC。
clang挂了,探寻Illegal instruction: 4背后的秘密
在探索iOS上的项目编译过程时,我遇到了一系列挑战,其中非法指令(Illegal instruction: 4)的问题尤为奇特。这一问题出现在尝试编译C++程序时,而解决它需要深入理解iOS的系统架构和开发环境。
通过不同越狱手段的尝试,我最终选择了unc0ver,并解决了之前遇到的局域网内ping延迟问题,通过imobiledevice进行USB端口映射,使有线连接变得流畅。安装了clang之后,我发现需要额外安装iOS的SDK,例如通过Theos进行安装,但遇到了路径配置问题。我将theos installer下载的SDK通过软链接的方式与默认目录关联,并通过`-miphoneos-version-min`参数指定目标SDK版本,如.4。
然而,尽管我安装的clang默认只支持到版本7.0,而需要支持的thread_local功能则要求版本9.0以上。为了方便,我以root身份登录,并在`/var/root`目录下执行编译。这种操作导致了`dyld: Library not loaded file system sandbox blocked mmap()`的错误,原因是权限问题。将项目移动到其他位置,如`/Application/xxx.app`下,可以解决此问题。
当编译到某个项目时,我遭遇了`Illegal instruction: 4`的错误,这让我感到困惑。搜索后得知,修改优化等级可能会解决此问题,然而我正在进行的是`-O0`的debug版本编译。进一步分析发现,问题实际是`EXC_BAD_ACCESS`和`KERNEL_PROTECTION_FAILURE`,表明存在访存越界的问题。尽管存在一些混淆,但最终通过`lldb`调试器找到了关键线索。
在`lldb`内运行`clang`并捕获到了异常,显示报错的指令是将`x6`寄存器的数据写入栈指针`sp`加上`0x`的位置。由于栈指针与栈空间相关,这可能表示出现了栈溢出的情况。通过查看调用栈,我注意到有层调用,这通常意味着函数调用链过长。仔细分析调用栈显示了一个明显的模式,这让我怀疑是由于循环过深导致的栈溢出,而不是编译器本身的bug。
尽管`lldb`提供了调用函数的列表,但没有完整的调试符号,使得访问局部变量和函数参数变得困难。为了进一步解决问题,我尝试理解递归部分的函数作用,并查阅了`clang::SourceLocation`的定义。但发现`SourceLocation`仅包含一个`uint`,缺少源代码位置的具体信息。不过,通过分析调用栈和函数签名,我注意到一些参数可能与栈位置有关。这提示我可能需要更深入地研究clang前端,以了解具体的逻辑和操作过程。
最终,通过对项目进行优化,如通过数组实现`PARSE_PACK`代替变参模板,成功解决了非法指令问题。数据量过大导致的编译器资源消耗过重,以及iOS默认的栈大小限制,是问题的关键所在。通过调整代码结构和优化资源使用,我解决了非法指令问题,确保了项目的正常编译。