自制组态软件（30）lua编译器之语法分析

       前文已经完成了词法分析，将lua源码切割成一系列的码编token，接下来我们将处理这些token。源译以下是码编我们需要分析的lua文件内容：

       该文件首先定义了一个lua函数，并随后调用它。源译为了简化处理，码编吉祥网站源码论坛我们先支持以下lua文件内容，源译我们移除了函数定义和调用，码编突出显示if语句。源译

       首先，码编我们定义了block，源译因为所有语句都在block中。码编例如，源译下面的码编block中包含了两条if语句。

       block的源译定义如下：stats是语句数组，表示该block中的所有语句，retExps是返回语句的表达式。

       接下来，我们定义if语句。exps是表达式的数组，用于记录if语句的表达式，blocks用于表示if语句的语句块。现在，让我们来看看函数调用表达式。prefixExp为前缀，在此例中为"setValue"，args为函数的参数。

       语句分析完毕，我们再来看表达式的解析，我们要支持的表达式为：加法和相等判断都是二元运算，因此我们定义了二元运算。

       材料已经准备就绪，我们现在来实现语法分析。从block开始。

       上述内容都很好理解，我们通过循环调用parseStat函数处理一条条语句，生成block。接下来看看处理语句的parseStat。

       可以看出，游戏源码网站 知乎我们现在支持两种语句：一是if语句，二是函数调用语句。先看看if语句。

       nextTokenOfKind函数用于判断当前token是否为参数中的类型，如果不是，则直接报错。

       然后调用parseExp解析if的表达式，表达式将在语句解析完成后处理。

       parseBlock函数用于解析if条件满足时运行的语句。

       如果if语句有else语句，则同样调用parseBlock函数来解析else条件满足时运行的语句。

       解析完if语句，再看看函数调用语句的解析，即parseAssignOrFuncCallStat函数。

       首先会创建nameExp表达式，因为函数名是一个标识符，将在parsePrefixExp中被处理。然后调用_finishPrefixExp函数，由于标识符后是"("符号，所以会调用_finishFuncCallExp函数，在这个函数中会调用_parseArgs处理函数调用的参数，最后生成funcCallExp表达式，函数解析完成。

       语句分析完毕，我们再来看表达式的解析，即parseExp函数。

       这段逻辑与系列()讲的内容一致，这里不再过多解释，不明白的可以参考()讲。

       最后，我们来看看函数参数的解析，即_parseArgs函数。

       _parseArgs函数首先跳过函数调用开头的"("，然后调用parseExpList函数，这个函数调用parseExp函数完成函数参数的解析。

       好了，本文到此结束。

       项目地址：GitHub - zhzhz/iscada

探索 Lua5.2 内部实现:编译系统(1) 概述

       Lua 是十三张源码购买一种轻量级、高效率的语言，其编译系统的实现至关重要。Lua 的编译过程需要将符合语法规则的chunk转换为可运行的closure，这一过程需要高效且巧妙的设计。closure对象是Lua运行时的函数实例，proto对象则代表了closure的原型，存储着函数的大部分信息，包括闭包与proto之间的关系，以及chunk与closure之间的对应关系。

       编译系统的任务是将chunk转换为运行时可执行的closure。在这一过程中，需要理解chunk和closure的关系，以及chunk如何生成mainfunc proto，再为这个proto创建一个closure。每一个function statement都会生成一个对应的proto，并保存在外层函数的子函数列表中。所有最外层的function statement的proto会被保存到mainfunc proto的子函数列表中，形成以mainfunc为根节点的proto树。

       编译系统被划分为三个模块：词法分析、语法分析和指令生成。Lua使用手写分析器进行词法和语法分析，以提高效率。词法分析将源代码拆分成token，供语法分析使用。语法分析采用“递归下降”的方法，生成最终的指令，构建proto树，即整个编译过程。

       词法分析模块相对简单，主要任务是将源代码分解为token。Token包括类型和语义信息，用于后续的语法分析。Lua的全局状态信息由LexState结构体保存，它不仅包含词法分析状态，还包含了整个编译系统的全局状态。

       语法分析和指令生成是整个编译过程的核心。语法分析器驱动整个编译过程，生成最终指令。跌幅小于5%指标源码分析过程中，词法分析器生成指令，直接用于构建proto树。编译过程中，使用FuncState结构体来保存函数的编译状态数据，这些数据会随着函数的压栈和弹栈进行保存和恢复。全局数据Dyndata用于保存每个FuncState对应的局部变量描述列表、goto列表和label列表。

       编译系统的全局状态信息存储在LexState中，包含当前编译函数的FuncState和全局的Dyndata数据。FuncState通过f引用Proto，保存生成指令的列表。h引用一个table，用于生成常量表，当遇到常量时，查找表中是否存在该常量，以节省内存。编译过程会创建和销毁FuncState和BlockCnt，以管理函数和块的层次结构。

       在整个语法分析过程中，Lua按照深度优先的顺序遍历FuncState树和BlockCnt树，只保存当前处理的编译状态，以减少内存使用。在分析过程中，Lua不构建完整的语法树对象，而是将过程中的语法结构保存在函数栈中，分析完成后立即丢弃。长跳转等异常处理机制用于处理错误，确保编译状态数据在出错时自动销毁。

       在C stack中保存编译状态数据的原因与异常处理机制相关，使用longjump机制处理错误，确保所有当前的编译状态数据在出错时自动销毁。

Lua的编译和反编译

       无论是Unity项目还是Unreal的项目，我通常会使用Lua进行编程。在项目打包阶段，Lua的编译和反编译是不可或缺的步骤。在本文中，我们将探讨如何对Lua代码进行编译与反编译，迎春图指标公式源码以及如何利用不同的工具进行操作。

       对于Lua代码的编译，我们通常有两种方法。一种是使用lua脚本直接运行代码，另一种是使用Lua的编译器（如Luac）将源代码转换为Lua字节码。通过使用指令`lua ./TestLua.lua`，我们可以测试代码的正确性。Luac是将Lua源代码编译为Lua字节码的工具，编译成功后，我们可以通过运行编译后的字节码来验证结果，一切顺利。

       另一种流行的Lua编译器是Luajit，它在Unity项目中被广泛使用。使用Luajit可以提升执行速度。如果遇到编译错误，只需确保将`luajit\src\src\jit`文件放在`luajit.exe`的同一目录下的`lua`文件夹中即可。通过直接运行包含测试代码的Lua文件，我们可以确认编译和运行的流程是正确的。

       在对比了两种编译方法后，我们发现它们都有各自的特点和适用场景。Luac适用于简单的脚本或对代码优化要求不高的情况，而Luajit则更适合需要高性能的项目，特别是那些对运行速度有较高要求的场景。

       对于Lua的反编译，最常用的工具是`luadec`。通过将`luadec`工具与Visual Studio项目进行集成，我们能够对编译后的字节码进行反编译，恢复源代码。在尝试反编译后，我们得到了清晰可读的代码，即使在不使用调试信息的情况下，反编译结果也具有一定的可读性。

       对于更复杂的反编译需求，如支持位字节码的反编译，我们遇到了一些挑战。目前，有一个名为`ljd`的工具支持位字节码的反编译，但仅限于位平台。对于位平台的字节码，我们可能需要自行修改`ljd`的Python代码来支持，这是一个需要时间和专业知识的额外工作。尽管如此，对于大部分应用场景，上述工具已经足够满足我们的需求。

       总之，Lua的编译和反编译是Lua项目开发过程中的重要环节。通过选择合适的编译工具和反编译方法，可以有效提升代码的执行效率和调试效率。同时，对于反编译过程，我们应根据实际需求选择合适的工具，并注意其适用的平台和特性。

Lua如何进行大数运算（附源码）

       在游戏服务器开发中，大数计算是常见但难以避免的问题。一般数值计算在math.maxinteger范围内可直接使用Lua常规计算，超出范围则需大数计算。本文介绍了两种基于Lua的大数计算库：基于Boost的Lua库和基于GNU bc的Lua库lbc。

       基于Boost的Lua库通过安装Lua、Boost和GCC，编译生成Lua直接引用的so库。编译方式有正常编译和捆绑编译。捆绑编译通过make_boost.sh脚本将boost文件复制到boost文件夹，简化编译过程。但需要注意，捆绑编译可能不适用于最新版本的boost。

       基于GNU bc的Lua库lbc由Lua的作者之一编写，具有简单、小巧、易用等特点。编译简单，几乎只需执行make。测试结果显示，lbc在位字符的数字上，执行加减乘除各一次，其时间在1秒以下，符合要求。

       本文还介绍了基于MAPM的Lua库lmapm，其特点与lbc类似。两种库在测试中表现稳定，但lbc提供了详细的位数信息，而lmapm采用科学计数法表示结果。

       最后，本文建议根据实际需求选择合适的大数计算库。对于简单、方便、源码、可修改、可移植和精度要求较高的项目，lbc是不错的选择。同时，还介绍了其他开源的大数计算库，供读者参考。

Lua5.4 源码剖析——虚拟机2 之 闭包与UpValue

       故事将由我们拥有了一段 Lua 代码开始，我们先用 Lua 语言写一段简单的打印一加一计算结果的 Lua 代码，并把代码保存在 luatest.lua 文件中：

       可执行的一个 Lua 文件或者一份单独的文本形式 Lua 代码，在 Lua 源码中叫做 "Chunk"。无论我们通过什么形式去执行，或者用什么编辑器去执行，最终为了先载入这段 Lua 的 Chunk 到内存中，无外乎会归结到以下两种方式：1）Lua 文件的载入：require 函数 或 loadfile 函数；2）Lua 文本代码块的载入：load 函数；这两种方式最终都会来到下面源码《lparse.c》luaY_parser 函数。该函数是解析器的入口函数，负责完成代码解析工作，最终会创建并返回一个 Lua 闭包（LClosure），见下图的红框部分：

       另外，上图中间有一行代码最终会调用到 statement 函数，statement 函数是 Chunk 解析的核心函数，它会一个一个字符地处理我们编写的 Lua 代码，完成词法分析和语法分析工作，想要了解字符处理整个状态流程的可以自行研读该部分源码，见源码《lparse.c》statement 函数部分代码：

       完成了解析工作之后，luaY_parser 函数会把解析的所有成果放到 Lua 闭包（LClosure）对象之中，这些存储的内容能保证后续执行器能正常执行 Lua 闭包对应的代码。

       Lua 闭包由 Proto（也叫函数原型）与 UpValue（也叫上值）构成，见源码《lobject.h》LClosure 定义，我们下面将进行详细的讲解：

       UpValue 是 Lua 闭包数据相关的，在 Lua 的函数调用中，根据数据的作用范围可以把数据分为两种类型：1）内部数据：函数内部自己定义的数据，或者通过函数参数的形式传入的数据（在 Lua 中通过参数传入的数据本质上也是先赋值给一个局部变量）；2）外部数据：在函数的更外层进行定义，脱离了该函数后仍然有效的数据；外部数据在我们的 Lua 闭包中就是 UpValue，也叫上值。

       既然 Lua 支持函数嵌套，也知道了 UpValue 本质就是上层函数的内部数据。那么 UpValue 有必要存储于 Lua 闭包（LClosure）结构体当中吗？是为了性能考虑而做的一层指针引用缓存吗？回答：并不是基于性能的考虑，因为在实际的 Lua 运用场景中，函数嵌套的层数通常来说不会太多，个别函数多一层的查询访问判断不会带来过多的性能开销。需要在闭包当中存储 UpValue 主要原因是因为内存。Lua 作为一门精致小巧的脚本语言，设计初衷不希望占用过多的系统内存，它会尽量及时地清理内存中用不到的对象。在嵌套函数中，内层函数如果仍然有被引用处于有效状态，而外层函数已经没有被引用了已经无效了，此时 Lua 支持在保留内层函数的情况下，对外层函数进行清除，从而可以清理掉外层函数引用的非当前函数 UpValue 用途以外的大量数据内存。

       尽管外层函数被清除了，Lua 仍然可以保持内层函数用到的 UpValue 值的有效性。UpValue 如何能继续保持有效，我们在之前的基础教程《基本数据类型 之 Function》里面学习过，主要是因为 UpValue 有 open 与 close 两种状态，当外层函数被清除的时候，UpValue 会有一个由 open 状态切换到 close 状态的过程，会对数据进行一定的处理，感兴趣的同学可以回到前面复习一下。

       UpValue 有效性例子

       接下来我们举一个代码例子与一个图例，表现一下 UpValue 在退出外层函数后仍然生效的情况，看一下可以做什么样的功能需求，加深一下印象，请看代码与注释：

       上述代码在执行 OutFunc 函数后，外层的 globalFunc 函数变量完成了赋值，每次对它进行调用，都将可以对它引用的 UpValue 值即 outUpValue 变量进行正常加 1。

       函数的内部数据属于函数自身的内容，外部其它函数无法通过直接的方式访问其它函数的内部数据。函数自身的东西会存在于 LClosure 结构体的 Proto*p 字段中。Proto 全称 "Function Prototypes"，通常也可以叫做 "函数原型"，我们来看一下它的定义，见源码《lobject.h》Proto 结构体：

       结构体字段比较多，我们先不细看，后面用到哪个字段会再进行补充说明。函数的内部数据分为常量与变量（即函数局部变量），分别对应上图的如下字段：

       1）常量：TValue* k 为指针指向常量数组；int sizek 为函数内部定义的常量个数，也即常量数组 k 的元素个数。

       2）局部变量：LocVar* locvars 为指针指向局部变量数组；int sizelocvars 为函数定义的局部变量个数，也即局部变量数组 locvars 的元素个数。

       UpValue 的描述信息会存储在 Proto 结构体中的 Upvaldesc* upvalues 字段，解析器解析 Lua 代码的时候会生成这个 UpValue 描述信息，并用于生成指令，而执行器运行的时候可以通过该描述信息方便快速地构建出真正的 UpValue 数组。

       至此，我们知道了函数拥有 UpValue，有常量，有局部变量。外部数据 UpValue 也讲完，内部数据也讲完。接下来，我们开始学习函数运行的逻辑指令相关内容。

       函数逻辑指令存储于函数原型 Proto 结构体中，这些函数逻辑是由一行行的 Lua 代码构成的，代码会被解析器翻译成 Lua 虚拟机能识别的指令，我们把这些指令称为 "OpCode"，也叫 "操作码"。Proto 结构体存储 OpCode 使用的是下图中红框部分字段，见源码《lobject.h》Proto 结构体：

       至此，我们可以简单提前说一下 Lua 虚拟机的功能了，本质上来看，Lua 虚拟机的工作，就是为当前函数（或者当前一段 OpCode 数组）准备好数据，然后有序执行 OpCode 指令。

       对 OpCode 有了一定的认识了，接下来我们要补充一个 OpCode 相关的 Lua 闭包相关的内容，就是 Lua 闭包的运行环境。

       一个 Lua 文件在载入的时候会先创建出一个最顶层（Top level）的 Lua 闭包，该闭包默认带有一个 UpValue，这个 UpValue 的变量名为 "_ENV"，它指向 Lua 虚拟机的全局变量表，即_G 表，可以理解为_G 表即为当前 Lua 文件中代码的运行环境 (env)。事实上，每一个 Lua 闭包它们第一个 UpValue 值都是_ENV。

       ENV 的定义在我们之前提到的解析器相关函数 mainfunc 中，见源码《lparser.c》：

       如果想要设置这个载入后的初始运行环境不使用默认的 _G 表，除了直接在该文件代码中重新赋值_ENV 变量这种粗暴且不推荐的方式以外，通常是通过我们前面提到的加载 Lua 文件函数或加载 Lua 字符串代码函数传入 env 参数（Table 类型），就可以用自定义的 Table 作为当前 Lua 闭包的全局变量环境了，env 参数为上面两个函数的最末尾一个参数，'[' 与 ']' 字符中的内容表示参数可选，函数的定义摘自 Lua5.4 官网文档：

       所以我们可以在 Lua 代码通过 _ENV 访问当前环境：

       在 Lua 的旧版本中，变量的查询最多会分为 3 步：1）先从函数局部变量中进行查找；2）找不到的话就从 UpValue 中查找；3）还找不到就从全局环境默认 _G 表查找。而在 Lua5.4 中，把 UpValue 与全局 _G 表的查询统一为 UpValue 查询，并把一些操作判断提前到了解析器解析阶段进行，例如函数内部使用的某个 UpVaue 变量在代码解析的时候就可以通过 UpValue 描述信息知道存储于 Lua 闭包 upvals 数组的哪个下标位置，在执行器运行的时候只需要直接在数组拿取对应下标的这个 UpValue 数据即可。

       从 OpCode 的层面来看，Lua 除了支持通过一个 UpValue 数组下标访问一个 UpValue 变量，在把 _G 表合并到 UpValue 之后，Lua 为此实现了通过一个字符串 key 值从某个 Table 类型的 UpValue 中查询变量的操作。

       至此，我们了解了 Lua 闭包的结构与运行环境，以及 OpCode 的基本概念。接下来，我们将深入学习 OpCode，掌握 OpCode 就掌握了整个 Lua 虚拟机数据与逻辑的流向。

Windows 下编译 LuaJIT

       è¿™é‡Œä½¿ç”¨ Visual studio 自带的命令行工具来进行编译，所以需要安装好VS。

        首先打开VS命令行工具。可以按 Win + S ，输入 prompt 来找到它。如图。

        解压 LuaJIT 源码，并进入到解压目录 /src 下。输入 msvcbuild 开始编译。

        看到 === Successfully built LuaJIT for xxxxx === 则是编译成功了。

        在解压目录 /src 下可以找到编译生成的 luajit.exe 和 lua.dll .

        打开cmd。

        如果没有添加环境变量则先定位到LuaJit安装目录。

        输入 luajit +文件名 即可运行Lua脚本。

        输入 luajit -b +Lua脚本+目标文件名，即可编译脚本。