1.带你一步步调试CPython源码（二、项析源项目词法分析）
2.C语言的经典编程例子

带你一步步调试CPython源码（二、目案码词法分析）

       本文是例分《深入理解CPython源码调试：词法分析篇》系列的第二部分，阐述CPython解释器如何进行Python代码的语言源码词法解析。首先，案例让我们回顾编译原理的分析里云源码基本步骤，编译过程包括词法分析、项析源项目语法分析、目案码中间代码生成和优化，例分以及最终代码执行。语言源码在CPython中，案例词法分析是分析第一步，它会逐字符读取源码并将其转换为内部字节流，项析源项目netty网络源码便于后续处理。目案码

       CPython的例分词法分析和语法分析并非截然分开，许多词法分析逻辑在语法分析器中合并执行，这使得parser函数中可能包含词法处理的部分。尽管本文示例基于Python3.a2，但tokenizer的红号角源码更新频繁，与文章内容可能存在差异。

       词法分析的核心任务是将用户输入的字符转换为token，如数字、符号等，以简化语法分析的复杂性。CPython中的小兔快跑源码词法分析逻辑存储在Grammar/Tokens文件中，其中列出了各种token及其对应的符号。这个文件虽不直接参与编译，但用于生成词法分析器，如在项目中添加相关代码并执行build.bat命令来更新。

       在Python/pythonrun.c中，我们会在行设置断点，源码精灵学院跟踪CPython调用_PyParser_ASTFromFile将字符串转换为抽象语法树的过程。接着，程序会进入_PyPegen_run_parser_from_file_pointer，进行词法和语法分析。这个阶段从_PyTokenizer_FromFile开始，创建tok_state，初始化语法分析器，然后调用_PyPegen_run_parser执行核心逻辑。

       在Parser/tokenizer.c的行，程序通过tok_nextc函数逐字符读取用户输入，直到遇到换行等终止符号，期间还会调用tok_backup以处理多字符符号。随后，程序会根据Grammar/Token文件判断字符类别并生成相应的token，存储在tok_state中供语法分析使用。

       最后，CPython从键盘获取用户输入是通过PyOS_Readline系统调用实现的。词法分析器的生成逻辑则依赖于Grammar/Tokens文件，通过Tools/build/generate_token.py脚本解析并生成Parser/token.c中的相关代码。

       词法分析部分的解析至此完成，下篇文章将转向语法分析，探讨Pegen在其中的作用。

C语言的经典编程例子

       //最经典的当然是HelloWorld了。 

       #include "stdio.h"

       int main(void)

       {

          printf("HelloWorld!\r\n");

       }