皮皮网

1.（02）Python密码库Cryptography探究学习---深入理解Fernet
2.CPython源码学习：2、源码使用GDB调试Python
3.Python入门书籍推荐
4.Pytorch源码剖析：nn.Module功能介绍及实现原理
5.PyTorch源码学习系列 - 2. Tensor
6.深入理解 Python 虚拟机：列表（list）的剖析实现原理及源码剖析

（02）Python密码库Cryptography探究学习---深入理解Fernet

       本节深入剖析Python密码库Cryptography中的Fernet组件，帮助读者理解其在实际应用中的源码加密和认证机制。

       Fernet并非单一的剖析对称加密算法，而是源码密码学原理的综合运用，具备以下核心特性：首先，剖析美丽说网站源码它采用密码学安全的源码随机密钥，确保算法的剖析安全性；其次，利用AES加密算法（位密钥）配合PKCS7填充，源码以CBC模式加密数据，剖析提供加密功能；最后，源码利用SHA哈希函数生成消息认证码（HMAC），剖析实现数据的源码认证。

       要深入了解，剖析可以参考github.com/pyca/cryptography的源码源代码。其关键点包括：

       使用符合密码学要求的随机密钥，通常通过操作系统提供的随机数生成器如Unix的/dev/urandom或Windows的CryptGenRandom获取，而非简单的编程函数如Python的rand()。

       密钥的生成有两种方式：Fernet自动生成或用户设定密码并使用PBKDF2HMAC生成，后者更具灵活性。

       Fernet支持加密和认证，包括数据填充以确保完整，采用AES-CBC模式加密，以及利用HMAC确保数据在传输过程中不被篡改。

       总的来说，Fernet的使用涉及随机数的生成、加密算法的选择与应用，以及认证码的生成，这些都是实现cryptographic recipes（密码学配方）不可或缺的步骤。对于不熟悉的概念，可结合实际应用逐步熟悉，我将在后续更深入地探讨。

CPython源码学习：2、使用GDB调试Python

       在深入探究CPython源码的优惠券系统源码过程中，首先要编译出Python的Debug版本，以便后续使用gdb进行调试。

       安装gcc、g++、cmake等工具后，可参考Python开发者文档（Python Developer’s Guide）了解编译Python Debug版本的方法。

       了解GDB的基本用法是进行调试的先决条件。在终端输入特定命令即可启动Python，并进入监控状态。

       在此状态下，GDB会读取Python的符号表，但程序尚未执行。可在main函数设置断点，例如：

       通过这种方式，程序会在python.c的第行暂停。断点也可以通过(文件名:行号)的形式设置。

       输入特定命令开始执行程序，程序将在设定的断点处暂停。此时，可以使用命令查看代码，或进入tui模式查看。

       使用tui模式可以更清晰地看到断点位置，并通过输入tui获取更多使用方法。继续执行程序，Python将进入正常指令模式。

       在GDB中，可以使用Python脚本文件进行调试。例如，创建一个名为test.py的Python脚本文件，内容为一个简单的赋值语句。

       在GDB中监控Python执行，并给main函数配置输入参数。argc和argv是web仓库管理系统源码main函数的参数，与执行python时携带的参数类似。

       配置参数后，在main函数中设置断点，并执行至main函数。此时，argc的参数将显示为2。

       通过步进，可以观察到Python实际执行的函数是pymain_main。该函数分为两步：初始化系统参数和执行脚本。

       继续步进，将到达pymain_run_python。在约行，有一个分支判断，表示Python可以从命令行、module、import、文件和stdin执行。

       使用test.py文件时，将进入pymain_run_file，并最终到达_PyRun__AnyFileObject函数。Python将从该函数开始解析test.py文件内容。

       使用特定指令可以查看当前函数调用情况。从_PyRun__AnyFileObject进入后，Python将开始读取文件内容，并使用语法解析器解析文件，建立语法树，最终执行程序。

       后续将继续研究Python语法解析器、语法树、符号表、编译器等内容，并通过GDB调试方式研究其原理，与大家共同交流。三层架构源码

Python入门书籍推荐

       来源：酷瓜书单

       1. 《Python基础教程》 豆瓣评分:8

       python最快的入门是直接看 docs.python.org/tutorial/， 系统学习的话，这本书不错。

       2. 《Python学习手册》 豆瓣评分:8

       非常全的一个工具书。建议先大致的看完，然后再根据实际使用去某个章节细读。

       3. 《Python 3程序开发指南》 豆瓣评分:8

       此书深入浅出，适合python初学者学习。书中的内容包含了进行python编程的所有知识，实例经典

       4. 《Python源码剖析》 豆瓣评分:8

       国内称得上“著”的书不多，这本书不但是著，而是著得不错。

       5. 《Python编程（第三版·英文影印版）》 豆瓣评分:8

       大而全的一本书，但是个人觉得它的选题很广，但是都不深入；虽然读起来很轻松，但是废话较多；还有就是GUI的篇幅太多，而我又基本不用GUI... 总体来说，和以前读Core Java的感觉比较接近，适合初学者循序渐进。

Pytorch源码剖析：nn.Module功能介绍及实现原理

       nn.Module作为Pytorch的核心类，是构建模型的基础。它提供了一系列功能，包括记录模型的参数，实现网络的前向传播，加载和保存模型数据，以及进行设备和数据类型转换等。这些功能在模型的训练和应用中起到关键作用。

       在训练与评估模式间切换，模块的行为会有所不同，如rrelu、dropout、batchnorm等操作在两种模式下表现不同。可学习的苏宁易购源码参数，如权重和偏置，需要通过梯度下降进行更新。非学习参数，比如batchnorm的running_mean，是训练过程中的统计结果。_buffers包含的Tensor不作为模型的一部分保存。

       模块内部包含一系列钩子（hook）函数，用于在特定的前向传播或反向传播阶段执行自定义操作。子模块列表用于存储模型中的所有子模块。

       魔术函数__init__在声明对象时自动调用，优化性能的关键在于使用super().__setattr__而非直接赋值。super调用父类的方法，避免不必要的检查，提高效率。使用register_buffer为模块注册可变的中间结果，例如BatchNorm的running_mean。register_parameter用于注册需要梯度下降更新的参数。

       递归应用函数用于对模型进行操作，如参数初始化。可以将模型移动到指定设备，转换数据类型，以及注册钩子函数以实现对网络的扩展和修改。

       调用魔术方法__call__执行前向传播。nn.Module未实现forward函数，子类需要提供此方法的具体实现。对于线性层等，forward函数定义了特定的运算流程。从检查点加载参数时，模块自动处理兼容性问题，确保模型结构与参数值的兼容。

       模块的__setattr__方法被重写，以区别对待Parameter、Module和Buffer。当尝试设置这些特定类型的属性时，执行注册或更新操作。其他属性的设置遵循标准的Python行为。

       模块的save方法用于保存模型参数和状态，确保模型结构和参数值在不同设备间转移时的一致性。改变训练状态（如将模型切换到训练或评估模式）是模块管理过程的重要组成部分。

PyTorch源码学习系列 - 2. Tensor

       本系列文章同步发布于微信公众号小飞怪兽屋及知乎专栏PyTorch源码学习-知乎(zhihu.com)，欢迎关注。

       若问初学者接触PyTorch应从何学起，答案非神经网络（NN）或自动求导系统（Autograd）莫属，而是看似平凡却无所不在的张量（Tensor）。正如编程初学者在控制台输出“Hello World”一样，Tensor是PyTorch的“Hello World”，每个初学者接触PyTorch时，都通过torch.tensor函数创建自己的Tensor。

       编写上述代码时，我们已步入PyTorch的宏观世界，利用其函数创建Tensor对象。然而，Tensor是如何创建、存储、设计的？今天，让我们深入探究Tensor的微观世界。

       Tensor是什么？从数学角度看，Tensor本质上是多维向量。在数学里，数称为标量，一维数据称为向量，二维数据称为矩阵，三维及以上数据统称为张量。维度是衡量事物的方式，例如时间是一种维度，销售额相对于时间的关系可视为一维Tensor。Tensor用于表示多维数据，在不同场景下具有不同的物理含义。

       如何存储Tensor？在计算机中，程序代码、数据和生成数据都需要加载到内存。存储Tensor的物理媒介是内存（GPU上是显存），内存是一块可供寻址的存储单元。设计Tensor存储方案时，需要先了解其特性，如数组。创建数组时，会向内存申请一块指定大小的连续存储空间，这正是PyTorch中Strided Tensor的存储方式。

       PyTorch引入了步伐（Stride）的概念，表示逻辑索引的相对距离。例如，一个二维矩阵的Stride是一个大小为2的一维向量。Stride用于快速计算元素的物理地址，类似于C/C++中的多级指针寻址方式。Tensor支持Python切片操作，因此PyTorch引入视图概念，使所有Tensor视图共享同一内存空间，提高程序运行效率并减少内存空间浪费。

       PyTorch将Tensor的物理存储抽象成一个Storage类，与逻辑表示类Tensor解耦，建立Tensor视图和物理存储Storage之间多对一的联系。Storage是声明类，具体实现在实现类StorageImpl中。StorageImp有两个核心成员：Storage和StorageImpl。

       PyTorch的Tensor不仅用Storage类管理物理存储，还在Tensor中定义了很多相关元信息，如size、stride和dtype，这些信息都存在TensorImpl类中的sizes_and_strides_和data_type_中。key_set_保存PyTorch对Tensor的layout、device和dtype相关的调度信息。

       PyTorch创建了一个TensorBody.h的模板文件，在该文件中创建了一个继承基类TensorBase的类Tensor。TensorBase基类封装了所有与Tensor存储相关的细节。在类Tensor中，PyTorch使用代码自动生成工具将aten/src/ATen/native/native_functions.yaml中声明的函数替换此处的宏${ tensor_method_declarations}

       Python中的Tensor继承于基类_TensorBase，该类是用Python C API绑定的一个C++类。THPVariable_initModule函数除了声明一个_TensorBase Python类之外，还通过torch::autograd::initTorchFunctions(module)函数声明Python Tensor相关的函数。

       torch.Tensor会调用C++的THPVariable_tensor函数，该函数在文件torch/csrc/autograd/python_torch_functions_manual.cpp中。在经过一系列参数检测之后，在函数结束之前调用了torch::utils::tensor_ctor函数。

       torch::utils::tensor_ctor在文件torch/csrc/utils/tensor_new.cpp中，该文件包含了创建Tensor的一些工具函数。在该函数中调用了internal_new_from_data函数创建Tensor。

       recursive_store函数的核心在于

       Tensor创建后，我们需要通过函数或方法对其进行操作。Tensor的方法主要通过torch::autograd::variable_methods和extra_methods两个对象初始化。Tensor的函数则是通过initTorchFunctions初始化，调用gatherTorchFunctions来初始化函数，主要分为两种函数：内置函数和自定义函数。

深入理解 Python 虚拟机：列表（list）的实现原理及源码剖析

       深入剖析 Python 虚拟机中列表（list）的内部机制和源码实现

       Python 中列表作为常用的数据结构，支持多种操作。本文将详细揭示 CPython 虚拟机中列表的构造原理，以及关键函数的源码解析。

       列表结构

       在 CPython 中，PyListObject 的结构如下，包含内存管理、长度以及实际存储数据的数组等字段。

       列表操作函数源码分析

       创建列表：通过预先分配内存空间，下次创建新列表时复用旧空间，提高效率。

       append 函数：涉及数组扩容，当列表满时，自动扩展容量。

       insert 函数：简单实现，通过移动元素实现插入。

       remove 函数：删除元素时，调整后续元素位置。

       统计与拷贝

       -

       count 函数统计元素数量，浅拷贝函数 copy 只复制引用，深拷贝需借助 copy 模块的 deepcopy。

       清空与反转

       -

       clear 函数释放列表资源，reverse 函数通过交换数组元素指针实现列表反转。

       总结

       理解列表的实现细节有助于优化 Python 代码，提升程序效率。深入探索这些内部机制，可以更好地编写和维护 Python 代码。

Gevent源码剖析（二）：Gevent 运行原理

       Gevent的运行原理在python2.7.5版本下，涉及多个关键概念。简单来说，它通过Greenlet类和Hub事件循环实现并发执行。以下是核心步骤：

       首先，通过导入gevent模块，引入其初始化设置，greenlet的运行函数通过gevent.spawn()方法注册到Hub，这个过程包括获取Hub实例、初始化greenlet并保存函数和参数。get_hub()利用线程局部存储保证Hub的多线程一致性。

       接着，greenlet通过g.start()注册到事件循环，回调事件由switch()控制，而不是直接运行函数，实现了协程的切换。Gevent提供了join()和joinall()两个入口，其中joinall()控制了整个流程。

       在详细流程中，iwait()函数扮演重要角色，通过创建Waiter对象，将协程的switch()链接到目标，通过waiter.get()控制协程执行和返回。Hub事件循环与运行协程通过waiter.get()和waiter.switch()协同工作，实现了并发执行。

       目标协程的执行涉及事件循环的启动，通过Cython调用libev库执行。目标函数在run()中执行，并通过_report_result()和_report_error()处理结果或异常。"绿化"函数是实现并发的关键，它们允许在等待I/O操作时释放控制权，从而实现多任务并发。

       总的来说，Gevent的运行涉及复杂的协程调度和事件驱动，虽然本文仅触及表面，但其背后的并发机制和技术细节更为丰富，包括异常处理和大量"绿化"函数的使用，这将在后续深入探讨。