皮皮网

1.剖析Linux内核源码解读之《实现fork研究(一)》
2.linux内核源码：内存管理——内存分配和释放关键函数分析&ZGC垃圾回收
3.linux内核源码：文件系统——可执行文件的经典讲解加载和执行
4.剖析Linux内核源码解读之《配置与编译》
5.简单概括Linux内核源码高速缓存原理（图例解析）
6.Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理

剖析Linux内核源码解读之《实现fork研究(一)》

       Linux内核源码解析：深入探讨fork函数的实现机制（一）

       首先，我们关注的源源码焦点是fork函数，它是经典讲解Linux系统创建新进程的核心手段。本文将深入剖析从用户空间应用程序调用glibc库，源源码直至内核层面的经典讲解具体过程。这里假设硬件平台为ARM，源源码通达信股票买卖指标源码使用Linux内核3..3和glibc库2.版本。经典讲解这些版本的源源码库和内核代码可以从ftp.gnu.org获取。

       在glibc层面，经典讲解针对不同CPU架构，源源码进入内核的经典讲解步骤有所不同。当glibc准备调用kernel时，源源码它会将参数放入寄存器，经典讲解通过软中断(SWI) 0x0指令进入保护模式，源源码最终转至系统调用表。经典讲解在arm平台上，系统调用表的结构如下：

       系统调用表中的CALL(sys_clone)宏被展开后，会将sys_clone函数的地址放入pc寄存器，这个函数实际由SYSCALL_DEFINEx定义。在do_fork函数中，关键步骤包括了对父进程和子进程的跟踪，以及对子进程进行初始化，包括内存分配和vfork处理等。

       总的来说，调用流程是这样的：应用程序通过软中断触发内核处理，通过系统调用表选择并执行sys_clone，然后调用do_fork函数进行具体的进程创建操作。do_fork后续会涉及到copy_process函数，这个函数是理解fork核心逻辑的重要入口，包含了丰富的内核知识。在后续的内容中，我将深入剖析copy_process函数的工作原理。

linux内核源码：内存管理——内存分配和释放关键函数分析&ZGC垃圾回收

       本文深入剖析了Linux内核源码中的内存管理机制，重点关注内存分配与释放的关键函数，通过分析4.9版本的源码，详细介绍了slab算法及其核心代码实现。在内存管理中，slab算法通过kmem_cache结构体进行管理，利用数组的形式统一处理所有的kmem_cache实例，通过size_index数组实现对象大小与kmem_cache结构体之间的映射，从而实现高效内存分配。其中，关键的计算方法是通过查找输入参数的最高有效位序号，这与常规的0起始序号不同，从1开始计数。

       在找到合适的kmem_cache实例后，下一步是通过数组缓存（array_cache）获取或填充slab对象。若缓存中有可用对象，则直接从缓存分配；若缓存已空，会调用cache_alloc_refill函数从三个slabs（free/partial/full）中查找并填充可用对象至缓存。在对象分配过程中，array_cache结构体发挥了关键作用，它不仅简化了内存管理，还优化了内存使用效率。gradle插件源码查看

       对象释放流程与分配流程类似，涉及数组缓存的管理和slab对象的回收。在cache_alloc_refill函数中，关键操作是检查slab_partial和slab_free队列，寻找空闲的对象以供释放。整个过程确保了内存资源的高效利用，避免了资源浪费。

       总结内存操作函数概览，栈与堆的区别是显而易见的。栈主要存储函数调用参数、局部变量等，而堆用于存放new出来的对象实例、全局变量、静态变量等。由于堆的动态分配特性，它无法像栈一样精准预测内存使用情况，导致内存碎片问题。为了应对这一挑战，Linux内核引入了buddy和slab等内存管理算法，以提高内存分配效率和减少碎片。

       然而，即便使用了高效的内存管理算法，内存碎片问题仍难以彻底解决。在C/C++中，没有像Java那样的自动垃圾回收机制，导致程序员需要手动管理内存分配与释放。如果忘记释放内存，将导致资源泄漏，影响系统性能。为此，业界开发了如ZGC和Shenandoah等垃圾回收算法，以提高内存管理效率和减少内存碎片。

       ZGC算法通过分页策略对内存进行管理，并利用“初始标记”阶段识别GC根节点（如线程栈变量、静态变量等），并查找这些节点引用的直接对象。此阶段采用“stop the world”（STW）策略暂停所有线程，确保标记过程的准确性。接着，通过“并发标记”阶段识别间接引用的对象，并利用多个GC线程与业务线程协作提高效率。在这一过程中，ZGC采用“三色标记”法和“remember set”机制来避免误回收正常引用的对象，确保内存管理的精准性。

       接下来，ZGC通过“复制算法”实现内存回收，将正常引用的对象复制到新页面，将旧页面的数据擦除，从而实现内存的高效管理。此外，通过“初始转移”和“并发转移”阶段进一步优化内存管理过程。最后，在“对象重定位”阶段，潜龙突破源码免费完成引用关系的更新，确保内存管理过程的完整性和一致性。

       通过实测，ZGC算法在各个阶段展现出高效的内存管理能力，尤其是标记阶段的效率，使得系统能够在保证性能的同时，有效地管理内存资源。总之，内存管理是系统性能的关键因素，Linux内核通过先进的算法和策略，实现了高效、灵活的内存管理，为现代操作系统提供稳定、可靠的服务。

linux内核源码：文件系统——可执行文件的加载和执行

       本文深入探讨Linux内核源码中文件系统中可执行文件的加载与执行机制。与Windows中的PE格式和exe文件不同，Linux采用的是ELF格式。尽管这两种操作系统都允许用户通过双击文件来执行程序，但Linux的实现方式和底层操作有所不同。

       在Linux系统中，双击可执行文件能够启动程序，这背后涉及一系列复杂的底层工作。首先，我们简要了解进程间的数据访问方式。在用户态运行时，ds和fs寄存器指向用户程序的数据段。然而，当代码处于内核态时，ds指向内核数据段，而fs仍然指向用户态数据段。为了确保正确访问不同态下的数据，需要频繁地调整fs寄存器的值。

       当用户输入参数时，这些信息需要被存储在进程的内存空间中。Linux为此提供了KB的个页面内存空间，用于存放用户参数和环境变量。通过一系列复制操作，参数被安全地存放到了进程的内存中。尽管代码实现可能显得较为复杂，但其核心功能与传统复制函数（如memcpy）相似。

       为了理解参数和环境变量的处理，我们深入探讨了如何通过不同fs值来访问内存中的变量。argv是一个指向参数的指针，argv*和argv**指向不同的地址，它们可能位于内核态或用户态。在访问这些变量时，需要频繁地切换fs值，以确保正确读取内存中的数据。通过调用set_fs函数来改变fs值，并在读取完毕后恢复，实现不同态下的数据访问。

       在Linux的加载过程中，参数和环境变量的如何自己生成源码处理涉及到特定的算法和逻辑，以确保正确解析和执行程序。例如，通过检查每个参数是否为空以及参数之间的空格分隔，来计算参数的数量。同时，文件的头部信息对于识别文件类型至关重要。早期版本的Linux文件头部信息相当简单，仅包含几个字段。这些头部信息为操作系统提供了识别文件类型的基础。

       为了实现高效文件执行，Linux使用了一系列的内存布局和管理技术。在执行文件时，操作系统负责将参数列表、环境变量、栈、数据段和代码段等组件放入进程的内存空间。这种布局确保了程序能够按照预期运行。

       最后，文章提到了一些高级技术，如线程切换、内存管理和文件系统操作，这些都是Linux内核源码中关键的部分。尽管这些技术在日常编程中可能不常被直接使用，但它们对于理解Linux的底层工作原理至关重要。通过深入研究Linux内核源码，开发者能够更全面地掌握操作系统的工作机制，从而在实际项目中提供更高效、更安全的解决方案。

剖析Linux内核源码解读之《配置与编译》

       Linux内核的配置与编译过程详解如下：

       配置阶段

       首先，从kernel.org获取内核源代码，如在Ubuntu中，可通过`sudo apt-get source linux-$(uname -r)`获取到，源码存放在`/usr/src/`。配置时，主要依据`arch//configs/`目录下的默认配置文件，使用`cp`命令覆盖`/boot/config`文件。配置命令有多种，如通过`.config`文件进行手动修改，但推荐在编译前进行系统配置。配置时注意保存配置，例如使用`/proc/config.gz`，以备后续需要。

       编译阶段

       内核编译涉及多种镜像类型，如针对ARM的交叉编译，常用命令是特定的。编译过程中，可能会遇到错误，需要针对具体问题进行解决。编译完成后，将模块和firmware（体系无关）分别存入指定文件夹，记得为某些硬件添加对应的firmware文件到`lib/firmware`目录。

       其他内容

       理解vmlinux、vmlinuz（zImage,内核源码内存管理 bzImage, uImage）之间的关系至关重要。vmlinuz是压缩后的内核镜像，zImage和bzImage是vmlinuz的压缩版本，其中zImage在内存低端解压，而bzImage在高端解压。uImage是uBoot专用的，是在zImage基础上加上特定头信息的版本。

简单概括Linux内核源码高速缓存原理（图例解析）

       高速缓存(cache)概念和原理涉及在处理器附近增加一个小容量快速存储器(cache)，基于SRAM，由硬件自动管理。其基本思想为将频繁访问的数据块存储在cache中，CPU首先在cache中查找想访问的数据，而不是直接访问主存，以期数据存放在cache中。

       Cache的基本概念包括块（block），CPU从内存中读取数据到Cache的时候是以块（CPU Line）为单位进行的，这一块块的数据被称为CPU Line，是CPU从内存读取数据到Cache的单位。

       在访问某个不在cache中的block b时，从内存中取出block b并将block b放置在cache中。放置策略决定block b将被放置在哪里，而替换策略则决定哪个block将被替换。

       Cache层次结构中，Intel Core i7提供一个例子。cache包含dCache（数据缓存）和iCache（指令缓存），解决关键问题包括判断数据在cache中的位置，数据查找(Data Identification)，地址映射(Address Mapping)，替换策略(Placement Policy)，以及保证cache与memory一致性的问题，即写入策略(Write Policy)。

       主存与Cache的地址映射通过某种方法或规则将主存块定位到cache。映射方法包括直接(mapped)、全相联(fully-associated)、一对多映射等。直接映射优点是地址变换速度快，一对一映射，替换算法简单，但缺点是容易冲突，cache利用率低，命中率低。全相联映射的优点是提高命中率，缺点是硬件开销增加，相应替换算法复杂。组相联映射是一种特例，优点是提高cache利用率，缺点是替换算法复杂。

       cache的容量决定了映射方式的选取。小容量cache采用组相联或全相联映射，大容量cache采用直接映射方式，查找速度快，但命中率相对较低。cache的访问速度取决于映射方式，要求高的场合采用直接映射，要求低的场合采用组相联或全相联映射。

       Cache伪共享问题发生在多核心CPU中，两个不同线程同时访问和修改同一cache line中的不同变量时，会导致cache失效。解决伪共享的方法是避免数据正好位于同一cache line，或者使用特定宏定义如__cacheline_aligned_in_smp。Java并发框架Disruptor通过字节填充+继承的方式，避免伪共享，RingBuffer类中的RingBufferPad类和RingBufferFields类设计确保了cache line的连续性和稳定性，从而避免了伪共享问题。

Linux内核源码解析---万字解析从设计模式推演per-cpu实现原理

       引子

       在如今的大型服务器中，NUMA架构扮演着关键角色。它允许系统拥有多个物理CPU，不同NUMA节点之间通过QPI通信。虽然硬件连接细节在此不作深入讨论，但需明白每个CPU优先访问本节点内存，当本地内存不足时，可向其他节点申请。从传统的SMP架构转向NUMA架构，主要是为了解决随着CPU数量增多而带来的总线压力问题。

       分配物理内存时，numa_node_id() 方法用于查询当前CPU所在的NUMA节点。频繁的内存申请操作促使Linux内核采用per-cpu实现，将CPU访问的变量复制到每个CPU中，以减少缓存行竞争和False Sharing，类似于Java中的Thread Local。

       分配物理页

       尽管我们不必关注底层实现，buddy system负责分配物理页，关键在于使用了numa_node_id方法。接下来，我们将深入探索整个Linux内核的per-cpu体系。

       numa_node_id源码分析获取数据

       在topology.h中，我们发现使用了raw_cpu_read函数，传入了numa_node参数。接下来，我们来了解numa_node的定义。

       在topology.h中定义了numa_node。我们继续跟踪DECLARE_PER_CPU_SECTION的定义，最终揭示numa_node是一个共享全局变量，类型为int，存储在.data..percpu段中。

       在percpu-defs.h中，numa_node被放置在ELF文件的.data..percpu段中，这些段在运行阶段即为段。接下来，我们返回raw_cpu_read方法。

       在percpu-defs.h中，我们继续跟进__pcpu_size_call_return方法，此方法根据per-cpu变量的大小生成回调函数。对于numa_node的int类型，最终拼接得到的是raw_cpu_read_4方法。

       在percpu.h中，调用了一般的read方法。在percpu.h中，获取numa_node的绝对地址，并通过raw_cpu_ptr方法。

       在percpu-defs.h中，我们略过验证指针的环节，追踪arch_raw_cpu_ptr方法。接下来，我们来看x架构的实现。

       在percpu.h中，使用汇编获取this_cpu_off的地址，代表此CPU内存副本到".data..percpu"的偏移量。加上numa_node相对于原始内存副本的偏移量，最终通过解引用获得真正内存地址内的值。

       对于其他架构，实现方式相似，通过获取自己CPU的偏移量，最终通过相对偏移得到pcp变量的地址。

       放入数据

       讨论Linux内核启动过程时，我们不得不关注per-cpu的值是如何被放入的。

       在main.c中，我们以x实现为例进行分析。通过setup_percpu.c文件中的代码，我们将node值赋给每个CPU的numa_node地址处。具体计算方法通过early_cpu_to_node实现，此处不作展开。

       在percpu-defs.h中，我们来看看如何获取每个CPU的numa_node地址，最终还是通过简单的偏移获取。需要注意如何获取每个CPU的副本偏移地址。

       在percpu.h中，我们发现一个关键数组__per_cpu_offset，其中保存了每个CPU副本的偏移值，通过CPU的索引来查找。

       接下来，我们来设计PER CPU模块。

       设计一个全面的PER CPU架构，它支持UMA或NUMA架构。我们设计了一个包含NUMA节点的结构体，内部管理所有CPU。为每个CPU创建副本，其中存储所有per-cpu变量。静态数据在编译时放入原始数据段，动态数据在运行时生成。

       最后，我们回到setup_per_cpu_areas方法的分析。在setup_percpu.c中，我们详细探讨了关键方法pcpu_embed_first_chunk。此方法管理group、unit、静态、保留、动态区域。

       通过percpu.c中的关键变量__per_cpu_load和vmlinux.lds.S的链接脚本，我们了解了per-cpu加载时的地址符号。PERCPU_INPUT宏定义了静态原始数据的起始和结束符号。

       接下来，我们关注如何分配per-cpu元数据信息pcpu_alloc_info。percpu.c中的方法执行后，元数据分配如下图所示。

       接着，我们分析pcpu_alloc_alloc_info的方法，完成元数据分配。

       在pcpu_setup_first_chunk方法中，我们看到分配的smap和dmap在后期将通过slab再次分配。

       在main.c的mm_init中，我们关注重点区域，完成map数组的slab分配。

       至此，我们探讨了Linux内核中per-cpu实现的原理，从设计到源码分析，全面展现了这一关键机制在现代服务器架构中的作用。

linux0.源码分析-fork进程

       在操作系统中，Linux0.源码中的fork函数执行流程分为启动和系统调用两个阶段。启动阶段首先在init/main.c中执行init用于启动shell，让用户执行命令。

       在include/unistd.h中定义了宏，表示将__NR_fork的值复制给eax寄存器，并将_res与eax绑定。使用int 0x中断后，系统调用函数system_call被调用，从sys_call_table中找到对应的函数执行。fork函数执行时，操作系统会在内核栈里保存相关寄存器，准备中断返回。

       接着，操作系统通过int调用system_call，在kernel/system_call.s中执行call _sys_call_table(,%eax,4)指令。内核栈中，因为是段内跳转，所以cs不需要入栈。ip指向call指令的下一句代码。执行call指令进入系统调用表。

       在includ/linux/sys.h中，系统调用表是一个数组，根据eax即系统函数编号找到对应的函数执行。对于fork，__NR_fork值2被放入eax寄存器，%eax * 4找到sys_fork。执行sys_fork后，调用find_empty_process函数找到可用的进程号，并放入eax寄存器返回。

       接着，系统调用执行copy_process函数建立新进程结构体并复制数据。新进程的ip出栈，执行完copy_process后，系统调用返回，内核栈状态改变。此阶段最后通过iret指令弹出寄存器，恢复中断前状态。

       总结，fork函数通过复制当前进程结构体、处理信号并初始化新进程，实现父进程与子进程的创建与共享。子进程返回值为0，父进程返回新子进程的pid。通过fork函数的执行，操作系统能够高效地创建进程，实现多任务处理。

剖析Linux内核源码解读之《实现fork研究(二)》

       本文深入剖析了Linux内核源码中fork实现的核心过程，重点在于copy_process函数的解析。在Linux系统中，应用层可以通过fork创建子进程或子线程，而内核并不区分两者，它们共享相同的task_struct结构，用于描述进程或线程的状态、资源等。task_struct包含了进程或线程所有关键数据结构，如内存描述符、文件描述符、信号处理等，是内核调度程序识别和管理进程的重要依据。

       copy_process作为fork实现的关键，其主要任务是初始化task_struct结构，分配新进程的PID，并将其加入到运行队列。这个过程中，内核栈的初始化导致了fork()调用的两次返回值不同，这与copy_thread函数中父进程复制内核栈至子进程并清零寄存器值有关。这样，子进程返回0，而父进程继续执行copy_thread后续操作，最后返回子进程的PID。

       对于线程的独有和共享资源，独有资源通常包括线程特定的数据结构和状态，而共享资源则涉及父进程与线程间的共享内存、文件描述符和信号处理等。这些资源的管理对于多线程程序的正确运行至关重要，需确保线程间资源的互斥访问和安全共享。

linux内核源码：网络通信简介——网络拥塞控制之BBR算法

       从网络诞生至十年前，TCP拥塞控制采用的经典算法如reno、new-reno、bic、cubic等，在低带宽有线网络中运行了几十年。然而，随着网络带宽的增加以及无线网络通信的普及，这些传统算法开始难以适应新的环境。

       根本原因是，传统拥塞控制算法将丢包/错包等同于网络拥塞。这一认知上的缺陷导致了算法在面对新环境时的不适应性。BBR算法的出现，旨在解决这一问题。BBR通过以下方式控制拥塞：

       1. 确保源端发送数据的速率不超过瓶颈链路的带宽，避免长时间排队造成拥塞。

       2. 设定BDP（往返延迟带宽积）的上限，即源端发送的待确认在途数据包（inflight）不超过BDP，换句话说，双向链路中数据包总和不超过RTT（往返延迟）与BtlBW（瓶颈带宽）的乘积。

       BBR算法需要两个关键变量：RTT（RTprop：往返传播延迟时间）和BtlBW（瓶颈带宽），并需要精确测量这两个变量的值。

       1. RTT的定义为源端从发送数据到收到ACK的耗时，即数据包一来一回的时间总和。在应用受限阶段测量是最合适的。

       2. BtlBW的测量则在带宽受限阶段进行，通过多次测量交付速率，将近期的最大交付速率作为BtlBW。测量的时间窗口通常在6-个RTT之间，确保测量结果的准确性。

       在上述概念基础上，BBR算法实现了从初始启动、排水、探测带宽到探测RTT的四个阶段，以实现更高效、更稳定的网络通信。

       通信双方在节点中，通过发送和接收数据进行交互。BBR算法通过接收ACK包时更新RTT、部分包更新BtlBW，以及发送数据包时判断inflight数据量是否超过BDP，通过一系列动作实现数据的有效传输。

       在具体的实现上，BBR算法的源码位于net\ipv4\tcp_bbr.c文件中（以Linux 4.9源码为例）。关键函数包括估算带宽的bbr_update_bw、设置pacing_rate来控制发送速度的bbr_set_pacing_rate以及更新最小的RTT的bbr_update_min_rtt等。

       总的来说，BBR算法不再依赖丢包判断，也不采用传统的AIMD线性增乘性减策略维护拥塞窗口。而是通过采样估计网络链路拓扑情况，极大带宽和极小延时，以及使用发送窗口来优化数据传输效率。同时，引入Pacing Rate限制数据发送速率，与cwnd配合使用，有效降低数据冲击。