皮皮网

1.node-pre-gyp以及node-gyp的底层源码简单解析（以安装sqlite3为例）
2.node stream源码分析 — Readable
3.抽丝剥茧：Electron与Node.js的奇葩Bug
4.nodejs原理&源码赏析（7）Node.js中的事件循环，定时器和process.nextTick
5.NodeController 源码分析
6.nodejs 14.0.0源码分析之setImmediate

node-pre-gyp以及node-gyp的源码源码源码简单解析（以安装sqlite3为例）

       在Node.js开发中，确保模块跨平台性至关重要，底层尤其当涉及到使用C/C++原生代码的源码源码模块，如SQLite3。底层让我们通过一个实例来理解安装这种原生模块的源码源码iris 源码过程，以SQLite3为例。底层

       项目初始化

       首先，源码源码创建一个基础的底层Node.js项目，我们开始安装SQLite3。源码源码

       安装SQLite3

       执行安装命令后，底层你会看到命令行输出关键信息：

       node-pre-gyp的源码源码引入

       在安装过程中，你会遇到node-pre-gyp，底层这个工具与node-gyp和gyp紧密相关。源码源码gyp是底层一个用于生成项目文件的构建工具，它为Chromium项目生成IDE项目文件，如Visual Studio和Xcode。而node-gyp则是专为Node.js Addons（原生模块）编译设计的，它允许在本地编译C/C++代码。

       node-pre-gyp的作用

       为了简化每次安装时的平台编译工作，node-pre-gyp允许预先为常见平台生成二进制文件。当项目尝试安装时，它会优先查找预编译的二进制包，如果找不到，才会转而依赖node-gyp进行源码编译。

       安装流程

       当我们使用`npm install sqlite3`时，实际上执行了`node-pre-gyp install --fallback-to-build`。安装流程包括：

       检查node-pre-gyp是否已安装，如果没有，npm会自动安装。

       node-pre-gyp查找预编译二进制包，如果存在，则直接使用。

       如果没有找到，使用node-gyp进行源码编译。

       深入了解SQLite3安装

       查看sqlite3的package.json，`scripts`部分包含了`node-pre-gyp install`命令。npm会根据这个脚本执行安装过程。

       源码编译与node-gyp

       node-gyp的`build.js`负责执行编译任务，通过`gyp`工具生成特定平台的项目文件，如Windows的vcxproj，然后使用MSBuild编译。

       node-pre-gyp与node-gyp的交互

       node-pre-gyp的`do_build`模块调用node-gyp build，执行具体的编译操作，确保模块能在目标平台上正确工作。

node stream源码分析 — Readable

       Stream在Node.js中是一种数据传输的抽象机制，它分为四种类型：流、可读流（Readable）、可写流（Writable）和可缓冲流（Transform）。其中，可读流（Readable）用于从外部数据源读取数据。

       可读流有两种模式：流动模式和非流动模式。热搜php源码非流动模式在监听到'data'事件时，直接读取数据而不暂停，并不将数据存储到缓存区。流动模式则在监听到'readable'事件时，将数据放入缓存区，并等待'writable'调用来判断是否有空位，以此来决定是否暂停。

       以下是对可读流（Readable）的源码分析。首先，让我们查看Readable的源码。源码文件位于'_stream_readable.js'中。

       在'fs.js'文件中，我们可以看到创建读取流的源码，而'Readable'则位于'_stream_readable.js'文件中。

       在'fs.js'文件中，我们可以通过调用`fs.createReadStream`来创建读取流。在'Readable'源码文件中，我们可以看到Node.js实现的可读流类，它提供了读取数据的功能，并且支持缓冲和流式读取。

抽丝剥茧：Electron与Node.js的奇葩Bug

       起因是最近在用Electron开发一个桌面端项目，有个需求是需要遍历某个文件夹下的所有JavaScript文件，对它进行AST词法语法分析，解析出元数据并写入到某个文件里。需求整体不复杂，只是细节有些麻烦，当我以为开发的差不多时，注意到一个匪夷所思的问题，查的我快怀疑人生。

       缘起

       什么问题呢？

       原来这个需求一开始仅是遍历当前文件夹下的文件，我的获取所有JS文件的代码是这样的：

       后来需求改为要包含文件夹的子文件夹，那就需要进行递归遍历。按照我以前的做法，当然是手撸一个递归，代码并不复杂，缺点是递归可能会导致堆栈溢出：

       但做为一个紧跟时代浪潮的开发者，我知道Node.js的fs.readdir API中加了一个参数recursive，表示可以进行递归，人家代码的鲁棒性肯定比我的好多了：

       只改了一行代码，美滋滋~

       兼容性怎么样呢？我们到Node.js的API文档里看下：

       是从v..0添加的，而我本地使用的Node.js版本正是这个（好巧），我们Electron中的Node.js版本是多少呢？先看到electron的版本是.0.4：

       在Electron的 发布页上能找到这个版本对应的是..1，比我本地的还要多一个小版本号：

       这里需要说明一下，Electron之所以优于WebView方案，是因为它内置了Chrome浏览器和Node.js，锁定了前端与后端的版本号，这样只要Chrome和Node.js本身的跨平台没有问题，理论上Electron在各个平台上都能获得统一的UI与功能体验。 而以Tauri为代表的WebView方案，则是不内置浏览器，应用程序使用宿主机的游戏礼包助手源码浏览器内核，开发包的体积大大减小，比如我做过的同样功能的一个项目，Electron版本有M+，而Tauri的只有4M左右。虽然体积可以这么小，又有Rust这个性能大杀器，但在实际工作中的技术选型上，想想各种浏览器与不同版本的兼容性，换我也不敢头铁地用啊！ 所以，尽管Electron有这样那样的缺点，仍是我们开发客户端的不二之选。 之所以提这个，是因为读者朋友需要明白实际项目运行的是Electron内部的Node.js，而我们本机的Node.js只负责启动Electron这个工程。

       以上只是为了说明，我这里使用fs.readdir这个API新特性是没有问题的。

       排查

       为方便排查，我将代码再度简化，提取一个单独的文件中，被Electron的Node.js端引用：

       能看到控制台打印的 Node.js 版本与我们刚才查到的是一样的，文件数量为2：

       同样的代码使用本机的Node.js执行：

       难道是这个小版本的锅？按理说不应该。但为了排除干扰，我将本机的Node.js也升级为..1：

       这下就有些懵逼了！

       追踪

       目前来看，锅应该是Electron的。那么第一思路是什么？是不是人家已经解决了啊？我要不要先升个级？

       没毛病。

       升级Electron

       将Electron的版本号换成最新版本v.1.0：

       再看效果：

       我去，正常了！

       不过，这个包的升级不能太草率，尤其正值发版前夕，所以还是先改代码吧，除了我上面手撸的代码外，还有个包readdirp也可以做同样的事情：

       这两种方式，在原版本的Electron下都没有问题。

       GitHub上搜索

       下来接着排查。

       Electron是不是有人发现了这个Bug，才进行的修复呢？

       去 GitHub issue里瞅一瞅：

       没有，已经关闭的问题都是年提的问题，而我们使用的Electron的版本是年月日发布的。 那么就去 代码提交记录里查下（GitHub这个功能还是很好用的）：

       符合条件的就一条，打开看下：

       修复的这个瞅着跟我们的递归没有什么关系嘛。

       等等，这个文件是什么鬼？

       心血来潮的收获

       我们找到这个文件，目录在lib下：

       从命名上看，这个文件是对Node.js的fs模块的一个包装。如果你对Electron有了解的话，仔细一思索，就能理解为什么会有这么个文件了。我们开发时，微星棋牌全套源码项目里会有许多的资源，Electron的Node.js端读取内置的文件，与正常Node.js无异，但事实上，当我们的项目打包为APP后，文件的路径与开发状态下完全不一样了。所以Electron针对打包后的文件处理，重写了fs的各个方法。

       这段代码中重写readdir的部分如下：

       上面的判断isAsar就是判断是否打包后的归档文件，来判断是否要经Electron特殊处理。如果要处理的话，会调用Electron内部的C++代码方法进行处理。

       我发现，这里Electron并没有对打包后的归档文件处理递归参数recursive，岂不是又一个Bug？应该提个issue提醒下。

       不过，我们目前的问题，并不是它造成的，因为现在是开发状态下，上面代码可以简化为：

       对Promise了如指掌的我怎么看这代码也不会有问题，只是心血来潮执行了一下：

       我去，差点儿脑溢血！

       好的一点是，曙光似乎就在眼前了！事实证明，心血来潮是有用的！

       Node.js的源码

       这时不能慌，本地切换Node.js版本为v，同样的代码再执行下：

       这说明Electron是被冤枉的，锅还是Node.js的！

       Node.js你这个浓眉大眼的，居然也有Bug！呃，还偷偷修复了！

       上面的情况，其实是说原生的fs.readdir有问题：

       也就是说，fs.promises.readdir并不是用util.promisify(fs.readdir)实现的！

       换成同步的代码readdirSync，效果也是一样：

       我们来到Node.js的GitHub地址，进行 搜索：

       打开这两个文件，能发现，二者确实是不同的实现，不是简单地使用util.promisify进行转换。

       fs.js

       我们先看 lib/fs.js。

       当recursive为true时，调用了一个readdirSyncRecursive函数，从这个命名上似乎可以看出有性能上的隐患。正常来说，这个函数是异步的，不应该调用同步的方法，如果文件数量过多，湖北棋牌软件源码会把主进程占用，影响性能。

       如果没有recursive，则是原来的代码，我们看到binding readdir这个函数，凡是binding的代码，应该就是调用了C++的底层库，进行了一次『过桥』交互。

       我们接着看readdirSyncRecursive，它的命名果然没有毛病，binding readdir没有第4个参数，是完全同步的，这个风险是显而易见的：

       fs/promises.js

       在lib/internal/fs/promises.js中，我们看到binding readdir的第4个参数是kUsePromises，表明是个异步的处理。

       当传递了recursive参数时，将调用readdirRecursive，而readdirRecursive的代码与readdirSyncRecursive的大同小异，有兴趣的可以读一读：

       fs.js的提交记录

       我们搜索readdir的提交记录，能发现这两篇都与深度遍历有关：

       其中 下面的这个，正是我们这次问题的罪魁祸首。

       刚才看到的fs.js中的readdirSyncRecursive里这段长长的注释，正是这次提交里添加的：

       从代码对比上，我们就能看出为什么我们的代码遍历的程序为2了，因为readdirResult是个二维数组，它的长度就是2啊。取它的第一个元素的长度才是正解。坑爹！

       也就是说，如果不使用withFileTypes这个参数，得到的结果是没有问题的：

       发版记录

       我们在Node.js的发版记录中，找到这条提交记录，也就是说，v..0才修复这个问题。

       而Electron只有Node.js更新到v后，这个功能才修复。

       而从Electron与Node.js的版本对应上来看，得更新到v了。

       只是需要注意的是，像前文提过的，如果是遍历的是当前项目的内置文件，Electron并没有支持这个新的参数，在打包后会出现Bug。

       fs的同步阻塞

       其实有人提过一个 issue：

       确实是个风险点。所以，建议Node.js开发者老老实实使用fs/promises代替fs，而Electron用户由于坑爹的fs包裹，还是不要用这个特性了。

       总结

       本次问题的起因是我的一个Electron项目，使用了一个Node.js fs API的一个新参数recursive递归遍历文件夹，偶然间发现返回的文件数量不对，就开始排查问题。

       首先，我选择了升级Electron的包版本，发现从v.0.4升级到最新版本v.1.0后，问题解决了。但由于发版在即，不能冒然升级这么大件的东西，所以先使用readdirp这个第三方包处理。

       接着排查问题出现的原因。我到Electron的GitHub上搜索issue，只找到一条近期的提交，但看提交信息，不像是我们的目标。我注意到这条提交的修改文件（asar-fs-wrapper.ts），是Electron针对Node.js的fs API的包装，意识到这是Electron为了解决打包前后内置文件路径的问题，心血来潮之下，将其中核心代码简化后，测试发现问题出在fs.promises readdir的重写上，继而锁定了Node.js版本v..1的fs.readdir有Bug。

       下一步，继续看Node.js的源码，确定了fs.promises与fs是两套不同的实现，不是简单地使用util.promisify进行转换。并在fs的代码找到关于recursive递归的核心代码readdirSyncRecursive。又在提交记录里，找到这段代码的修复记录。仔细阅读代码对比后，找到了返回数量为2的真正原因。

       我们在Node.js的发版记录中，找到了这条记录的信息，确定了v..0才修复这个问题。而内嵌Node.js的Electron，只有v版本起才修复。

       不过需要注意的是，如果是遍历的是当前项目的内置文件，由于Electron并没有支持这个新的参数，在打包后会出现Bug。而且由于fs.readdir使用recursive时是同步的，Electron重写的fs.promises readdir最终调用的是它，可能会有隐性的性能风险。

       本次定位问题走了些弯路，一开始将目标锁定到Electron上，主要是它重写fs的锅，如果我在代码中用的fs.readdirSync，那么可能会更早在Node.js上查起。谁能想到我调用的fs.promises readdir不是真正的fs.promises readdir呢？

       最后，针对此次问题，我们有以下启示：

       PS：我给Electron提了个 issue，一是让他们给fs.readdir添加recursive参数的实现，二是让他们注意下重写时fs.promises readdir的性能风险。

nodejs原理&源码赏析（7）Node.js中的事件循环，定时器和process.nextTick

       事件循环是Node.js的核心机制，确保了其非阻塞I/O模型的实现。尽管JavaScript在Node.js中是单线程运行的，它却能利用系统内核的多线程特性处理并发任务。Node.js在开始执行时初始化事件循环，处理脚本文件或REPL环境中的异步调用。事件循环通过检查异步I/O、定时器和process.nextTick调用，然后进入各个阶段，处理回调函数。每个阶段维护一个先进先出的回调队列，处理与阶段相关操作后执行队列中的回调，直至队列为空或达到最大函数执行数量。系统操作回调、定时器和处理关闭回调的阶段各有功能。setImmediate()与setTimeout()相似，但执行顺序受调用上下文影响，setImmediate()在I/O周期中通常优先执行。process.nextTick()则在当前操作执行后立即执行回调，不受事件循环阶段限制，但需谨慎使用以防阻塞事件循环。

NodeController 源码分析

       本文主要分析NodeLifecycleController在Kubernetes v1.版本中的功能及其源码实现。NodeLifecycleController主要负责定期监控节点状态，根据节点的condition添加相应的taint标签或直接驱逐节点上的Pod。

       在解释NodeLifecycleController功能之前，先了解一下taint的作用。在NodeLifecycleController中，taint的使用效果体现在节点的taint上，影响着Pod在节点上的调度。

       NodeLifecycleController利用多个feature-gates进行功能扩展。在源码分析部分，我们以Kubernetes v1.版本为例，深入研究了启动方法、初始化流程、监听对象以及核心逻辑。

       启动方法startNodeLifecycleController首先调用lifecyclecontroller.NewNodeLifecycleController进行初始化，并传入组件参数及两个feature-gates：TaintBasedEvictions和TaintNodesByCondition。随后调用lifecycleController.Run启动控制循环，监听包括lease、pods、nodes、daemonSets在内的四种对象。

       在初始化过程中，多个默认参数被设定，如--enable-taint-manager等。NewNodeLifecycleController方法详细展示了NodeLifecycleController的结构和核心逻辑，包括taintManager和NodeLifecycleController的监听和处理机制。

       Run方法是启动方法，它启动多个goroutine执行controller功能，关键逻辑包括调用多个方法来完成核心功能。

       当组件启动时，若--enable-taint-manager参数为true，taintManager将启用，确保当节点上的Pod不兼容节点taint时，会将Pod驱逐。反之，已调度至该节点的Pod将保持存在，新创建的Pod需兼容节点taint以调度至该节点。

       tc.worker处理来自channel的数据，优先处理nodeUpdateChannels中的数据。tc.handleNodeUpdate和tc.handlePodUpdate分别处理节点更新和Pod更新，最终调用tc.processPodOnNode检查Pod是否兼容节点的taints。

       NodeLifecycleController中的nodeInformer监听节点变化，nc.doNodeProcessingPassWorker添加合适的NoSchedule taint和标签。当启用了TaintBasedEvictions特性，nc.doNoExecuteTaintingPass处理节点并根据NodeCondition添加taint，以驱逐Pod。未启用该特性时，nc.doEvictionPass将直接驱逐节点上的Pod。

       nc.monitorNodeHealth持续监控节点状态，更新节点taint或驱逐Pod，并为集群中的所有节点划分zoneStates以设置驱逐速率。nc.tryUpdateNodeHealth更新节点状态数据，判断节点是否已进入未知状态。

       本文综上所述，深入剖析了NodeLifecycleController的功能、实现机制以及关键逻辑，为理解和优化Kubernetes集群提供了参考。

nodejs .0.0源码分析之setImmediate

       深入解析Node.js .0.0中setImmediate的实现机制

       从setImmediate函数的源码入手，我们首先构建一个Immediate对象。这个对象的主要任务分为两个方面。其一，生成一个节点并将其插入到链表中。其二，在链表中尚未插入节点时，将其插入到libuv的idle链表中。

       这一过程展示了setImmediate作为一个生产者的作用，负责将任务加入待执行队列。而消费者的角色则在Node.js初始化阶段由check阶段插入的节点和关联的回调函数承担。

       具体而言，当libuv执行check阶段时，CheckImmediate函数被触发。此函数随后执行immediate_callback_function，对immediate链表中的节点进行处理。我们关注immediate_callback_function的设置位置，理解其实际功能。

       最终，processImmediate函数成为处理immediate链表的核心，执行所有待处理任务。这就是setImmediate的执行原理，一个简洁高效的异步任务调度机制。

nodejs EventEmitter 源码分析

       EventEmitter 是 Node.js 中的事件管理器核心逻辑简单，主要聚焦于事件与函数或函数数组之间的关联。在 v..1 版本中，核心逻辑在实例的 _events 属性上展开，该属性是一个对象，其键为事件名称，值为事件对应的函数或函数数组。所有方法均围绕 _events 展开。

       构造函数初始化 _events 属性，若实例本身未定义，则执行此操作。此操作涉及对实例原型的引用，通过 ObjectGetPrototypeOf 的使用来实现。函数 on 允许用户注册事件监听器，逻辑简单明了：判断同名事件是否已注册，无则注册；已有则将新监听器加入已有函数数组中。emit 方法触发事件，根据事件名称获取对应函数或函数数组，使用 ReflectApply 调用。此方法与 Function.prototype.apply 类似，但提供了更简洁的实现。

       off 方法与 on 方法相似，但逻辑相反。它获取事件监听器，若为函数，则直接删除；若为数组，则遍历删除指定监听器。此方法同样简洁，直接操作事件列表。

       Reflect API 的使用在不同版本的 EventEmitter 中逐渐增多，例如将 Object.keys 替换为 Reflect.ownKeys，以更好地处理 Symbol 类型的事件名。反射方法，如 Reflect.apply，尽管在 V8 中源码显得复杂，但其执行逻辑与 Function.prototype.apply 相似，性能上并无显著提升，但提升了代码的可读性。

       在最新版本 v.5.0 中，EventEmitter 的实现中采用 Reflect.ownKeys 更为合理，因为此方法能有效避免返回数组中无 Symbol 的问题。EventEmitter 的构造函数与 Stream 的关系展示了如何利用继承来扩展功能。Stream 通过继承 EventEmitter，实现了更简洁的 class 写法，未来可能进一步简化。

       此外，文章还讨论了私有属性的使用，以及简易版 EventEmitter 的实现。简易版 EventEmitter 基本逻辑简洁，但不包含参数校验、异常处理和性能优化等生产环境所需的功能。实际生产环境中的 EventEmitter 实现则需额外处理这些复杂情况。

node-mon.setupOutgoing的实现；其次，stream的实现；最后，查看源码了解web-outgoing模块对代理响应的处理。setRedirectHostRewrite函数的代码实现也在这里。

       在websocket请求中，this.wsPasses任务队列包含四种处理函数：checkMethodAndHeader, XHeaders, stream。stream函数的处理流程同上。

       http-proxy-middleware和nokit-filter-proxy库都使用了node-http-proxy来实现服务器代理功能。http-proxy-middleware库的源码解读可以参考相关文章。nokit-filter-proxy库用于为nokit服务器添加代理功能，它是通过绑定onRequest事件函数来实现请求的拦截和转发的。

       这两篇文章都是在作者整理完proxy设计模式后整理的。由于作者水平有限，文章中可能存在错误或不足之处，欢迎读者批评指正。

nodejs之setImmediate源码分析

       在lib/timer.js文件中，setImmediate函数创建了一个回调队列，等待调用者提供的回调函数执行。这个队列的处理由setImmediateCallback函数负责，该函数在timer_wrapper.cc文件中定义，接受processImmediate作为参数。在setImmediateCallback函数内部，回调信息被保存在环境env中。

       具体实现中，set_immediate_callback_function宏定义了在env中保存回调函数的函数。此函数在env.cc的CheckImmediate中执行，而CheckImmediate的执行时机是在Environment::Start阶段，由uv_check_start函数在libuv库中负责。

       uv_check_start函数将一个handle添加到loop的队列中，然后在uv_run循环中执行注册的CheckImmediate函数。此函数最终会调用nodejs的processImmediate函数，实现setImmediate的回调执行。

       需要注意的是，setImmediate与setTimeout的执行顺序并不确定。在uv_run中，定时器的代码比uvrun_check早执行，但在执行完定时器后，若在uv__run_check之前新增定时器和执行setImmediate，setImmediate的回调会优先执行。