1.String源码分析(1)--哈希篇
2.Alluxio 客户端源码分析
3.宇宙最强开源破解密码利器：Hashcat 第一篇
4.php Mhash安装/配置
5.Redis7.0源码阅读：哈希表扩容、哈希哈希缩容以及rehash
6.Hermes源码分析（二）——解析字节码

String源码分析(1)--哈希篇

       本文基于JDK1.8，源码源码从Java中==符号的搭建使用开始，解释了它判断的算法是对象的内存地址而非内容是否相等。接着，哈希哈希通过分析String类的源码源码edm系统源码equals()方法实现，说明了在比较字符串时，搭建应使用equals()而非==，算法因为equals()方法可以准确判断字符串内容是哈希哈希否相等。

       深入探讨了String类作为“值类”的源码源码特性，即它需要覆盖Object类的搭建equals()方法，以满足比较字符串时逻辑上相等的算法需求。同时，哈希哈希强调了在覆盖equals()方法时也必须覆盖hashCode()方法，源码源码以确保基于散列的搭建集合（如HashMap、HashSet和Hashtable）可以正常工作。解释了哈希码（hashcode）在将不同的输入映射成唯一值中的作用，以及它与字符串内容的关系。

       在分析String类的hashcode()方法时，介绍了计算哈希值的公式，包括使用这个奇素数的原因，以及其在计算性能上的优势。进一步探讨了哈希碰撞的概念及其产生的影响，提出了防止哈希碰撞的有效方法之一是扩大哈希值的取值空间，并介绍了生日攻击这一概念，解释了它如何在哈希空间不足够大时制造碰撞。

       最后，总结了哈希碰撞与散列表性能的关系，以及在满足安全与成本之间找到平衡的重要性。提出了确保哈希值的最短长度的考虑因素，并提醒读者在理解和学习JDK源码时，可以关注相关公众号以获取更多源码分析文章。

Alluxio 客户端源码分析

       Alluxio是一个用于云分析和人工智能的开源数据编排技术，作为分布式文件系统，采用与HDFS相似的主从架构。系统中包含一个或多个Master节点存储集群元数据信息，以及Worker节点管理缓存的数据块。本文将深入分析Alluxio客户端的实现。

       创建客户端逻辑在类alluxio.client.file.FileSystem中，简单示例代码如下。

       客户端初始化包括调用FileSystem.Context.create创建客户端对象的上下文，在此过程中需要初始化客户端以创建与Master和Worker连接的连接池。若启用了配置alluxio.user.metrics.collection.enabled，将启动后台守护线程定时与Master节点进行心跳传输监控指标信息。同时，滚动播报源码客户端初始化时还会创建负责重新初始化的后台线程，定期从Master拉取配置文件的哈希值，若Master节点配置发生变化，则重新初始化客户端，期间阻塞所有请求直到重新初始化完成。

       创建具有缓存功能的客户端在客户端初始化后，调用FileSystem.Factory.create进行客户端创建。客户端实现分为BaseFileSystem、MetadataCachingBaseFileSystem和LocalCacheFileSystem三种，其中MetadataCachingBaseFileSystem和LocalCacheFileSystem对BaseFileSystem进行封装，提供元数据和数据缓存功能。BaseFileSystem的调用主要分为三大类：纯元数据操作、读取文件操作和写入文件操作。针对元数据操作，直接调用对应GRPC接口（例如listStatus）。接下来，将介绍客户端如何与Master节点进行通信以及读取和写入的流程。

       客户端需要先通过MasterInquireClient接口获取主节点地址，当前有三种实现：PollingMasterInquireClient、SingleMasterInquireClient和ZkMasterInquireClient。其中，PollingMasterInquireClient是针对嵌入式日志模式下选择主节点的实现类，SingleMasterInquireClient用于选择单节点Master节点，ZkMasterInquireClient用于Zookeeper模式下的主节点选择。因为Alluxio中只有主节点启动GRPC服务，其他节点连接客户端会断开，PollingMasterInquireClient会依次轮询所有主节点，直到找到可以连接的节点。之后，客户端记录该主节点，如果无法连接主节点，则重新调用PollingMasterInquireClient过程以连接新的主节点。

       数据读取流程始于BaseFileSystem.openFile函数，首先通过getStatus向Master节点获取文件元数据，然后检查文件是否为目录或未写入完成等条件，若出现异常则抛出异常。寻找合适的Worker节点根据getStatus获取的文件信息中包含所有块的信息，通过偏移量计算当前所需读取的块编号，并寻找最接近客户端并持有该块的Worker节点，从该节点读取数据。判断最接近客户端的Worker逻辑位于BlockLocationUtils.nearest，考虑使用domain socket进行短路读取时的Worker节点地址一致性。根据配置项alluxio.worker.data.server.domain.socket.address，判断每个Worker使用的便签响铃源码domain socket路径是否一致。如果没有使用域名socket信息寻找到最近的Worker节点，则根据配置项alluxio.user.ufs.block.read.location.policy选择一个Worker节点进行读取。若客户端和数据块在同一节点上，则通过短路读取直接从本地文件系统读取数据，否则通过与Worker节点建立GRPC通信读取文件。

       如果无法通过短路读取数据，客户端会回退到使用GRPC连接与选中的Worker节点通信。首先判断是否可以通过domain socket连接Worker节点，优先选择使用domain socket方式。创建基于GRPC的块输入流代码位于BlockInStream.createGrpcBlockInStream。通过GRPC进行连接时，每次读取一个chunk大小并缓存chunk，减少RPC调用次数提高性能，chunk大小由配置alluxio.user.network.reader.chunk.size.bytes决定。

       读取数据块完成后或出现异常终止，Worker节点会自动释放针对该块的写入锁。读取异常处理策略是记录失败的Worker节点，尝试从其他Worker节点读取，直到达到重试次数上限或没有可用的Worker节点。

       若无法通过本地Worker节点读取数据，则客户端尝试发起异步缓存请求。若启用了配置alluxio.user.file.passive.cache.enabled且存在本地Worker节点，则向本地Worker节点发起异步缓存请求，否则向负责读取该块数据的Worker节点发起请求。

       数据写入流程首先向Master节点发送CreateFile请求，Master验证请求合法性并返回新文件的基本信息。根据不同的写入类型，进行不同操作。如果是THROUGH或CACHE_THROUGH等需要直接写入底层文件系统的写入类型，则选择一个Worker节点处理写入到UFS的数据。对于MUST_CACHE、CACHE_THROUGH、ASYNC_THROUGH等需要缓存数据到Worker节点上的写入类型，则打开另一个流负责将每个写入的块缓存到不同的Worker上。写入worker缓存块流程类似于读取流程，若写入的Worker与客户端在同一个主机上，则使用短路写直接将块数据写入Worker本地，无需通过网络发送到Worker上。数据完成写入后，客户端向Master节点发送completeFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的php收费源码块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。

宇宙最强开源破解密码利器：Hashcat 第一篇

       Hashcat被誉为宇宙最强的开源密码破解工具，拥有针对Windows、Mac和Linux系统的版本，支持多种计算核心如CPU、GPU、APU、DSP和FPGA。它能处理的hash散列算法多样，能够破解rar、office、pdf、windows账户、wifi等多种密码。本文将指导您在Windows 系统下安装和配置Hashcat，并展示具体密码破解方法和密码保护技巧。

       开始，访问Hashcat官网下载最新版本的软件包，这里推荐使用v6.1.1，确保下载hashcat binaries，它已经包含了直接运行的exe可执行文件。对于hashcat sources，您需要利用类似的MinGW工具将其源码编译成可执行文件。下载完毕后，直接在软件包主目录下使用命令行运行Hashcat。运行时请确保已切换到Hashcat主目录。使用测试电脑配置进行Hashcat的探索。

       在进行密码破解时，John the Ripper是一个常用的辅助工具，用于获取加密文件的d论坛源码Hash值。下载对应版本john-1.9.0，并配置所需的python和perl环境。通过命令行运行John the Ripper进行密码破解，注意调整相应的环境变量。

       使用Hashcat破解密码的步骤包括查看命令行帮助和使用Hashcat的wiki文档。前者提供常用命令的概览，后者则详细介绍攻击类型、哈希类型对照表、掩码设置和平台支持。如有疑问，可以直接联系Hashcat团队。

       接下来，通过指令`hashcat -b`测试笔记本的算力。针对rar、office、pdf等加密文件，采用掩码攻击方法，而zip文件则使用字典攻击。具体操作包括创建测试rar文件，使用John the Ripper获取哈希值，然后在Hashcat中输入命令进行破解。结果将实时显示在控制台上，并输出到指定文件中。

       本文展示了使用Hashcat对rar、zip、pdf和word加密文件的破解过程，包括字典破解和掩码破解。在实际应用中，应首先尝试字典破解，当现有字典无效时，可考虑使用暴力或掩码组合破解。随着密码复杂度的增加，破解难度将成指数级增长。未来，将继续深入研究Hashcat的密码破解技术，并分享密码设置的最佳实践。

php Mhash安装/配置

       在Linux环境下，为了安装和配置PHP Mhash库，你需要首先访问Mhash的官方网站进行下载，并对源代码进行编译。在执行编译过程时，使用命令行参数`-with mhash=DIR`来开启Mhash扩展，DIR代表Mhash源代码的目录位置。从PHP 5.3.0版本开始，Mhash扩展被集成用于模拟哈希扩展，这意味着无需考虑Mhash安装目录的效果，只需启用扩展支持即可。

       下面是一个Linux安装Mhash的示例步骤：

       使用`gunzip`解压下载的Mhash源代码文件。

       执行`tar`命令来解压并创建目录。

       运行`./configure`脚本，并在命令中添加`-with-mhash=[dir]`参数，这里的[dir]是Mhash源代码的目录路径。

       使用`make`命令编译源代码。

       执行`make install`命令将编译后的库安装到系统中。

       运行`phpinfo()`函数后，Mhash扩展应被显示在信息页面上。

       在Windows操作系统中，你无需编译源代码。首先，确保将PHP集合包中的`dlls`目录下的已编译`libmhash.dll`文件复制到系统路径变量下或Apache等Web服务器的安装目录中。接着，打开`php.ini`文件，取消`extension=php_mhash.dll`前的注释即可。

Redis7.0源码阅读：哈希表扩容、缩容以及rehash

       当哈希值相同发生冲突时，Redis 使用链表法解决，将冲突的键值对通过链表连接，但随着数据量增加，冲突加剧，查找效率降低。负载因子衡量冲突程度，负载因子越大，冲突越严重。为优化性能，Redis 需适时扩容，将新增键值对放入新哈希桶，减少冲突。

       扩容发生在 setCommand 部分，其中 dictKeyIndex 获取键值对索引，判断是否需要扩容。_dictExpandIfNeeded 函数执行扩容逻辑，条件包括：不在 rehash 过程中，哈希表初始大小为0时需扩容，或负载因子大于1且允许扩容或负载因子超过阈值。

       扩容大小依据当前键值对数量计算，如哈希表长度为4，实际有9个键值对，扩容至（最小的2的n次幂大于9）。子进程存在时，dict_can_resize 为0，反之为1。fork 子进程用于写时复制，确保持久化操作的稳定性。

       哈希表缩容由 tryResizeHashTables 判断负载因子是否小于0.1，条件满足则重新调整大小。此操作在数据库定时检查，且无子进程时执行。

       rehash 是为解决链式哈希效率问题，通过增加哈希桶数量分散存储，减少冲突。dictRehash 函数完成这一任务，移动键值对至新哈希表，使用位运算优化哈希计算。渐进式 rehash 通过分步操作，减少响应时间，适应不同负载情况。定时任务检测服务器空闲时，进行大步挪动哈希桶。

       在 rehash 过程中，数据查询首先在原始哈希表进行，若未找到，则在新哈希表中查找。rehash 完成后，哈希表结构调整，原始表指向新表，新表内容返回原始表，实现 rehash 结果的整合。

       综上所述，Redis 通过哈希表的扩容、缩容以及 rehash 动态调整哈希桶大小，优化查找效率，确保数据存储与检索的高效性。这不仅提高了 Redis 的性能，也为复杂数据存储与管理提供了有力支持。

Hermes源码分析（二）——解析字节码

        前面一节 讲到字节码序列化为二进制是有固定的格式的，这里我们分析一下源码里面是怎么处理的

        这里可以看到首先写入的是魔数，他的值为

        对应的二进制见下图，注意是小端字节序

        第二项是字节码的版本，笔者的版本是，也即 上图中的4a

        第三项是源码的hash，这里采用的是SHA1算法，生成的哈希值是位，因此占用了个字节

        第四项是文件长度，这个字段是位的，也就是下图中的为0aa，转换成十进制就是，实际文件大小也是这么多

        后面的字段类似，就不一一分析了，头部所有字段的类型都可以在BytecodeFileHeader.h中看到，Hermes按照既定的内存布局把字段写入后再序列化，就得到了我们看到的字节码文件。

        这里写入的数据很多，以函数头的写入为例，我们调用了visitFunctionHeader方法，并通过byteCodeModule拿到函数的签名，将其写入函数表（存疑，在实际的文件中并没有看到这一部分）。注意这些数据必须按顺序写入，因为读出的时候也是按对应顺序来的。

        我们知道react-native 在加载字节码的时候需要调用hermes的prepareJavaScript方法， 那这个方法做了些什么事呢？

        这里做了两件事情：

        1. 判断是否是字节码，如果是则调用createBCProviderFromBuffer，否则调用createBCProviderFromSrc，我们这里只关注createBCProviderFromBuffer

        2.通过BCProviderFromBuffer的构造方法得到文件头和函数头的信息（populateFromBuffer方法），下面是这个方法的实现。

        BytecodeFileFields的populateFromBuffer方法也是一个模版方法，注意这里调用populateFromBuffer方法的是一个 ConstBytecodeFileFields对象，他代表的是不可变的字节码字段。

        细心的读者会发现这里也有visitFunctionHeaders方法， 这里主要为了复用visitBytecodeSegmentsInOrder的逻辑，把populator当作一个visitor来按顺序读取buffer的内容，并提前加载到BytecodeFileFields里面，以减少后面执行字节码时解析的时间。

        Hermes引擎在读取了字节码之后会通过解析BytecodeFileHeader这个结构体中的字段来获取一些关键信息，例如bundle是否是字节码格式，是否包含了函数，字节码的版本是否匹配等。注意这里我们只是解析了头部，没有解析整个字节码，后面执行字节码时才会解析剩余的部分。

        evaluatePreparedJavaScript这个方法，主要是调用了HermesRuntime的 runBytecode方法，这里hermesPrep时上一步解析头部时获取的BCProviderFromBuffer实例。

        runBytecode这个方法比较长，主要做了几件事情：

        这里说明一下，Domain是用于垃圾回收的运行时模块的代理， Domain被创建时是空的，并跟随着运行时模块进行传播， 在运行时模块的整个生命周期内都一直存在。在某个Domain下创建的所有函数都会保持着对这个Domain的强引用。当Domain被回收的时候，这个Domain下的所有函数都不能使用。

        未完待续。。。

PostgreSQL-源码学习笔记(5)-索引

       索引是数据库中的关键结构，它加速了查询速度，尽管会增加内存和维护成本，但效益通常显著。在PG中，索引类型丰富多样，包括B-Tree、Hash、GIST、SP-GIST、GIN和BGIN。所有索引本质上都是独立的数据结构，与数据表并存。

       查询时，没有索引会导致全表扫描，效率低下。创建索引可以快速定位满足条件的元组，显著提升查询性能。PG中的索引操作函数，如pg_am中的注册，为上层模块提供了一致的接口，这些函数封装在IndexAmRoutine和IndexScanDesc中。

       B-Tree索引采用Lehman和Yao的算法，每个非根节点有兄弟指针，页面包含"high key"，用于快速扫描。PG的B-Tree构建和维护流程涉及BTBuildState、spool、元页信息等结构，包括创建、插入、扫描等操作。

       哈希索引在硬盘上实现，支持故障恢复。它的页面结构复杂，包括元页、桶页、溢出页和位图页。插入和扫描索引元组时，需要动态管理元页缓存以提高效率。

       GiST和GIN索引提供了更大的灵活性，支持用户自定义索引方法。GiST适用于通用搜索，而GIN专为复合值索引设计，支持全文搜索。它们在创建时需要实现特定的访问方法和函数。

       尽管索引维护有成本，但总体上，它们对提高查询速度的价值不可忽视。了解并有效利用索引是数据库优化的重要环节。

如何在Ubuntu . / . LTS上安装Hashcat

       Hashcat是一款专为安全审计设计的高级密码恢复工具，支持各种哈希算法，具备广泛密码破解选项。最初为专有工具，但已转为开源。本文将指导您在Ubuntu Linux系统上安装Hashcat，适用于Ubuntu .、.及更高版本。安装前需确保系统具备互联网连接并具有sudo访问权限。

       开始系统更新

       在Ubuntu Linux上启动命令终端（快捷键Ctrl+Alt+T）。执行更新命令更新软件包。

       安装Hashcat

       Ubuntu默认系统存储库提供Hashcat所需软件包。执行命令安装Hashcat及其依赖项。

       检查版本确认安装

       安装完成后，检查版本以确认Hashcat已成功安装。

       源代码安装（可选）

       不想使用APT，希望安装最新Hashcat版本的用户可从源代码编译。步骤如下：

       安装开发工具

       克隆Hashcat Git存储库

       切换到Hashcat目录

       编译代码

       安装Hashcat

       编译完成后，执行命令安装Hashcat，系统将配置必需文件。

       重新加载会话

       检查版本以确保Hashcat正确安装。

       使用Hashcat

       运行命令查看可用选项。更多详细信息，请访问官方维基页面。

       其他文章