皮皮网

1.Redis 核核心源码分析字典（dict）
2.Redis 实现分布式锁 +Redisson 源码解析
3.Redis源码剖析之数据过期(expire)
4.Redis 源码剖析 3 -- redisCommand
5.Redis radix tree 源码解析
6.Redis源码从哪里读起？

Redis 源码分析字典（dict）

       Redis 的内部字典世界：从哈希表到高效管理的深度解析

       Redis，作为开源的心源高性能键值存储系统，其内部实现的原理字典数据结构是其核心组件之一。这个数据结构采用自定义的实战哈希表——dictEntry，巧妙地存储和管理着键值对。核核心让我们一起深入理解这一强大工具的心源goagent 源码运作机制。

       首先，原理Redis的实战字典是基于哈希表的，通过哈希函数将键转换为数组索引，核核心实现高效查找。心源dictEntry结构巧妙地封装了键（key）、原理值（value）以及指向下一个节点的实战指针，构成了数据存储的核核心基本单元。同时，心源dict包含一系列操作函数，原理包括哈希计算、键值复制、比较以及销毁操作，这些函数的指针类型（dictType）和实际数据结构共同构建了其高效性能。

       在字典的管理中，rehash是一个关键概念，它标志着哈希表的重新分布过程。rehash标志是一个计数器，用于跟踪当前哈希表实例的状态，确保在负载过高时进行扩容。当ht_used[0]非零，且满足特定条件（如元素数量超过初始桶数），服务器会触发resize操作，这通常在serverCron定时任务中进行，以避免磁盘I/O竞争。

       rehash过程中，Redis采取渐进式策略，通过dictRehash函数，逐个移动键值对到新哈希表，确保操作的线程安全。为了避免长时间阻塞，这个过程被分散到函数中，并通过serverCron定时任务，以毫秒级的步长进行，确保在无磁盘写操作时进行。

       在处理过期键时，dictRehashMilliseconds()函数扮演重要角色，它在rehash时监控时间消耗，确保性能。rehash过程中，dictAdd负责插入新哈希表，而dictFind和dictDelete则需处理ht_table[0]和ht_table[1]的键值对。

       Redis的默认哈希算法采用SipHash，保证了数据的分布均匀性。在持久化时，负载因子默认设置为5，预定车票前端源码而rehash后，数据结构会采用迭代器的形式，分为安全和非安全两种，以满足不同场景的需求。

       在实际操作中，如keysCommand，会选择安全模式以避免重复遍历，而在处理大规模数据时，如scan命令，可能需要使用非安全模式，但需注意可能带来的问题。

       总的来说，Redis的字典数据结构是其高效性能的基石，通过精细的哈希管理、rehash策略以及迭代器设计，确保了在高并发和频繁操作下的稳定性和性能。深入理解这些内部细节，对于优化Redis性能和应对复杂应用场景至关重要。

Redis 实现分布式锁 +Redisson 源码解析

       在一些场景中，多个进程需要以互斥的方式独占共享资源，这时分布式锁成为了一个非常有用的工具。

       随着互联网技术的快速发展，数据规模在不断扩大，分布式系统变得越来越普遍。一个应用往往会部署在多台机器上（多节点），在某些情况下，为了保证数据不重复，同一任务在同一时刻只能在一个节点上运行，即确保某一方法在同一时刻只能被一个线程执行。在单机环境中，应用是在同一进程下的，仅需通过Java提供的 volatile、ReentrantLock、synchronized 及 concurrent 并发包下的线程安全类等来保证线程安全性。而在多机部署环境中，不同机器不同进程，需要在多进程下保证线程的安全性，因此分布式锁应运而生。

       实现分布式锁的三种主要方式包括：zookeeper、Redis和Redisson。这三种方式都可以实现分布式锁，但基于Redis实现的性能通常会更好，具体选择取决于业务需求。

       本文主要探讨基于Redis实现分布式锁的方案，以及分析对比Redisson的RedissonLock、RedissonRedLock源码。

       为了确保分布式锁的可用性，实现至少需要满足以下四个条件：互斥性、过期自动解锁、请求标识和正确解锁。vgg源码不收敛实现方式通过Redis的set命令加上nx、px参数实现加锁，以及使用Lua脚本进行解锁。实现代码包括加锁和解锁流程，核心实现命令和Lua脚本。这种实现方式的主要优点是能够确保互斥性和自动解锁，但存在单点风险，即如果Redis存储锁对应key的节点挂掉，可能会导致锁丢失，导致多个客户端持有锁的情况。

       Redisson提供了一种更高级的实现方式，实现了分布式可重入锁，包括RedLock算法。Redisson不仅支持单点模式、主从模式、哨兵模式和集群模式，还提供了一系列分布式的Java常用对象和锁实现，如可重入锁、公平锁、联锁、读写锁等。Redisson的使用方法简单，旨在分离对Redis的关注，让开发者更专注于业务逻辑。

       通过Redisson实现分布式锁，相比于纯Redis实现，有更完善的特性，如可重入锁、失败重试、最大等待时间设置等。同时，RedissonLock同样面临节点挂掉时可能丢失锁的风险。为了解决这个问题，Redisson提供了实现了RedLock算法的RedissonRedLock，能够真正解决单点故障的问题，但需要额外为RedissonRedLock搭建Redis环境。

       如果业务场景可以容忍这种小概率的错误，推荐使用RedissonLock。如果无法容忍，推荐使用RedissonRedLock。此外，RedLock算法假设存在N个独立的Redis master节点，并确保在N个实例上获取和释放锁，以提高分布式系统中的可靠性。

       在实现分布式锁时，还需要注意到实现RedLock算法所需的Redission节点的搭建，这些节点既可以是单机模式、主从模式、哨兵模式或集群模式，以确保在任一节点挂掉时仍能保持分布式锁的ubuntu源码安装kodi可用性。

       在使用Redisson实现分布式锁时，通过RedissonMultiLock尝试获取和释放锁的核心代码，为实现RedLock算法提供了支持。

Redis源码剖析之数据过期(expire)

       通过对线上数据访问时间分布的统计发现，大部分请求只访问最新分钟或1小时的数据，极少访问超过1天的数据。这使得我们在存储数据时可以优化过期时间，例如将过期时间从2天缩短到1天，从而节省大量 Redis 实例资源，节省内存使用量和成本。

       Redis 自动清理过期数据的机制可以有效节省资源，而没有自动过期机制时，实现数据清理将非常复杂。自动过期功能不仅简化了操作，还能节省成本，体现了其在缓存系统中的重要性。

       Redis 在处理请求时，会检查 key 是否过期。在 dictEntry 结构中存储了上次更新时间戳，通过比较当前时间与更新时间戳之间的差值与设定的过期时间，判断 key 是否过期。

       Redis 提供了懒惰删除功能，即在开启配置项后，会异步处理数据删除任务，防止阻塞主线程。然而，实际实现并非完全异步，而是结合了同步和异步机制，以优化性能。

       为了解决数据写入后长时间无访问导致的资源占用问题，Redis 实现了定期抽样删除策略。通过单线程执行的核心流程，Redis 无法长时间暂停执行其他工作，因此定期清理时仅做少量操作，以避免长时间阻塞。

       Redis 数据过期策略简单，但需考虑性能影响。配置过期时间应根据业务需求和数据特性调整，以实现最佳性能和资源利用。

       本文深入探讨了 Redis 过期数据的实现，包括实时清理、惰性删除和定期抽样删除策略。同时提供了 Redis 中文注释版和源码剖析专栏链接，欢迎关注和学习。如有帮助，欢迎一键三连支持。

Redis 源码剖析 3 -- redisCommand

       Redis 使用 redisCommand 结构体处理命令请求，其内包含一个指向对应处理函数的 proc 指针。redisCommandTable 是一个存储所有 Redis 命令的数组，位于 server.c 文件中。opencv源码分析pdf此数组通过 populateCommandTable() 函数填充，该函数将 redisCommandTable 的内容添加到 server.commands 字典，将 Redis 支持的所有命令及其实现整合。

       populateCommandTable() 函数中包含 populateCommandTableParseFlags() 子函数，用于将 sflags 字符串转换为对应的 flags 值。lookupCommand*() 函数族负责从 server.commands 中查找相应的命令。

Redis radix tree 源码解析

       Redis 实现了不定长压缩前缀的 radix tree，用于集群模式下存储 slot 对应的所有 key 信息。本文解析在 Redis 中实现 radix tree 的核心内容。

       核心数据结构的定义如下：

       每个节点结构体 (raxNode) 包含了指向子节点的指针、当前节点的 key 的长度、以及是否为叶子节点的标记。

       以下是插入流程示例：

       场景一：仅插入 "abcd"。此节点为叶子节点，使用压缩前缀。

       场景二：在 "abcd" 之后插入 "abcdef"。从 "abcd" 的父节点遍历至压缩前缀，找到 "abcd" 空子节点，插入 "ef" 并标记为叶子节点。

       场景三：在 "abcd" 之后插入 "ab"。ab 为 "abcd" 的前缀，插入 "ab" 为子节点，并标记为叶子节点。同时保留 "abcd" 的前缀结构。

       场景四：在 "abcd" 之后插入 "abABC"。ab 为前缀，创建 "ab" 和 "ABC" 分别为子节点，保持压缩前缀结构。

       删除流程则相对简单，找到指定 key 的叶子节点后，向上遍历并删除非叶子节点。若删除后父节点非压缩且大小大于1，则需处理合并问题，以优化树的高度。

       合并的条件涉及：删除节点后，检查父节点是否仍为非压缩节点且包含多个子节点，以此决定是否进行合并操作。

       结束语：云数据库 Redis 版提供了稳定可靠、性能卓越、可弹性伸缩的数据库服务，基于飞天分布式系统和全SSD盘高性能存储，支持主备版和集群版高可用架构。提供全面的容灾切换、故障迁移、在线扩容、性能优化的数据库解决方案，欢迎使用。

Redis源码从哪里读起？

       如果你正寻求理解Redis源码的路径，本文为你提供了一个全面的指南。Redis 是使用 C 语言构建的，因此，我们从 main 函数开始，深入探索其核心逻辑。在阅读过程中，我们应聚焦于从外部命令输入到内部执行流程的路径，逐步理解 Redis 的工作原理。

       理解事件机制对于深入 Redis 的核心至关重要。通过 Redis 的事件循环，我们可以实现单线程环境下的高效处理多任务的能力。这一机制允许 Redis 以线程安全的方式处理大量请求，同时在执行后台任务时保持响应速度。事件循环与系统提供的异步 I/O 多路复用机制相结合，确保了 CPU 资源的高效利用，避免了并发执行的复杂性。

       在讨论事件循环时，我们重点关注了两个阶段：初始化和事件处理。初始化阶段涉及配置和数据加载，而事件处理阶段则负责响应客户端请求、执行命令以及周期性任务的调度。通过事件循环，Redis 实现了在单一线程下处理多个请求的高效运行模式。

       理解 Redis 命令请求的处理流程是整个指南的关键部分。当客户端向 Redis 发送命令时，流程分为两个阶段：连接建立和命令执行与响应。连接建立阶段由事件循环触发，而命令执行与响应阶段则涉及读取客户端发送的数据，执行命令并返回结果。这一过程通过特定的回调函数实现，确保了命令处理的高效和线程安全。

       此外，我们还讨论了 Redis 的事件机制，即事件驱动程序库 ae.c，它在不同操作系统上支持多种 I/O 多路复用机制。在选择底层机制时，Redis 优先考虑后三种更现代、高效的方案，例如 macOS 上的 kqueue 和 Linux 上的 epoll。理解这些机制对于实现高性能网络服务至关重要。

       为了帮助读者在阅读 Redis 源码时构建清晰的思维路径，我们提供了一个树型图展示关键函数之间的调用关系。这张图基于 Redis 源码的 5.0 分支，详细地展示了初始化、事件处理、命令请求处理等关键流程的调用顺序。

       最后，本文提供的参考文献旨在为读者提供进一步学习的资源。对于希望深入理解 Redis 源码并学习 C 语言编程经验的读者，这些资源将起到重要作用。总的来说，本文旨在为那些希望从源头上理解 Redis 工作机制的技术爱好者提供一个全面、系统化的指南。

Redis源码阅读（1）——zmalloc

       zmalloc是一个简化内存分配的库，包含以下API函数：

       zmalloc

       zcalloc

       zrealloc

       zfree

       zstrdup

       zmalloc_used_memory

       zmalloc_set_oom_handler

       zmalloc_get_rss

       zmalloc_get_allocator_info

       zmalloc_get_private_dirty

       zmalloc_get_smap_bytes_by_field

       zmalloc_get_memory_size

       zlibc_free

       其中，zmalloc用于分配内存，zcalloc在分配内存的同时初始化为0，zrealloc用于重新分配内存，zfree用于释放内存，zstrdup用于复制字符串并分配内存，zmalloc_used_memory用于获取已分配内存的大小，zmalloc_set_oom_handler用于设置内存溢出处理器，zmalloc_get_rss用于获取当前进程的内存使用量，zmalloc_get_allocator_info用于获取分配器信息，zmalloc_get_private_dirty用于获取私有脏数据，zmalloc_get_smap_bytes_by_field用于获取指定字段的内存使用量，zmalloc_get_memory_size用于获取内存大小，zlibc_free用于释放内存。

       在zmalloc中，宏函数update_zmalloc_stat_alloc用于更新used_memory的值。这个宏函数中的if语句用于补齐分配的内存字节数到sizeof(long)，但是我不太理解5.0源码中为什么atomicIncr使用的是__n而不是直接对_n进行操作。测试发现，used_memory的值并未对齐到8，那么if语句的存在意义何在呢？

       同样地，update_zmalloc_stat_free宏函数用于更新已释放内存的统计信息。与update_zmalloc_stat_alloc相比，虽然malloc_usable_size已经返回精确的字节数，但update_zmalloc_stat_alloc为何不直接使用atomicIncr更新used_memory呢？在Unstable分支中，已有开发者对此进行了优化。

Redis 主从复制 - 源码梳理

       本文主要剖析Redis主从复制机制中的核心组件之一——复制积压缓冲区（Replication Buffer），旨在为读者提供一个对Redis复制流程和缓冲区机制深入理解的平台，以下内容仅基于Redis版本7.0.，若读者在使用过程中发现偏差，欢迎指正。

       复制积压缓冲区在逻辑上可理解为一个容量最大的位整数，其初始值为1，由offset、master_repl_offset和repl_backlog-histlen三个变量共同决定缓冲区的有效范围。offset表示缓冲区内命令起始位置，master_repl_offset代表结束位置，二者之间的长度由repl_backlog-histlen表示。

       每当主节点执行写命令，新生成的积压缓冲区大小增加，同时增加master_repl_offset和repl_backlog-histlen的值，直至达到预设的最大容量（默认为1MB）。一旦所有从节点接收到命令并确认同步无误，缓冲区内过期的命令将被移除，并调整offset和histlen以维持积压区容量的稳定性。

       为实现动态分配，复制积压缓冲区被分解成多个block，以链表形式组织。每个block采用引用计数管理策略，初始值为0，每当增加或删除从节点对block的引用时，计数值相应增减。新生成block时，将master_repl_offset+1设置为block的repl_offset值，并将写入命令拷贝至缓冲区内，与此同时，master_repl_offset和repl_backlog-histlen增加。

       通过循环遍历所有从节点，为每个从节点设置ref_repl_buf_node指向当前block或最后一个block，确保主从复制能够准确传递命令。当主节点接收到从节点的连接请求时，将开始填充积压缓冲区。在全量复制阶段，从slave-replstate为WAIT_BGSAVE_START至ONLINE，表示redis从后台进程开始执行到完成RDB文件传输和加载，命令传播至此阶段正式开始。

       针对每个从节点，主节点从slave-ref_block_pos开始发送积压缓冲区内的命令，每发送成功，slave-ref_block_pos相应更新。当积压缓冲区超过预设阈值，即复制积压缓冲区中的有效长度超过repl-backlog-size（默认1MB）时，主节点将清除已发送的缓冲区，释放内存。如果主节点写入命令频繁或从节点断线重连时间长，则需合理调整缓冲区大小（推荐值为2 * second * write_size_per_second）以保持增量复制的稳定运行。

       当最后一个从节点与主节点的连接断开超过repl-backlog-ttl（默认为秒）时，主节点将释放repl_backlog和复制积压缓冲区以确保资源的有效使用。不过需要注意的是，从节点的释放操作依赖于节点是否可能成为新的主节点，因此在最后处理逻辑上需保持谨慎。

Redis源码解析：一条Redis命令是如何执行的？

       作者：robinhzhang

       Redis，一个开源内存数据库，凭借其高效能和广泛应用，如缓存、消息队列和会话存储，本文将带你探索其命令执行的底层流程。本文将以源码解析的形式，逐层深入Redis的核心结构和命令执行过程，旨在帮助开发者理解实现细节，提升编程技术和设计意识。

       源码结构概览

       在学习Redis源代码之前，首先要了解其主要的组成部分：redisServer、redisClient、redisDb、redisObject以及aeEventLoop。这些结构体和事件模型构成了Redis的核心架构。

       redisServer：服务端运行的核心结构，包括监听socket、数据存储的redisDb列表和客户端连接信息。

       redisClient：客户端连接状态的存储，包括命令处理缓冲区、回复数据列表和数据库句柄。

       redisDb：键值对的数据存储，采用两个哈希表实现渐进式rehash。

       redisObject：存储对象的通用表示，包含引用计数和LRU时间，用于内存管理。

       aeEventLoop：事件循环，管理文件和时间事件的处理。

       核心流程详解

       Redis的执行流程从main函数开始，首先初始化配置和服务器组件，进入主循环处理事件。命令执行流程涉及redis启动、客户端连接、接收命令和返回结果四个步骤：

       启动阶段：创建socket服务器，注册可读事件，进入主循环。

       连接阶段：客户端连接后，接收并处理命令，创建客户端实例。

       命令阶段：客户端发送命令，服务端解析并调用对应的命令处理函数。

       结果阶段：处理命令后，根据协议格式构建回复并写回客户端。

       渐进式rehash与内存管理

       Redis的内存管理采用引用计数法，通过对象的refcount字段控制内存分配和释放。rehash操作在Redis 2.x版本引入，通过逐步迁移键值对，降低对单线程性能的影响。当负载达到阈值，会进行扩容，这涉及新表的创建和键值对的迁移。

       总结

       本文通过Redis源码分析，揭示了其命令执行的细节，包括启动流程、客户端连接、命令处理和结果返回，以及内存管理策略。这将有助于开发者深入理解Redis的工作原理，提升编程效率和设计决策能力。

Redis 又双叒叕改开源协议了，微软提前推出高性能替代方案 Garnet

       Redis 商业公司 CEO Rowan Trollope 在官方博客宣布了一个重大变化：Redis 核心软件将从 BSD 3-Clause 许可证过渡至 RSALv2 或 SSPLv1 双重许可证模式，从 Redis v7.4 版本开始，覆盖所有后续版本。新的许可证模式为 Redis 带来全新的使用框架，同时可能影响开源生态。

       BSD 3-Clause 许可证，是一种宽松的开源许可证，允许源代码的自由使用、修改和分发。然而，RSALv2 和 SSPLv1 却并未获得 OSI 的正式认可。这种改变意味着 Redis 已不再是标准的开源软件。官网更新为“Redis 是源可用软件”。这并非 Redis 首次调整许可证策略。早在 年，Redis 已将部分模块许可证改为结合 Apache v2.0 和 Commons Clause 的许可证，引发社区争议。 年，Redis Labs 回应社区反馈，修改为 RSAL，允许自由使用模块，但要求基于这些模块的产品或服务获得商业许可证。 年 月，Redis 再度调整，将一些模块改为 RSAL 和商业许可证并行，以应对云服务提供商使用开源软件的商业模式问题。

       此次修改许可证的目的是回应云厂商的商业模式，确保他们为 Redis 的开发提供支持。Redis 核心项目依然保持宽松的 BSD 3-Clause 许可证，这稳定了厂商的信心。CEO 表示，此变更将使 Redis 保持领先的数据模型、处理引擎和开发者功能。然而，许可证的改变可能对使用新版本 Redis 源代码的“竞争性产品”产生影响。

       与此同时，微软推出基于兼容协议的高性能 Redis 替代方案 Garnet。Garnet 是一个高性能缓存存储系统，针对现代硬件进行了优化，能够更好地利用处理器缓存和网络特性，提供卓越的吞吐量和延迟性能。此外，国内公司如阿里云的 Tair 和 的 Pika，也开发了与 Redis 相似功能的替代品，提供了更灵活的许可证选择。

       Hacker News 社区对这些变化进行了讨论，包括许可证的灵活性与商业化的平衡问题。讨论涉及开源软件的商业化途径，如“open core”模式，但同时也关注许可证变更对开源生态和开发者的影响。面对开源与商业化之间的挑战，寻求一种既符合宽松开源许可证，又能适用于复杂程序的模式，成为当前软件行业关注的焦点。