golang map 源码解读（8问）

       map底层数据结构为hmap，码对包含以下几个关键部分：

       1. buckets - 指向桶数组的码对指针，存储键值对。码对

       2. count - 记录key的码对数量。

       3. B - 桶的码对wine源码数量的对数值，用于计算增量扩容。码对

       4. noverflow - 溢出桶的码对数量，用于等量扩容。码对

       5. hash0 - hash随机值，码对增加hash值的码对随机性，减少碰撞。码对

       6. oldbuckets - 扩容过程中的码对旧桶指针，判断桶是码对否在扩容中。

       7. nevacuate - 扩容进度值，码对小于此值的已经完成扩容。

       8. flags - 标记位，用于迭代或写操作时检测并发场景。

       每个桶数据结构bmap包含8个key和8个value，以及8个tophash值，用于第一次比对。

       overflow指向下一个桶，桶与桶形成链表存储key-value。

       结构示意图在此。

       map的初始化分为3种，具体调用的函数根据map的初始长度确定：

       1. makemap_small - 当长度不大于8时，只创建hmap，不初始化buckets。

       2. makemap - 当长度参数为int时，底层调用makemap。

       3. makemap - 初始化hash0，计算对数B，并初始化buckets。免费html源码网js

       map查询底层调用mapaccess1或mapaccess2，前者无key是否存在的bool值，后者有。

       查询过程：计算key的hash值，与低B位取&确定桶位置，获取tophash值，比对tophash，相同则比对key，获得value，否则继续寻找，直至返回0值。

       map新增调用mapassign，步骤包括计算hash值，确定桶位置，比对tophash和key值，插入元素。

       map的扩容有两种情况：当count/B大于6.5时进行增量扩容，容量翻倍，渐进式完成，每次最多2个bucket；当count/B小于6.5且noverflow大于时进行等量扩容，容量不变，但分配新bucket数组。

       map删除元素通过mapdelete实现，查找key，计算hash，找到桶，遍历元素比对tophash和key，找到后置key,value为nil，修改tophash为1。

       map遍历是无序的，依赖mapiterinit和mapiternext，选择一个bucket和offset进行随机遍历。道破天机指标公式源码

       在迭代过程中，可以通过修改元素的key,value为nil，设置tophash为1来删除元素，不会影响遍历的顺序。

concurrenthashmap1.8源码如何详细解析?

       ConcurrentHashMap在JDK1.8的线程安全机制基于CAS+synchronized实现，而非早期版本的分段锁。

       在JDK1.7版本中，ConcurrentHashMap采用分段锁机制，包含一个Segment数组，每个Segment继承自ReentrantLock，并包含HashEntry数组，每个HashEntry相当于链表节点，用于存储key、value。默认支持个线程并发，每个Segment独立，互不影响。

       对于put流程，与普通HashMap相似，首先定位至特定的Segment，然后使用ReentrantLock进行操作，后续过程与HashMap基本相同。

       get流程简单，通过hash值定位至segment，再遍历链表找到对应元素。需要注意的是，value是volatile的，因此get操作无需加锁。

       在JDK1.8版本中，线程安全的关键在于优化了put流程。首先计算hash值，遍历node数组。golang开源源码解读若位置为空，则通过CAS+自旋方式初始化。

       若数组位置为空，尝试使用CAS自旋写入数据；若hash值为MOVED，表示需执行扩容操作；若满足上述条件均不成立，则使用synchronized块写入数据，同时判断链表或转换为红黑树进行插入。链表操作与HashMap相同，链表长度超过8时转换为红黑树。

       get查询流程与HashMap基本一致，通过key计算位置，若table对应位置的key相同则返回结果；如为红黑树结构，则按照红黑树规则获取；否则遍历链表获取数据。

浅谈Golang两种线程安全的map

       文章标题：浅谈Golang两种线程安全的map

       导语：本文将深入探讨Golang中的本地缓存库选择与对比，帮助您解决困惑。

       Golang map并发读写测试：

       在Golang中，原生的map在并发场景下的读写操作是线程不安全的，无论key是否相同。具体来说，当并发读写map的不同key时，运行结果会出现并发错误，因为map在读取时会检查hashWriting标志。如果存在该标志，即表示正在写入，此时会报错。在写入时，会设置该标志：h.flags |= hashWriting。设置完成后，系统会取消该标记。

       使用-race编译选项可以检测并发问题，这是通过Golang的源码分析、文章解析和官方博客中详细解释的爱心背景墙源码。

       map+读写锁实现：

       在官方sync.map库推出之前，推荐使用map与读写锁（RWLock）的组合。通过定义一个匿名结构体变量，包含map、RWLock，可以实现读写操作。

       具体操作方法如下：从counter中读取数据，往counter中写入数据。然而，sync.map和这种实现方式有何不同？它在性能优化方面做了哪些改进？

       sync.map实现：

       sync.map使用读写分离策略，通过空间换取时间，优化了并发性能。相较于map+RWLock的实现，它在某些特定场景中减少锁竞争的可能性，因为可以无锁访问read map，并优先操作read map。如果仅操作read map即可满足需求（如增删改查和遍历），则无需操作write map，后者在读写时需要加锁。

       sync.map的源码深入分析：

       接下来，我们将着重探讨sync.Map的源码，以理解其运作原理，包括结构体Map、readOnly、entry等。

       sync.Map方法介绍：

       sync.Map提供了四个关键方法：Store、Load、Delete、Range。具体功能如下：

       Load方法：解释Map.dirty如何提升为Map.read的机制。

       Store方法：介绍tryStore函数、unexpungeLocked函数和dirtyLocked函数的实现。

       Delete方法：简单总结。

       Range方法：简单总结。

       sync.Map总结：

       sync.Map更适用于读取频率远高于更新频率的场景（appendOnly模式，尤其是key存一次，多次读取且不删除的情况），因为在key存在的情况下，读写删操作可以无锁直接访问readOnly。不建议用于频繁插入与读取新值的场景，因为这会导致dirty频繁操作，需要频繁加锁和更新read。此时，github开源库orcaman/concurrent-map可能更为合适。

       设计点：expunged：

       expunged是entry.p值的三种状态之一。当使用Store方法插入新key时，会加锁访问dirty，并将readOnly中未被标记为删除的所有entry指针复制到dirty。此时，之前被Delete方法标记为软删除的entry（entry.p被置为nil）都会变为expunged状态。

       sync.map其他问题：

       sync.map为何不实现len方法？这可能涉及成本与收益的权衡。

       orcaman/concurrent-map的适用场景与实现：

       orcaman/concurrent-map适用于反复插入与读取新值的场景。其实现思路是对Golang原生map进行分片加锁，降低锁粒度，从而达到最少的锁等待时间（锁冲突）。

       它实现简单，部分源码如下，包括数据结构和函数介绍。

       后续：

       在其他业务场景中，可能需要本地kv缓存组件库，支持键过期时间设置、淘汰策略、存储优化、GC优化等功能。此时，可能需要了解freecache、gocache、fastcache、bigcache、groupcache等组件库。

       参考链接：

       链接1：/questions//golang-fatal-error-concurrent-map-read-and-map-write/

       链接2：/golang/go/issues/

       链接3：/golang/go/blob/master/src/sync/map.go

       链接4：/orcaman/concurrent-map

MapReduce源码解析之InputFormat

       导读

       深入探讨MapReduce框架的核心组件——InputFormat。此组件在处理多样化数据类型时，扮演着数据格式化和分片的角色。通过设置job.setInputFormatClass(TextInputFormat.class)等操作，程序能正确处理不同文件类型。InputFormat类作为抽象基础，定义了文件切分逻辑和RecordReader接口，用于读取分片数据。本节将解析InputFormat、InputSplit、RecordReader的结构与实现，以及如何在Map任务中应用此框架。

       类图与源码解析

       InputFormat类提供了两个关键抽象方法：getSplits()和createRecordReader()。getSplits()负责规划文件切分策略，定义逻辑上的分片，而RecordReader则从这些分片中读取数据。

       InputSplit类承载了切分逻辑，表示了给定Mapper处理的逻辑数据块，包含所有K-V对的集合。

       RecordReader类实现了数据读取流程，其子类如LineRecordReader，提供行数据读取功能，将输入流中的数据按行拆分，赋值为Key和Value。

       具体实现与操作流程

       在getSplits()方法中，FileInputFormat类负责将输入文件按照指定策略切分成多个InputSplit。

       TextInputFormat类的createRecordReader()方法创建了LineRecordReader实例，用于读取文件中的每一行数据，形成K-V对。

       Mapper任务执行时，通过调用RecordReader的nextKeyValue()方法，读取文件的每一行，完成数据处理。

       在Map任务的run()方法中，MapContextImp类实例化了一个RecordReader，用于实现数据的迭代和处理。

       总结

       本文详细阐述了MapReduce框架中InputFormat的实现原理及其相关组件，包括类图、源码解析、具体实现与操作流程。后续文章将继续探讨MapReduce框架的其他关键组件源码解析，为开发者提供深入理解MapReduce的构建和优化方法。

map在golang的底层实现和源码分析

       在Golang 1..2版本中，map的底层实现由两个核心结构体——hmap和bmap（此处用桶来描述）——构建。初始化map，如`make(map[k]v, hint)`，会创建一个hmap实例，包含map的所有信息。makemap函数负责创建hmap、计算B值和初始化桶数组。

       Golang map的高效得益于其巧妙的设计：首先，key的hash值的后B位作为桶索引；其次，key的hash值的前8位决定桶内结构体的数组索引，包括tophash、key和value；tophash数组还用于存储标志位，当桶内元素为空时，标志位能快速识别。读写删除操作充分利用了这些设计，包括更新、新增和删除key-value对。

       删除操作涉及到定位key，移除地址空间，更新桶内tophash的标志位。而写操作，虽然mapassign函数返回value地址但不直接写值，实际由编译器生成的汇编指令提高效率。扩容和迁移机制如sameSizeGrow和biggerSizeGrow，针对桶利用率低或桶数组满的情况，通过调整桶结构和数组长度，优化查找效率。

       evacuate函数负责迁移数据到新的桶区域，并清理旧空间。最后，虽然本文未详述，但订阅"后端云"公众号可获取更多关于Golang map底层实现的深入内容。

js中的Map、Set

       在Vue3的源码中，Map和WeakMap这两种ES6新增的内置数据结构起着至关重要的作用，它们在响应式系统中提供了高效且内存管理友好的解决方案。

       Map：

       Map是一种键值对的可迭代容器，区别于对象，它需要通过new创建实例。Map的创建依赖于可迭代的参数，并在迭代过程中，新添加或删除的键值对会被访问。与对象不同，Map的迭代特性确保了数据的完整性和一致性。

       Set：

       Set则是无重复值的集合，与Array类似，通过new创建实例。Set的迭代行为与Map相似，但只处理value，且值的引用是弱的，有利于内存管理。在Vue3中，Set常用于存储唯一值，如依赖项的跟踪。

       WeakMap与WeakSet：

       WeakMap与Map类似，但键是对象，值任意类型，且键与对象的引用是弱的，当对象不再被引用时，键值会被自动回收。同样，WeakSet只包含对象值，且值的引用也是弱的。在响应式系统中，WeakMap用于缓存Proxy对象，避免内存泄漏问题。

       总结：

       Vue3利用Map和WeakMap的强大功能，实现了响应式系统的高效管理，通过弱引用机制，确保了内存的高效利用和程序执行的稳定性。深入理解这些数据结构在Vue3中的运用，有助于开发者更好地优化代码和处理内存问题。