RocketMQ—NameServer总结及核心源码剖析

       一、源码NameServer介绍

       NameServer 是剖析为 RocketMQ 设计的轻量级名称服务，具备简单、源码集群横向扩展、剖析无状态特性和节点间不通信的源码特点。RocketMQ集群架构主要包含四个部分：Broker、剖析ahb lite 源码Producer、源码Consumer 和 NameServer，剖析这些组件之间相互通信。源码

       二、剖析为什么要使用NameServer？

       当前有多种服务发现组件，源码如etcd、剖析consul、源码zookeeper、剖析nacos等。源码然而，RocketMQ选择自研NameServer而非使用开源组件，原因在于特定需求和性能优化。

       三、NameServer内部解密

       NameServer主要功能在于管理路由数据，由Broker提供，并在内部进行处理。路由数据被Producer和Consumer使用。NameServer核心逻辑基于RouteInfoManager类，用于维护路由信息管理，提供注册/查询等核心功能。NameServer使用HashMap和ReentrantReadWriteLock读写锁来管理路由数据。

       四、结论

       作为RocketMQ的股票质押率源码“大脑”，NameServer保存集群MQ路由信息，包括主题、Broker信息及监控Broker运行状态，为客户端提供路由能力。NameServer的核心代码围绕多个HashMap操作，包括Broker注册、客户端查询等。

golang面试题库？

       go面试题整理（附带部分自己的解答）

       原文：

       如果有解答的不对的，麻烦各位在评论写出来~

       go的调度原理是基于GMP模型，G代表一个goroutine，不限制数量；M=machine，代表一个线程，最大1万，所有G任务还是在M上执行；P=processor代表一个处理器，每一个允许的M都会绑定一个G，默认与逻辑CPU数量相等（通过runtime.GOMAXPROCS(runtime.NumCPU())设置）。

       go调用过程：

       可以能，也可以不能。

       因为go存在不能使用==判断类型：map、slice，如果struct包含这些类型的字段，则不能比较。

       这两种类型也不能作为map的key。

       类似栈操作，后进先出。

       因为go的return是一个非原子性操作，比如语句returni，实际上分两步进行，动态引导页面源码即将i值存入栈中作为返回值，然后执行跳转，而defer的执行时机正是跳转前，所以说defer执行时还是有机会操作返回值的。

       select的case的表达式必须是一个channel类型，所有case都会被求值，求值顺序自上而下，从左至右。如果多个case可以完成，则会随机执行一个case，如果有default分支，则执行default分支语句。如果连default都没有，则select语句会一直阻塞，直到至少有一个IO操作可以进行。

       break关键字可跳出select的执行。

       goroutine管理、信息传递。context的意思是上下文，在线程、协程中都有这个概念，它指的是程序单元的一个运行状态、现场、快照，包含。context在多个goroutine中是并发安全的。

       应用场景：

       例子参考：

       waitgroup

       channel

       len：切片的长度，访问时间复杂度为O(1)，vc 飞秋源码go的slice底层是对数组的引用。

       cap：切片的容量，扩容是以这个值为标准。默认扩容是2倍，当达到的长度后，按1.倍。

       扩容：每次扩容slice底层都将先分配新的容量的内存空间，再将老的数组拷贝到新的内存空间，因为这个操作不是并发安全的。所以并发进行append操作，读到内存中的老数组可能为同一个，最终导致append的数据丢失。

       共享：slice的底层是对数组的引用，因此如果两个切片引用了同一个数组片段，就会形成共享底层数组。当sliec发生内存的重新分配（如扩容）时，会对共享进行隔断。详细见下面例子：

       make([]Type,len,cap)

       map的底层是hashtable(hmap类型)，对key值进行了hash，并将结果的低八位用于确定key/value存在于哪个bucket（bmap类型）。再将高八位与bucket的tophash进行依次比较，确定是否存在。出现hash冲撞时，会通过bucket的overflow指向另一个bucket，形成一个单向链表。每个bucket存储8个键值对。

       如果要实现map的顺序读取，需要使用一个slice来存储map的无极任务平台源码key并按照顺序进行排序。

       利用map，如果要求并发安全，就用sync.map

       要注意下set中的delete函数需要使用delete(map)来实现，但是这个并不会释放内存，除非value也是一个子map。当进行多次delete后，可以使用make来重建map。

       使用sync.Map来管理topic，用channel来做队列。

       参考：

       多路归并法:

       preclass="vditor-reset"placeholder=""contenteditable="true"spellcheck="false"pdata-block="0"(1)假设有K路ahref=""数据流/a，流内部是有序的，且流间同为升序或降序；

       /ppdata-block="0"(2)首先读取每个流的第一个数，如果已经EOF，pass；

       /ppdata-block="0"(3)将有效的k(k可能小于K)个数比较，选出最小的那路mink，输出，读取mink的下一个；

       /ppdata-block="0"(4)直到所有K路都EOF。

       /p/pre

       假设文件又1个G，内存只有M，无法将1个G的文件全部读到内存进行排序。

       第一步：

       可以分为段读取，每段读取M的数据并排序好写入硬盘。

       假设写入后的文件为A,B，C...

       第二步:

       将A，B,C...的第一个字符拿出来，对这个字符进行排序，并将结果写入硬盘，同时记录被写入的字符的文件指针P。

       第三步：

       将刚刚排序好的9个字符再加上从指针P读取到的P+1位数据进行排序，并写入硬盘。

       重复二、三步骤。

       go文件读写参考：

       保证排序前两个相等的数其在序列的前后位置顺序和排序后它们两个的前后位置顺序相同的排序叫稳定排序。

       快速排序、希尔排序、堆排序、直接选择排序不是稳定的排序算法。

       基数排序、冒泡排序、直接插入排序、折半插入排序、归并排序是稳定的排序算法。

       参考：

       head只请求页面的首部。多用来判断网页是否被修改和超链接的有效性。

       get请求页面信息，并返回实例的主体。

       参考:

       ：未授权的访问。

       :拒绝访问。

       普通的.ipv4.tcp_keepalive_intvl=//当探测没有确认时，重新发送探测的频度。缺省是秒。

       net.ipv4.tcp_keepalive_probes=9//在认定连接失效之前，发送多少个TCP的keepalive探测包。缺省值是9。这个值乘以tcp_keepalive_intvl之后决定了，一个连接发送了keepalive之后可以有多少时间没有回应

       net.ipv4.tcp_keepalive_time=//当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时。一般设置为分钟

       修改：

       可以

       tcp是面向连接的，upd是无连接状态的。

       udp相比tcp没有建立连接的过程，所以更快，同时也更安全，不容易被攻击。upd没有阻塞控制，因此出现网络阻塞不会使源主机的发送效率降低。upd支持一对多，多对多等，tcp是点对点传输。tcp首部开销字节，udp8字节。

       udp使用场景：视频通话、im聊天等。

       time-wait表示客户端等待服务端返回关闭信息的状态，closed_wait表示服务端得知客户端想要关闭连接，进入半关闭状态并返回一段TCP报文。

       time-wait作用：

       解决办法：

       close_wait:

       被动关闭，通常是由于客户端忘记关闭tcp连接导致。

       根据业务来啊~

       重要指标是cardinality（不重复数量），这个数量/总行数如果过小（趋近于0）代表索引基本没意义，比如sex性别这种。

       另外查询不要使用select*，根据select的条件+where条件做组合索引，尽量实现覆盖索引，避免回表。

       僵尸进程：

       即子进程先于父进程退出后，子进程的PCB需要其父进程释放，但是父进程并没有释放子进程的PCB，这样的子进程就称为僵尸进程，僵尸进程实际上是一个已经死掉的进程。

       孤儿进程：

       一个父进程退出，而它的一个或多个子进程还在运行，那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养，并由init进程对它们完成状态收集工作。

       子进程死亡需要父进程来处理，那么意味着正常的进程应该是子进程先于父进程死亡。当父进程先于子进程死亡时，子进程死亡时没父进程处理，这个死亡的子进程就是孤儿进程。

       但孤儿进程与僵尸进程不同的是，由于父进程已经死亡，系统会帮助父进程回收处理孤儿进程。所以孤儿进程实际上是不占用资源的，因为它终究是被系统回收了。不会像僵尸进程那样占用ID,损害运行系统。

       原文链接：

       产生死锁的四个必要条件：

       （1）互斥条件：一个资源每次只能被一个进程使用。

       （2）请求与保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放。

       （3）不剥夺条件：进程已获得的资源，在末使用完之前，不能强行剥夺。

       （4）循环等待条件：若干进程之间形成一种头尾相接的循环等待资源关系。

       避免方法：

       端口占用：lsof-i:端口号或者nestat

       cpu、内存占用：top

       发送信号：kill-l列出所有信号，然后用kill[信号变化][进程号]来执行。如kill-。强制杀死进程

       gitlog:查看提交记录

       gitdiff：查看变更记录

       gitmerge：目标分支改变，而源分支保持原样。优点：保留提交历史，保留分支结构。但会有大量的merge记录

       gitrebase：将修改拼接到最新，复杂的记录变得优雅，单个操作变得(revert)很简单；缺点：

       gitrevert:反做指定版本，会新生成一个版本

       gitreset:重置到某个版本，中间版本全部丢失

       etcd、Consul

       pprof

       节省空间（非叶子节点不存储数据，相对btree的优势），减少I/O次数（节省的空间全部存指针地址，让树变的矮胖），范围查找方便（相对hash的优势）。

       explain

       其他的见：

       runtime2.go中关于p的定义：其中runnext指针决定了下一个要运行的g，根据英文的注释大致意思是说：

       所以当设置runtime.GOMAXPROCS(1)时，此时只有一个P，创建的g依次加入P，当最后一个即i==9时，加入的最后一个g将会继承当前主goroutinue的剩余时间片继续执行，所以会先输出9，之后再依次执行P队列中其它的g。

       方法一：

       方法二：

       [上传失败...(image-4ef-)]

       方法1：to_days，返回给的日期从0开始算的天数。

       方法2：data_add。向日期添加指定时间间隔

       [上传失败...(image-bb-)]

       面试问题总结（一）Golang

       使用go语言的好处:go语言的设计是务实的,go在针对并发上进行了优化,并且支持大规模高并发,又由于单一的码格式,相比于其他语言更具有可读性,在垃圾回收上比java和Python更有效,因为他是和程序同时执行的.

       1.进程,线程,协程的区别,协程的优势

       2.讲一下GMP模型(重点)

       3.Go的GC,混合写屏障(重点)

       4.go的Slice和数组的区别,slice的扩容原理(重点)

       5.讲一下channel,实现原理(重点)

       6.讲一下Go的Map的实现原理,是否线程安全,如何实现安全(重点)

       7.new和make的区别

       8.说一下内存逃逸

       9.函数传指针和传值有什么区别

       .goroutine之间的通信方式

       .测试是怎么做的(单元测试,压力测试)

       .堆和栈的区别

       请实现个算法，确定个字符串的所有字符是否全都不同。这我们要求不允

       许使额外的存储结构。给定个string，请返回个bool值,true代表所有字符全都

       不同，false代表存在相同的字符。保证字符串中的字符为ASCII字符。字符串的

       度于等于。

       这有个重点，第个是ASCII字符，ASCII字符字符共有个，其中个是常

       字符，可以在键盘上输。之后的是键盘上法找到的。

       然后是全部不同，也就是字符串中的字符没有重复的，再次，不准使额外的储存结

       构，且字符串于等于。

       如果允许其他额外储存结构，这个题很好做。如果不允许的话，可以使golang内置

       的式实现。

       通过strings.Count函数判断：

       使的是golang内置法strings.Count,可以来判断在个字符串中包含

       的另外个字符串的数量

       还有不同的方法同样可以实现，你了解吗?

       推荐go相关技术专栏

       gRPC-go源码剖析与实战_带你走进gRPC-go的源码世界-CSDN博客