1.MapReduce源码解析之Mapper
2.jieba分词详解
3.Scala基础——常用数据结构
4.Lucene源码索引文件结构反向
5.函数 collections.Counter()

MapReduce源码解析之Mapper

       MapReduce，词频词频大数据领域的统计统计标志性计算模型，由Google公司研发，源码其核心概念"Map"与"Reduce"简明易懂却威力巨大，代码打开了大数据时代的词频词频大门。对于许多大数据工作者来说，统计统计技术导航收录源码MapReduce是源码基础技能之一，而源码解析更是代码深入理解与实践的必要途径。

       MapReduce由两部分组成：Map与Reduce。词频词频Map阶段通过映射函数将一组键值对转换成另一组键值对，统计统计而Reduce阶段则负责合并这些新的源码键值对。这种并行计算模型极大地提高了大数据处理的代码效率。

       本文将聚焦于Map阶段的词频词频核心实现——Mapper。通过解析Mapper类及其子类的统计统计源码，我们可以更深入地理解MapReduce的源码工作机制，并在易观千帆等技术数据处理中发挥更大的效能。

       Mapper类内部包含四个关键方法与一个抽象类：

       setup()：主要为map()方法做准备，例如加载配置文件、传递参数。

       cleanup()：用于清理资源，如关闭文件、在线评审系统 源码处理Key-Value。

       map()：程序的逻辑核心，对输入的文本进行处理（如分割、过滤），以键值对的形式写入context。

       run()：驱动Mapper执行的主方法，按照预设顺序执行setup()、map()、cleanup()。

       Context抽象类扮演着重要角色，用于跟踪任务状态和数据存储，如在setup()中读取配置信息，并作为Key-Value载体。

       下面是几个Mapper子类的详细解析：

       InverseMapper：将键值对反转，适用于不同需求的统计分析。

       TokenCounterMapper：使用StringTokenizer对文本进行分割，计算特定token的数量，适用于词频统计等。

       RegexMapper：对文本进行正则化处理，适用于特定格式文本的阿里云修改源码统计。

       MultithreadedMapper：利用多线程执行Mapper任务，提高CPU利用率，适用于并发处理。

       本文对MapReduce中Mapper及其子类的源码进行了详尽解析，旨在帮助开发者更深入地理解MapReduce的实现机制。后续将探讨更多关键类源码，以期为大数据处理提供更深入的洞察与实践指导。

jieba分词详解

        “结巴”分词是一个Python 中文分词组件，参见 /fxsjy/jieba

        可以对中文文本进行分词、词性标注、关键词抽取等功能，并且支持自定义词典。

        本文包括以下内容：

        1、jieba分词包的安装

        2、jieba分词的使用教程

        3、jieba分词的工作原理与工作流程

        4、jieba分词所涉及到的HMM、TextRank、TF-IDF等算法介绍

        可以直接使用pip来进行安装：

        sudo pip install jieba

        或者

        sudo pip3 install jieba

        关键词抽取有两种算法，基于TF-IDF和基于TextRank：

        jieba分词有三种不同的分词模式：精确模式、全模式和搜索引擎模式：

        对应的，函数前加l即是对应得到list结果的函数：

        精确模式是最常用的分词方法，全模式会将句子中所有可能的词都列举出来，搜索引擎模式则适用于搜索引擎使用。具体的差别可在下一节工作流程的分析中详述。

        在上述每个函数中，都有名为HMM的参数。这一项表示是否在分词过程中利用HMM进行新词发现。关于HMM，本文附录中将简述相关知识。

        另外分词支持自定义字典，词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。

        具体使用方法为：

        关键词抽取的两个函数的完整参数为：

        可以通过

        来打开或关闭并行分词功能。

        个人感觉一般用不到，大文件分词需要手动实现多进程并行，句子分词也不至于用这个。

        jieba分词主要通过词典来进行分词及词性标注，两者使用了一个相同的词典。正因如此，分词的结果优劣将很大程度上取决于词典，虽然使用了HMM来进行新词发现。

        jieba分词包整体的工作流程如下图所示：

        下面将根据源码详细地分析各个模块的工作流程。

        在之后几节中，我们在蓝色的方框中示范了关键步骤的输出样例或词典文件的格式样例。在本节中都采用类似的表示方式。

        jieba分词中，首先通过对照典生成句子的有向无环图，再根据选择的模式不同，根据词典寻找最短路径后对句子进行截取或直接对句子进行截取。对于未登陆词（不在词典中的词）使用HMM进行新词发现。

        词典的格式应为

        word1 freq1 word_type1

        word2 freq2 word_type2

        …

        其中自定义用户词典中词性word_type可以省略。

        词典在其他模块的流程中可能也会用到，为方便叙述，后续的流程图中将会省略词典的初始化部分。

        图b演示了搜索引擎模式的工作流程，它会在精确模式分词的基础上，将长词再次进行切分。

        在这里我们假定读者已经了解HMM相关知识，如果没有可先行阅读下一章内容中的HMM相关部分或者跳过本节。

        在jieba分词中，将字在词中的位置B、M、E、S作为隐藏状态，字是观测状态，使用了词典文件分别存储字之间的表现概率矩阵（finalseg/prob_emit.py）、初始概率向量(finalseg/prob_start.py)和转移概率矩阵(finalseg/prob_trans.py)。这就是一个标准的解码问题，根据概率再利用viterbi算法对最大可能的隐藏状态进行求解。

        词性分析部分与分词模块用了同一个基础的分词器，对于词典词的词性，将直接从词典中提取，但是对于新词，词性分析部分有一个专属的新词及其词性的发现模块。

        用于词性标注的HMM模型与用于分词的HMM模型相似，同样将文字序列视为可见状态，但是隐藏状态不再是单单的词的位置（B/E/M/S），而变成了词的位置与词性的组合，如(B,v)(B,n)(S,n)等等。因此其初始概率向量、转移概率矩阵和表现概率矩阵和上一节中所用的相比都要庞大的多，但是其本质以及运算步骤都没有变化。

        具体的工作流程如下图所示。

        jieba分词中有两种不同的用于关键词抽取的算法，分别为TextRank和TF-IDF。实现流程比较简单，其核心在于算法本身。下面简单地画出实现流程，具体的算法可以参阅下一章内容。

        TextRank方法默认筛选词性，而TF-IDF方法模型不进行词性筛选。

        在本章中，将会简单介绍相关的算法知识，主要包括用于新词发现的隐马尔科夫模型和维特比算法、用于关键词提取的TextRank和TF-IDF算法。

        HMM即隐马尔科夫模型，是一种基于马尔科夫假设的统计模型。之所以为“隐”，是因为相较于马尔科夫过程HMM有着未知的参数。在世界上，能看到的往往都是表象，而事物的真正状态往往都隐含在表象之下，并且与表象有一定的关联关系。

        其中，S、O分别表示状态序列与观测序列。

        如果读者还对这部分内容心存疑问，不妨先往下阅读，下面我们将以一个比较简单的例子对HMM及解码算法进行实际说明与演示，在读完下一小节之后再回来看这些式子，或许能够恍然大悟。

        下面以一个简单的例子来进行阐述：

        假设小明有一个网友小红，小红每天都会在朋友圈说明自己今天做了什么，并且假设其仅受当天天气的影响，而当天的天气也只受前一天天气的影响。

        于小明而言，小红每天做了什么是可见状态，而小红那里的天气如何就是隐藏状态，这就构成了一个HMM模型。一个HMM模型需要有五个要素：隐藏状态集、观测集、转移概率、观测概率和初始状态概率。

        即在第j个隐藏状态时，表现为i表现状态的概率。式中的n和m表示隐藏状态集和观测集中的数量。

        本例中在不同的天气下，小红要做不同事情的概率也不同，观测概率以表格的形式呈现如下：

        其中

        除此之外，还需要一个初始状态概率向量π，它表示了观测开始时，即t=0时，隐藏状态的概率值。本例中我们指定π={ 0,0,1}。

        至此，一个完整的隐马尔科夫模型已经定义完毕了。

        HMM一般由三类问题：

概率计算问题，即给定A,B,π和隐藏状态序列，计算观测序列的概率；

预测问题，也成解码问题，已知A,B,π和观测序列，求最优可能对应的状态序列；

学习问题，已知观测序列，估计模型的A,B,π参数，使得在该模型下观测序列的概率最大，即用极大似然估计的方法估计参数。

        在jieba分词中所用的是解码问题，所以此处对预测问题和学习问题不做深入探讨，在下一小节中我们将继续以本节中的例子为例，对解码问题进行求解。

        在jieba分词中，采用了HMM进行新词发现，它将每一个字表示为B/M/E/S分别代表出现在词头、词中、词尾以及单字成词。将B/M/E/S作为HMM的隐藏状态，而连续的各个单字作为观测状态，其任务即为利用观测状态预测隐藏状态，并且其模型的A,B,π概率已经给出在文件中，所以这是一个标准的解码问题。在jieba分词中采用了Viterbi算法来进行求解。

        Viterbi算法的基本思想是：如果最佳路径经过一个点，那么起始点到这个点的路径一定是最短路径，否则用起始点到这点更短的一条路径代替这段，就会得到更短的路径，这显然是矛盾的；从起始点到结束点的路径，必然要经过第n个时刻，假如第n个时刻有k个状态，那么最终路径一定经过起始点到时刻n中k个状态里最短路径的点。

        将时刻t隐藏状态为i所有可能的状态转移路径i1到i2的状态最大值记为

        下面我们继续以上一节中的例子来对viterbi算法进行阐述：

        小明不知道小红是哪里人，他只能通过小红每天的活动来推断那里的天气。

        假设连续三天，小红的活动依次为：“睡觉-打游戏-逛街”，我们将据此计算最有可能的天气情况。

        表示第一天为雨天能够使得第二天为晴天的概率最大（也就是说如果第二天是晴天在最短路径上的话，第一天是雨天也一定在最短路径上，参见上文中Viterbi算法的基本思想）

        此时已经到了最后的时刻，我们开始回溯。

        其计算过程示意图如下图所示。

        ）的路径。

        TF-IDF（词频-逆文本频率）是一种用以评估字词在文档中重要程度的统计方法。它的核心思想是，如果某个词在一篇文章中出现的频率即TF高，并且在其他文档中出现的很少，则认为这个词有很好的类别区分能力。

        其中：

        TextRank是一种用以关键词提取的算法，因为是基于PageRank的，所以先介绍PageRank。

        PageRank通过互联网中的超链接关系确定一个网页的排名，其公式是通过一种投票的思想来设计的：如果我们计算网页A的PageRank值，那么我们需要知道哪些网页链接到A，即首先得到A的入链，然后通过入链给网页A进行投票来计算A的PR值。其公式为：

        其中：

        d为阻尼系数，取值范围为0-1，代表从一定点指向其他任意点的概率，一般取值0.。

        将上式多次迭代即可直到收敛即可得到结果。

        TextRank算法基于PageRank的思想，利用投票机制对文本中重要成分进行排序。如果两个词在一个固定大小的窗口内共同出现过，则认为两个词之间存在连线。

        公式与PageRank的基本相同。多次迭代直至收敛，即可得到结果。

在jieba分词中，TextRank设定的词窗口大小为5，将公式1迭代次的结果作为最终权重的结果，而不一定迭代至收敛。

Scala基础——常用数据结构

       “大家都在这里做什么？”“不做什么。就是等夏天结束。”

       从前到现在，Scala入门指引中我们已经介绍了Scala的基本语法，以及Scala函数进阶中的一些简单函数式编程用法。

       然而，仅仅了解基本语法并不足以掌握一门语言。为了熟练运用Scala，我们还需要深入了解其数据结构。

       因此，本次文章将介绍Scala中常用的数据结构。

       Scala中常用的数据结构包括Array、Tuple、java 实战项目源码可变和不可变的Seq、Set和Map等。以下是Scala常用数据结构的大致介绍，以及详细继承关系和实现，可参考源码。

       Tuple是可以通过下标取值的固定不变的结构，通常用于函数的多个返回值。Tuple最多可以包含个元素，即Tuple。

       Array是一个固定长度的集合，创建时需要指定元素的泛型集合的长度。与Java中的数组类似，但具有更多的语法糖。支持在原数组的某个位置上更新元素，并在头部或末尾添加一个或多个元素。函数操作的返回值是新的数组，但原数组保持不变。

       ArrayBuffer相对于Array，长度和元素都是可变的。

       Seq是打印快递单源码有序队列，不可变的List是Seq的一种实现，其长度和元素都不可变。任何更新操作都会返回一个新的List，而原List保持不变。List是基于链表的实现，数据结构更符合栈的LIFO特性，对于头部元素的插入和删除性能更好。

       Queue是对List的进一步封装，具有FIFO特性。

       不可变的Set是不可重复元素集合，支持集合的交集、并集和差集等运算。可变的Set则允许元素重复。

       不可变的Map是一组Key不重复的键值对，当Key重复时，后面的Key对应的Value会覆盖前面的。可变的Map允许Key重复。

       为了更好地了解Scala数据结构的使用，以下是一个简单的词频统计例子。给定一些句子，统计单词出现的频率，并按频率排序输出。

       总结：Scala中常见的集合包括Tuple、Array、Seq、Set和Map等结构，其中Array、Seq、Set、Map都有对应的可变和不可变的结构。Scala对这些常见的数据结构进行了大量封装，方便我们进行数据加工。

Lucene源码索引文件结构反向

       Lucene的索引结构复杂且详尽，不仅保存了从Term到Document的正向映射，还包括了从Document到Term的反向信息。这种反向信息的核心是反向索引，它由词典(Term Dictionary)和倒排表(Posting List)两部分组成。词典存储在tii和tis文件中，包含Term的频率、位置信息以及元数据；而倒排表分为文档号和词频的frq文件，以及位置信息的prx文件。

       词典(.tim)存储Term的统计信息，如包含文档数量和词频，以及Term的元数据，包括其在文档中的位置。词典索引(.tip)则是对tim文件的索引，便于快速访问。在tim中，NodeBlock以个entries为一组，包含Term的相关数据和FieldSummary。OuterNode和InnerNode是NodeBlock的两种类型，OuterNode按Term大小顺序存储，用RAMOutputStream记录相关信息。

       倒排表的存储则更复杂，如PackedBlock压缩和SKIPLIST结构。LIV文件通过FixBitSet记录文档状态，而TermVector保存的信息与Field Data相似，Norms用于存储Boost加权信息，可能在Lucene7后减少。Doc Values和Point Values分别处理数字类型数据和多维数据索引，这些内容在后续的文章中会有更详细的解释。

       总的来说，理解Lucene的索引结构对于优化搜索引擎性能、诊断生产环境问题至关重要，因为它构成了分布式搜索引擎如Solr和ElasticSearch的基础。深入剖析这些文件结构有助于我们从更高层次上进行问题分析。

函数 collections.Counter()

       Python标准库collections里的counter()函数是一个计数器工具，用于统计可迭代对象中元素出现的次数，返回一个字典。counter()可以接受任何可迭代对象作为参数，如列表、元组、字符串、字典等，元素为字典的键，各元素出现的次数为字典的值，可以是任意整数，包括零和负数。

       创建Counter()函数可以使用列表、字符串、映射关系或关键字参数。当访问不存在的键时，返回值为0。如果参数是字典，Counter()还可以根据字典的值进行排序。

       可以通过访问Counter字典来获取元素，就像使用dict那样访问Counter元素（值）。

       Counter()提供了多种用法：

       1. 按照计数降序返回前n项组成的list，使用most_common(n)方法，n默认为全部。

       2. 计数相减，使用subtract()方法，传入可迭代对象或映射。

       3. 更新Counter()，传入可迭代对象或映射，相同键的值相加。

       4. Counter间的数学集合操作，如并集、交集和差集。

       实例：文本词频统计。

       在电商数据分析中，可以使用Counter()来构建用户-行为-购买转化率视图，如浏览、加购、删除、购买、收藏、点击等行为，并统计转化率。在电商数据分析场景中，需要对数据进行分组聚合操作，使用groupby()函数对数据进行分组，并应用自定义函数来计算所需指标，如add_user_type_count()方法。

       源码实现中，使用Counter()统计各行为类别对应的次数，并将结果合并到原始数据框中，为后续数据分析提供基础。

       更多详细代码和源码参考：

       Python Counter()计数工具

       Python Counter()的实现