皮皮网

1.如何分布式运行mapreduce程序
2.MapReduce源码解析之InputFormat
3.如何使用Python为Hadoop编写一个简单的MapReduce程序
4.Mapreduce 在通过reduce计算value之后怎么统计计算次数？
5.yarn源码分析（四）AppMaster启动
6.MapReduce源码解析之Mapper

如何分布式运行mapreduce程序

       ä¸€ã€ 首先要知道此前提 转载

       ã€€ã€€è‹¥åœ¨windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。

       ã€€ã€€è‹¥ä¸æ‹·è´ï¼Œå·¥ç¨‹ä¸­bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local_。 这不是真正的分布式运行mapreduce程序。

       ã€€ã€€ä¼°è®¡å¾—研究org.apache.hadoop.conf.Configuration的源码，反正xml配置文件会影响执行mapreduce使用的文件系统是本机的windows文件系统还是远程的hdfs系统; 还有影响执行mapreduce的mapper和reducer的是本机的jvm还是集群里面机器的jvm

       ã€€ã€€äºŒã€ 本文的结论

       ã€€ã€€ç¬¬ä¸€ç‚¹å°±æ˜¯ï¼š windows上执行mapreduce，必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。（有个需求是要windows上触发一个mapreduce分布式运行）

       ã€€ã€€ç¬¬äºŒç‚¹å°±æ˜¯ï¼š Linux上，只需拷贝jar文件到集群master上,码原执行命令hadoop jarPackage.jar MainClassName即可分布式运行mapreduce程序。

       ã€€ã€€ç¬¬ä¸‰ç‚¹å°±æ˜¯ï¼š 推荐使用附一，实现了自动打jar包并上传，分布式执行的mapreduce程序。

       ã€€ã€€é™„一、 推荐使用此方法：实现了自动打jar包并上传，分布式执行的mapreduce程序：

       ã€€ã€€è¯·å…ˆå‚考博文五篇：

       ã€€ã€€Hadoop作业提交分析（一）~~（五）

       ã€€ã€€å¼•ç”¨åšæ–‡çš„附件中EJob.java到工程中，然后main中添加如下方法和代码。

       ã€€ã€€public static File createPack() throws IOException {

       ã€€ã€€File jarFile = EJob.createTempJar("bin");

       ã€€ã€€ClassLoader classLoader = EJob.getClassLoader();

       ã€€ã€€Thread.currentThread().setContextClassLoader(classLoader);

       ã€€ã€€return jarFile;

       ã€€ã€€}

       ã€€ã€€åœ¨ä½œä¸šå¯åŠ¨ä»£ç ä¸­ä½¿ç”¨æ‰“包：

       ã€€ã€€Job job = Job.getInstance(conf, "testAnaAction");

       ã€€ã€€æ·»åŠ ï¼š

       ã€€ã€€String jarPath = createPack().getPath();

       ã€€ã€€job.setJar(jarPath);

       ã€€ã€€å³å¯å®žçŽ°ç›´æŽ¥run as java application 在windows跑分布式的mapreduce程序，不用手工上传jar文件。

       ã€€ã€€é™„二、得出结论的测试过程

       ã€€ã€€ï¼ˆæœªæœ‰ç©ºçœ‹ä¹¦ï¼Œåªèƒ½é€šè¿‡æ„šç¬¨çš„测试方法得出结论了）

       ã€€ã€€ä¸€. 直接通过windows上Eclipse右击main程序的java文件，然后"run as application"或选择hadoop插件"run on hadoop"来触发执行MapReduce程序的测试。

       ã€€ã€€1，如果不打jar包到进集群任意linux机器上，它报错如下：

       ã€€ã€€[work] -- ::, - org.apache.hadoop.mapreduce.Job - [main] INFO org.apache.hadoop.mapreduce.Job - map 0% reduce 0%

       ã€€ã€€[work] -- ::, - org.apache.hadoop.mapreduce.Job - [main] INFO org.apache.hadoop.mapreduce.Job - Task Id : attempt___m__0, Status : FAILED

       ã€€ã€€Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:)

       ã€€ã€€at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:)

       ã€€ã€€at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:)

       ã€€ã€€at org.apache.hadoop.mapred.MapTask.run(MapTask.java:)

       ã€€ã€€at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:)

       ã€€ã€€at java.security.AccessController.doPrivileged(Native Method)

       ã€€ã€€at javax.security.auth.Subject.doAs(Subject.java:)

       ã€€ã€€at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:)

       ã€€ã€€at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:)

       ã€€ã€€Caused by: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:)

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:)

       ã€€ã€€... 8 more

       ã€€ã€€# Error:后重复三次

       ã€€ã€€-- ::, - org.apache.hadoop.mapreduce.Job - [main] INFO org.apache.hadoop.mapreduce.Job - map % reduce %

       ã€€ã€€çŽ°è±¡å°±æ˜¯ï¼šæŠ¥é”™ï¼Œæ— è¿›åº¦ï¼Œæ— è¿è¡Œç»“果。

       ã€€ã€€

       ã€€ã€€2，拷贝jar包到“只是”集群master的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行，它报错同上。

       ã€€ã€€çŽ°è±¡å°±æ˜¯ï¼šæŠ¥é”™ï¼Œæ— è¿›åº¦ï¼Œæ— è¿è¡Œç»“果。

       ã€€ã€€3，拷贝jar包到集群某些slave的$HADOOP_HOME/share/hadoop/mapreduce/目录上，直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行

       ã€€ã€€å’ŒæŠ¥é”™ï¼š

       ã€€ã€€Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found

       ã€€ã€€at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:)

       ã€€ã€€at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:)

       ã€€ã€€å’ŒæŠ¥é”™ï¼š

       ã€€ã€€Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountReducer not found

       ã€€ã€€

       ã€€ã€€çŽ°è±¡å°±æ˜¯ï¼šæœ‰æŠ¥é”™ï¼Œä½†ä»ç„¶æœ‰è¿›åº¦ï¼Œæœ‰è¿è¡Œç»“果。

MapReduce源码解析之InputFormat

       导读

       深入探讨MapReduce框架的核心组件——InputFormat。此组件在处理多样化数据类型时，码原扮演着数据格式化和分片的码原角色。通过设置job.setInputFormatClass(TextInputFormat.class)等操作，码原程序能正确处理不同文件类型。码原InputFormat类作为抽象基础，码原云壁纸小程序源码644定义了文件切分逻辑和RecordReader接口，码原用于读取分片数据。码原本节将解析InputFormat、码原InputSplit、码原RecordReader的码原结构与实现，以及如何在Map任务中应用此框架。码原

       类图与源码解析

       InputFormat类提供了两个关键抽象方法：getSplits()和createRecordReader()。码原phoneyc源码getSplits()负责规划文件切分策略，码原定义逻辑上的码原分片，而RecordReader则从这些分片中读取数据。

       InputSplit类承载了切分逻辑，表示了给定Mapper处理的逻辑数据块，包含所有K-V对的集合。

       RecordReader类实现了数据读取流程，其子类如LineRecordReader，提供行数据读取功能，将输入流中的数据按行拆分，赋值为Key和Value。

       具体实现与操作流程

       在getSplits()方法中，aspcms 源码FileInputFormat类负责将输入文件按照指定策略切分成多个InputSplit。

       TextInputFormat类的createRecordReader()方法创建了LineRecordReader实例，用于读取文件中的每一行数据，形成K-V对。

       Mapper任务执行时，通过调用RecordReader的nextKeyValue()方法，读取文件的每一行，完成数据处理。

       在Map任务的run()方法中，MapContextImp类实例化了一个RecordReader，用于实现数据的迭代和处理。

       总结

       本文详细阐述了MapReduce框架中InputFormat的avalon 源码实现原理及其相关组件，包括类图、源码解析、具体实现与操作流程。后续文章将继续探讨MapReduce框架的其他关键组件源码解析，为开发者提供深入理解MapReduce的构建和优化方法。

如何使用Python为Hadoop编写一个简单的MapReduce程序

       MichaelG.Noll在他的Blog中提到如何在Hadoop中用Python编写MapReduce程序，韩国的gogamza在其Bolg中也提到如何用C编写MapReduce程序（我稍微修改了一下原程序,因为他的Map对单词切分使用tab键）。我合并他们两人的文章，也让国内的Hadoop用户能够使用别的语言来编写MapReduce程序。　　首先您得配好您的Hadoop集群，这方面的介绍网上比较多，这儿给个链接（Hadoop学习笔记二安装部署）。HadoopStreaming帮助我们用非Java的编程语言使用MapReduce，Streaming用STDIN(标准输入)和STDOUT(标准输出)来和我们编写的Map和Reduce进行数据的交换数据。任何能够使用STDIN和STDOUT都可以用来编写MapReduce程序，比如我们用Python的sys.stdin和sys.stdout，或者是C中的stdin和stdout。　　我们还是使用Hadoop的例子WordCount来做示范如何编写MapReduce，在WordCount的例子中我们要解决计算在一批文档中每一个单词的出现频率。首先我们在Map程序中会接受到这批文档每一行的数据，然后我们编写的Map程序把这一行按空格切开成一个数组。并对这个数组遍历按"1"用标准的输出输出来，代表这个单词出现了一次。在Reduce中我们来统计单词的出现频率。　　　　PythonCode　　Map:mapper.py　　#!/usr/bin/envpythonimportsys#mapswordstotheircountsword2count={ }#inputcomesfromSTDIN(standardinput)forlineinsys.stdin:#removeleadingandtrailingwhitespaceline=line.strip()#splitthelineintowordswhileremovinganyemptystringswords=filter(lambdaword:word,line.split())#increasecountersforwordinwords:#writetheresultstoSTDOUT(standardoutput);#whatweoutputherewillbetheinputforthe#Reducestep,i.e.theinputforreducer.py##tab-delimited;thetrivialwordcountis1print'%s\t%s'%(word,1)　　Reduce:reducer.py　　#!/usr/bin/envpythonfromoperatorimportitemgetterimportsys#mapswordstotheircountsword2count={ }#inputcomesfromSTDINforlineinsys.stdin:#removeleadingandtrailingwhitespaceline=line.strip()#parsetheinputwegotfrommapper.pyword,count=line.split()#convertcount(currentlyastring)tointtry:count=int(count)word2count[word]=word2count.get(word,0)+countexceptValueError:#countwasnotanumber,sosilently#ignore/discardthislinepass#sortthewordslexigraphically;##thisstepisNOTrequired,wejustdoitsothatour#finaloutputwilllookmoreliketheofficialHadoop#wordcountexamplessorted_word2count=sorted(word2count.items(),key=itemgetter(0))#writetheresultstoSTDOUT(standardoutput)forword,countinsorted_word2count:print'%s\t%s'%(word,count)　　CCode　　Map:Mapper.c　　#include#include#include#include#defineBUF_SIZE#defineDELIM"\n"intmain(intargc,char*argv[]){ charbuffer[BUF_SIZE];while(fgets(buffer,BUF_SIZE-1,stdin)){ intlen=strlen(buffer);if(buffer[len-1]=='\n')buffer[len-1]=0;char*querys=index(buffer,'');char*query=NULL;if(querys==NULL)continue;querys+=1;/*nottoinclude'\t'*/query=strtok(buffer,"");while(query){ printf("%s\t1\n",query);query=strtok(NULL,"");}}return0;}h>h>h>h>　　Reduce:Reducer.c　　#include#include#include#include#defineBUFFER_SIZE#defineDELIM"\t"intmain(intargc,char*argv[]){ charstrLastKey[BUFFER_SIZE];charstrLine[BUFFER_SIZE];intcount=0;*strLastKey='\0';*strLine='\0';while(fgets(strLine,BUFFER_SIZE-1,stdin)){ char*strCurrKey=NULL;char*strCurrNum=NULL;strCurrKey=strtok(strLine,DELIM);strCurrNum=strtok(NULL,DELIM);/*necessarytocheckerrorbut.*/if(strLastKey[0]=='\0'){ strcpy(strLastKey,strCurrKey);}if(strcmp(strCurrKey,strLastKey)){ printf("%s\t%d\n",strLastKey,count);count=atoi(strCurrNum);}else{ count+=atoi(strCurrNum);}strcpy(strLastKey,strCurrKey);}printf("%s\t%d\n",strLastKey,count);/*flushthecount*/return0;}h>h>h>h>　　首先我们调试一下源码：　　chmod+xmapper.pychmod+xreducer.pyecho"foofooquuxlabsfoobarquux"|./mapper.py|./reducer.pybar1foo3labs1quux2g++Mapper.c-oMapperg++Reducer.c-oReducerchmod+xMapperchmod+xReducerecho"foofooquuxlabsfoobarquux"|./Mapper|./Reducerbar1foo2labs1quux1foo1quux1　　你可能看到C的输出和Python的不一样,因为Python是把他放在词典里了.我们在Hadoop时,会对这进行排序,然后相同的单词会连续在标准输出中输出.　　在Hadoop中运行程序　　首先我们要下载我们的测试文档wget页面中摘下的用php编写的MapReduce程序,供php程序员参考：Map:mapper.php　　#!/usr/bin/php$word2count=array();//inputcomesfromSTDIN(standardinput)while(($line=fgets(STDIN))!==false){ //removeleadingandtrailingwhitespaceandlowercase$line=strtolower(trim($line));//splitthelineintowordswhileremovinganyemptystring$words=preg_split('/\W/',$line,0,PREG_SPLIT_NO_EMPTY);//increasecountersforeach($wordsas$word){ $word2count[$word]+=1;}}//writetheresultstoSTDOUT(standardoutput)//whatweoutputherewillbetheinputforthe//Reducestep,i.e.theinputforreducer.pyforeach($word2countas$word=>$count){ //tab-delimitedecho$word,chr(9),$count,PHP_EOL;}?>　　Reduce:mapper.php　　#!/usr/bin/php$word2count=array();//inputcomesfromSTDINwhile(($line=fgets(STDIN))!==false){ //removeleadingandtrailingwhitespace$line=trim($line);//parsetheinputwegotfrommapper.phplist($word,$count)=explode(chr(9),$line);//convertcount(currentlyastring)toint$count=intval($count);//sumcountsif($count>0)$word2count[$word]+=$count;}//sortthewordslexigraphically////thissetisNOTrequired,wejustdoitsothatour//finaloutputwilllookmoreliketheofficialHadoop//wordcountexamplesksort($word2count);//writetheresultstoSTDOUT(standardoutput)foreach($word2countas$word=>$count){ echo$word,chr(9),$count,PHP_EOL;}?>　　作者：马士华发表于：--

Mapreduce 在通过reduce计算value之后怎么统计计算次数？

       简单，不知道你看没看过Wordcount源码，其中的统计出现次数是传入一个1，通过reduce相加计算得出次数。我可以通过Map传入value时拼接一个1，在reduce中通过拆分字符串得到你要的原valeu和传入的1 ，分别去计算后再拼入输出就可以得到了

yarn源码分析（四）AppMaster启动

       在容器分配完成之后，围捕源码启动容器的代码主要在ContainerImpl.java中进行。通过状态机转换，container从NEW状态向其他状态转移时，会调用RequestResourceTransition对象。RequestResourceTransition负责将所需的资源进行本地化，或者避免资源本地化。若需本地化，还需过渡到LOCALIZING状态。为简化理解，此处仅关注是否进行资源本地化的情况。

       为了将LAUNCH_CONTAINER事件加入事件处理队列，调用了sendLaunchEvent方法。该事件由ContainersLauncher负责处理。ContainersLauncher的handle方法中，使用一个ExecutorService（线程池）容器Launcher。ContainerLaunch实现了Callable接口，其call方法生成并执行launch_container脚本。以MapReduce框架为例，该脚本在hadoop.tmp.dir/application name/container name目录下生成，其主要作用是启动MRAppMaster进程，即MapReduce的ApplicationMaster。

MapReduce源码解析之Mapper

       MapReduce，大数据领域的标志性计算模型，由Google公司研发，其核心概念"Map"与"Reduce"简明易懂却威力巨大，打开了大数据时代的大门。对于许多大数据工作者来说，MapReduce是基础技能之一，而源码解析更是深入理解与实践的必要途径。

       MapReduce由两部分组成：Map与Reduce。Map阶段通过映射函数将一组键值对转换成另一组键值对，而Reduce阶段则负责合并这些新的键值对。这种并行计算模型极大地提高了大数据处理的效率。

       本文将聚焦于Map阶段的核心实现——Mapper。通过解析Mapper类及其子类的源码，我们可以更深入地理解MapReduce的工作机制，并在易观千帆等技术数据处理中发挥更大的效能。

       Mapper类内部包含四个关键方法与一个抽象类：

       setup()：主要为map()方法做准备，例如加载配置文件、传递参数。

       cleanup()：用于清理资源，如关闭文件、处理Key-Value。

       map()：程序的逻辑核心，对输入的文本进行处理（如分割、过滤），以键值对的形式写入context。

       run()：驱动Mapper执行的主方法，按照预设顺序执行setup()、map()、cleanup()。

       Context抽象类扮演着重要角色，用于跟踪任务状态和数据存储，如在setup()中读取配置信息，并作为Key-Value载体。

       下面是几个Mapper子类的详细解析：

       InverseMapper：将键值对反转，适用于不同需求的统计分析。

       TokenCounterMapper：使用StringTokenizer对文本进行分割，计算特定token的数量，适用于词频统计等。

       RegexMapper：对文本进行正则化处理，适用于特定格式文本的统计。

       MultithreadedMapper：利用多线程执行Mapper任务，提高CPU利用率，适用于并发处理。

       本文对MapReduce中Mapper及其子类的源码进行了详尽解析，旨在帮助开发者更深入地理解MapReduce的实现机制。后续将探讨更多关键类源码，以期为大数据处理提供更深入的洞察与实践指导。