皮皮网

1.hadoop和hadoop有什么不同？
2.Hadoop最全八股
3.深入理解 Hadoop （七）YARN资源管理和调度详解
4.为什么Spark发展不如Hadoop
5.如何在MaxCompute上运行HadoopMR作业
6.10本大数据框架Hadoop学习书籍推荐

hadoop和hadoop有什么不同？

       1、源码运行模式不同：

       单机模式是源码Hadoop的默认模式。这种模式在一台单机上运行，源码没有分布式文件系统，源码而是源码直接读写本地操作系统的文件系统。

       伪分布模式这种模式也是源码exe怎么转源码在一台单机上运行，但用不同的源码Java进程模仿分布式运行中的各类结点。

       2、源码配置不同：

       单机模式（standalone）首次解压Hadoop的源码源码包时，Hadoop无法了解硬件安装环境，源码便保守地选择了最小配置。源码在这种默认模式下所有3个XML文件均为空。源码当配置文件为空时，源码Hadoop会完全运行在本地。源码

       伪分布模式在“单节点集群”上运行Hadoop，源码其中所有的守护进程都运行在同一台机器上。

       3、节点交互不同：

       单机模式因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

       伪分布模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

扩展资料：

       核心架构:

       1、果子源码HDFS：

       HDFS对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。

       2、NameNode

       NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。

       3、DataNode

       DataNode 也是在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

       百度百科-Hadoop

Hadoop最全八股

       分布式系统基础架构，主要解决海量数据存储与分析计算问题。

       Hadoop特点：1.x版本MapReduce功能与资源调度耦合性较高，2.x版本引入Yarn，专责资源调度。伍玖源码

       Hadoop运行模式包括：HDFS客户端、NameNode（Master）、DataNode（Slave）和Secondary NameNode（备NN）。

       Block概念：磁盘读写最小单位，文件系统块为磁盘块整数倍，HDFS同样采用此概念，分解文件为块存储。

       HDFS组件详解：包括HDFS客户端、NameNode、DataNode和Secondary NameNode。

       HDFS的Block块大小默认在2.7.2版本前为M，版本2.7.3及以上调整为M。

       HDFS写流程：文件传输至NameNode，分配Block，DataNode存储Block。

       HDFS读流程：从DataNode读取Block，组装成文件。

       DN节点数据完整性：通过Secondary NameNode监控和备份。

       HDFS HA实现：集群同时运行两个NN，实时同步，故障切换。

       HDFS数据一致性：JN节点确保数据同步，避免脑裂。

       MapReduce区域：分布式运算框架，整合用户代码和默认组件，Rsl源码实现并行计算。

       MapReduce优缺点：高效并行处理数据，但复杂度高，资源管理复杂。

       MapReduce进程：包括InputFormat数据输入、切片与并行度机制、Job提交流程、源码详解、切片机制、FileInputFormat、CombineTextInputFormat。

       MapReduce工作流程：数据切片、Map处理、Shuffle、Reduce处理、数据输出。

       Shuffle机制：数据从MapTask传输至ReduceTask，包括分区、排序、合并。

       OutputFormat数据输出：默认格式TextOutputFormat，实现MapReduce输出。

       MapTask与ReduceTask：MapTask执行Map阶段，ReduceTask执行Reduce阶段。

       MapReduce数据倾斜：数据分布不均，997源码影响计算效率，解决方案包括数据均衡、调整切片策略等。

       Yarn区域：资源调度平台，为运算程序提供运算资源。

       Yarn组件：包含ResourceManager（RM）、NodeManager（NM）、ApplicationMaster和Container模块。

       Yarn工作机制：调度资源，运行MapReduce等运算程序。

       Yarn调度器：FIFO、容量（Capacity Scheduler）、公平（Fair Scheduler），默认设置。

       Yarn生产环境核心参数：监控与日志聚合，确保系统高效稳定运行。

       总结：Hadoop与Yarn是大数据处理的核心技术，涉及分布式存储、计算、资源调度等关键环节，通过优化配置与策略，可实现高效、稳定的数据处理能力。

深入理解 Hadoop （七）YARN资源管理和调度详解

       Hadoop最初为批处理设计，其资源管理与调度仅支持FIFO机制。然而，随着Hadoop的普及与用户量的增加，单个集群内的应用程序类型与数量激增，FIFO调度机制难以高效利用资源，也无法满足不同应用的服务质量需求，故需设计适用于多用户的资源调度系统。

       YARN采用双层资源调度模型：ResourceManager中的资源调度器分配资源给ApplicationMaster，由YARN决定；ApplicationMaster再将资源分配给内部任务Task，用户自定。YARN作为统一调度系统，满足调度规范的分布式应用皆可在其中运行，调度规范包括定义ApplicationMaster向RM申请资源，AM自行完成Container至Task分配。YARN采用拉模型实现异步资源分配，RM分配资源后暂存缓冲区，等待AM通过心跳获取。

       Hadoop-2.x版本中YARN提供三种资源调度器，分别为...

       YARN的队列管理机制包括用户权限管理与系统资源管理两部分。CapacityScheduler的核心特点包括...

       YARN的更多理解请参考官方文档：...

       在分布式资源调度系统中，资源分配保证机制常见有...

       YARN采用增量资源分配，避免浪费但不会出现资源饿死现象。YARN默认资源分配算法为DefaultResourceCalculator，专注于内存调度。DRF算法将最大最小公平算法应用于主资源上，解决多维资源调度问题。实例分析中，系统中有9个CPU和GB RAM，两个用户分别运行两种任务，所需资源分别为...

       资源抢占模型允许每个队列设定最小与最大资源量，以确保资源紧缺与极端情况下的需求。资源调度器在负载轻队列空闲时会暂时分配资源给负载重队列，仅在队列突然收到新提交应用程序时，调度器将资源归还给该队列，避免长时间等待。

       YARN最初采用平级队列资源管理，新版本改用层级队列管理，优点包括...

       CapacityScheduler配置文件capacity-scheduler.xml包含资源最低保证、使用上限与用户资源限制等参数。管理员修改配置文件后需运行"yarn rmadmin -refreshQueues"。

       ResourceScheduler作为ResourceManager中的关键组件，负责资源管理和调度，采用可插拔策略设计。初始化、接收应用和资源调度等关键功能实现，RM收到NodeManager心跳信息后，向CapacityScheduler发送事件，调度器执行一系列操作。

       CapacityScheduler源码解读涉及树型结构与深度优先遍历算法，以保证队列优先级。其核心方法包括...

       在资源分配逻辑中，用户提交应用后，AM申请资源，资源表示为Container，包含优先级、资源量、容器数目等信息。YARN采用三级资源分配策略，按队列、应用与容器顺序分配空闲资源。

       对比FairScheduler，二者均以队列为单位划分资源，支持资源最低保证、上限与用户限制。最大最小公平算法用于资源分配，确保资源公平性。

       最大最小公平算法分配示意图展示了资源分配过程与公平性保证。

为什么Spark发展不如Hadoop

       Spark是一个基于RAM计算的开源码ComputerCluster运算系统，目的是更快速地进行数据分析。Spark早期的核心部分代码只有3万行。Spark提供了与HadoopMap/Reduce相似的分散式运算框架，但基于RAM和优化设计，因此在交换式数据分析和datamining的Workload中表现不错。

       è¿›å…¥å¹´ä»¥åŽï¼ŒSpark开源码生态系统大幅增长，已成为大数据范畴最活跃的开源码项目之一。Spark之所以有如此多的关注，原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特点。

       é¦–先，Spark对分散的数据集进行抽样，创新地提出RDD(ResilientDistributedDataset)的概念，所有的统计分析任务被翻译成对RDD的基本操作组成的有向无环图(DAG)。RDD可以被驻留在RAM中，往后的任务可以直接读取RAM中的数据;同时分析DAG中任务之间的依赖性可以把相邻的任务合并，从而减少了大量不准确的结果输出，极大减少了HarddiskI/O，使复杂数据分析任务更高效。从这个推算，如果任务够复杂，Spark比Map/Reduce快一到两倍。

       å…¶æ¬¡ï¼ŒSpark是一个灵活的运算框架，适合做批次处理、工作流、交互式分析、流量处理等不同类型的应用，因此Spark也可以成为一个用途广泛的运算引擎，并在未来取代Map/Reduce的地位。

       æœ€åŽï¼ŒSpark可以与Hadoop生态系统的很多组件互相操作。Spark可以运行在新一代资源管理框架YARN上，它还可以读取已有并存放在Hadoop上的数据，这是个非常大的优势。

       è™½ç„¶Spark具有以上三大优点，但从目前Spark的发展和应用现状来看，Spark本身也存在很多缺陷，主要包括以下几个方面：

       â€“稳定性方面，由于代码质量问题，Spark长时间运行会经常出错，在架构方面，由于大量数据被缓存在RAM中，Java回收垃圾缓慢的情况严重，导致Spark性能不稳定，在复杂场景中SQL的性能甚至不如现有的Map/Reduce。

       â€“不能处理大数据，单独机器处理数据过大，或者由于数据出现问题导致中间结果超过RAM的大小时，常常出现RAM空间不足或无法得出结果。然而，Map/Reduce运算框架可以处理大数据，在这方面，Spark不如Map/Reduce运算框架有效。

       â€“不能支持复杂的SQL统计;目前Spark支持的SQL语法完整程度还不能应用在复杂数据分析中。在可管理性方面，SparkYARN的结合不完善，这就为使用过程中埋下隐忧，容易出现各种难题。

       è™½ç„¶Spark活跃在Cloudera、MapR、Hortonworks等众多知名大数据公司，但是如果Spark本身的缺陷得不到及时处理，将会严重影响Spark的普及和发展。

如何在MaxCompute上运行HadoopMR作业

       MaxCompute（原ODPS）有一套自己的MapReduce编程模型和接口，简单说来，这套接口的输入输出都是MaxCompute中的Table，处理的数据是以Record为组织形式的，它可以很好地描述Table中的数据处理过程，然而与社区的Hadoop相比，编程接口差异较大。Hadoop用户如果要将原来的Hadoop MR作业迁移到MaxCompute的MR执行，需要重写MR的代码，使用MaxCompute的接口进行编译和调试，运行正常后再打成一个Jar包才能放到MaxCompute的平台来运行。这个过程十分繁琐，需要耗费很多的开发和测试人力。如果能够完全不改或者少量地修改原来的Hadoop MR代码就能在MaxCompute平台上跑起来，将是一个比较理想的方式。

       çŽ°åœ¨MaxCompute平台提供了一个HadoopMR到MaxCompute MR的适配工具，已经在一定程度上实现了Hadoop MR作业的二进制级别的兼容，即用户可以在不改代码的情况下通过指定一些配置，就能将原来在Hadoop上运行的MR jar包拿过来直接跑在MaxCompute上。目前该插件处于测试阶段，暂时还不能支持用户自定义comparator和自定义key类型，下面将以WordCount程序为例，介绍一下这个插件的基本使用方式。

       ä½¿ç”¨è¯¥æ’件在MaxCompute平台跑一个HadoopMR作业的基本步骤如下：

       1. 下载HadoopMR的插件

       ä¸‹è½½æ’件，包名为hadoop2openmr-1.0.jar，注意，这个jar里面已经包含hadoop-2.7.2版本的相关依赖，在作业的jar包中请不要携带hadoop的依赖，避免版本冲突。

       2. 准备好HadoopMR的程序jar包

       ç¼–译导出WordCount的jar包：wordcount_test.jar ，wordcount程序的源码如下:

       package com.aliyun.odps.mapred.example.hadoop;

       import org.apache.hadoop.conf.Configuration;

       import org.apache.hadoop.fs.Path;

       import org.apache.hadoop.io.IntWritable;

       import org.apache.hadoop.io.Text;

       import org.apache.hadoop.mapreduce.Job;

       import org.apache.hadoop.mapreduce.Mapper;

       import org.apache.hadoop.mapreduce.Reducer;

       import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

       import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

       import java.io.IOException;

       import java.util.StringTokenizer;

       public class WordCount {

       public static class TokenizerMapper

       extends Mapper<Object, Text, Text, IntWritable>{

       private final static IntWritable one = new IntWritable(1);

       private Text word = new Text();

       public void map(Object key, Text value, Context context

       ) throws IOException, InterruptedException {

       StringTokenizer itr = new StringTokenizer(value.toString());

       while (itr.hasMoreTokens()) {

       word.set(itr.nextToken());

       context.write(word, one);

       }

       }

       }

       public static class IntSumReducer

       extends Reducer<Text,IntWritable,Text,IntWritable> {

       private IntWritable result = new IntWritable();

       public void reduce(Text key, Iterable<IntWritable> values,

       Context context

       ) throws IOException, InterruptedException {

       int sum = 0;

       for (IntWritable val : values) {

       sum += val.get();

       }

       result.set(sum);

       context.write(key, result);

       }

       }

       public static void main(String[] args) throws Exception {

       Configuration conf = new Configuration();

       Job job = Job.getInstance(conf, "word count");

       job.setJarByClass(WordCount.class);

       job.setMapperClass(TokenizerMapper.class);

       job.setCombinerClass(IntSumReducer.class);

       job.setReducerClass(IntSumReducer.class);

       job.setOutputKeyClass(Text.class);

       job.setOutputValueClass(IntWritable.class);

       FileInputFormat.addInputPath(job, new Path(args[0]));

       FileOutputFormat.setOutputPath(job, new Path(args[1]));

       System.exit(job.waitForCompletion(true) ? 0 : 1);

       }

       }

       3. 测试数据准备

       åˆ›å»ºè¾“入表和输出表

       create table if not exists wc_in(line string);

       create table if not exists wc_out(key string, cnt bigint);

       é€šè¿‡tunnel将数据导入输入表中

       å¾…导入文本文件data.txt的数据内容如下：

       hello maxcompute

       hello mapreduce

       ä¾‹å¦‚可以通过如下命令将data.txt的数据导入wc_in中，

       tunnel upload data.txt wc_in;

       4. 准备好表与hdfs文件路径的映射关系配置

       é…ç½®æ–‡ä»¶å‘½åä¸ºï¼šwordcount-table-res.conf

       {

       "file:/foo": {

       "resolver": {

       "resolver": "c.TextFileResolver",

       "properties": {

       "text.resolver.columns.combine.enable": "true",

       "text.resolver.seperator": "\t"

       }

       },

       "tableInfos": [

       {

       "tblName": "wc_in",

       "partSpec": { },

       "label": "__default__"

       }

       ],

       "matchMode": "exact"

       },

       "file:/bar": {

       "resolver": {

       "resolver": "openmr.resolver.BinaryFileResolver",

       "properties": {

       "binary.resolver.input.key.class" : "org.apache.hadoop.io.Text",

       "binary.resolver.input.value.class" : "org.apache.hadoop.io.LongWritable"

       }

       },

       "tableInfos": [

       {

       "tblName": "wc_out",

       "partSpec": { },

       "label": "__default__"

       }

       ],

       "matchMode": "fuzzy"

       }

       }

本大数据框架Hadoop学习书籍推荐

       Hadoop，一个用Java编写的Apache开源框架，旨在分布式处理大型数据集。它简化了编程模型，让用户在无需了解分布式底层细节的情况下开发分布式程序。Hadoop成为大数据处理平台的首选，广泛应用于各种生产环境。以下是本关于Hadoop学习的推荐书籍，涵盖了从入门到深入的各个方面。

       《Hadoop权威指南》

       本书结合理论与实践，由浅入深地介绍了Hadoop这一高性能的海量数据处理和分析平台。读者能探索如何利用Hadoop分析大量数据集，以及如何安装和运行Hadoop集群。

       《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》

       本书从源代码的角度对MapReduce的架构设计与实现原理进行了详细的解析。适合Hadoop的二次开发人员、应用开发工程师和运维工程师阅读。

       《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》

       本书同样以源代码为基础，深入剖析了Common和HDFS的架构设计与实现原理，适合相关领域专业人士阅读。

       《Hadoop技术内幕：深入解析YARN架构设计与实现原理》

       本书系统讲解了YARN的基本库和组件用法、应用程序设计方法、以及YARN上流行的计算框架。适合对YARN有深入研究的读者。

       《深入理解Hadoop》

       作者基于实践经验，深入浅出地讲解了Hadoop框架，包含大量实例和技巧，帮助开发者快速掌握分布式系统。

       《Hadoop 2.X HDFS源码剖析》

       本书基于Hadoop 2.6.0源码，详细剖析了HDFS 2.X中各个模块的实现细节，适合从架构设计和源码实现角度了解HDFS的读者。

       《Hadoop实战》

       本书深入浅出地介绍了Hadoop框架和编写数据处理程序所需的实践技能，适合需要处理大量离线数据的云计算程序员、架构师和项目经理。

       《Hadoop海量数据处理：技术详解与项目实战》

       本书从理论到实践，适合Hadoop初学者，也可作为高等院校相关课程的参考教材。

       《Hadoop基础教程》

       本书着重讲解了如何搭建Hadoop工作系统并完成任务，适合对Hadoop有初步了解的读者。

       《Hadoop构建数据仓库实践》

       本书适合数据库管理员、大数据技术人员、Hadoop技术人员和数据仓库技术人员，也是高等院校相关专业的教学参考。

       《Hadoop应用架构》

       本书提供了专业的架构指导，适用于设计Hadoop应用或集成Hadoop到现有数据基础架构的读者。

       《Hadoop技术详解》

       本书全面介绍Hadoop的各项操作，从设计到安装和设置，帮助读者构建稳定可靠的系统。适合希望深入理解Hadoop工作原理的开发者。