1.hadoop å®è£
å
çåºå«ãå¨çº¿ç谢谢åä½ã
2.hadoop和hadoop有什么区别?
3.å¦ä½å¨ubuntuä¸å®è£
hadoop
hadoop å®è£ å çåºå«ãå¨çº¿ç谢谢åä½ã
hadoop-2.6.0-src.tar.gzæ¯æºç å缩æ件ãå¯ä»¥ç¨eclipseå¯¼å ¥ç 究æºç ï¼æè Mavenæ建ç¼è¯æå ã
hadoop-2.6.0.tar.gzæ¯å·²ç»å®æ¹åå¸çå缩å ï¼å¯ä»¥ç´æ¥ä½¿ç¨ãä¸è¿å®ç½ä¸è½½çhadoopåå¸çæ¬åªéåxç¯å¢ï¼è¥è¦xçåéè¦Mavenéæ°æ建ã
*.mds æ¯æè¿°æ件ï¼è®°å½å缩å çMD5ï¼SHA1çä¿¡æ¯ã
hadoop和hadoop有什么区别?
1、源码运行模式不同:单机模式是安装Hadoop的默认模式。这种模式在一台单机上运行,源码没有分布式文件系统,安装通达信多空转换表公式源码而是源码直接读写本地操作系统的文件系统。
伪分布模式这种模式也是安装在一台单机上运行,但用不同的源码Java进程模仿分布式运行中的各类结点。
2、安装配置不同:
单机模式(standalone)首次解压Hadoop的源码源码包时,Hadoop无法了解硬件安装环境,安装便保守地选择了最小配置。源码易回租源码在这种默认模式下所有3个XML文件均为空。安装当配置文件为空时,源码Hadoop会完全运行在本地。安装
伪分布模式在“单节点集群”上运行Hadoop,源码其中所有的事务传播机制源码守护进程都运行在同一台机器上。
3、节点交互不同:
单机模式因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的江博士溯源码应用逻辑。
伪分布模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。
扩展资料:
核心架构:
1、eth盗U源码HDFS:
HDFS对外部客户机而言,HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。存储在 HDFS 中的文件被分成块,然后将这些块复制到多个计算机中(DataNode)。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。
2、NameNode
NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。
3、DataNode
DataNode 也是在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是:机架内部节点之间的传输速度快于机架间节点的传输速度。
百度百科-Hadoop
å¦ä½å¨ubuntuä¸å®è£ hadoop
1ãå建hadoop管çåå¸å·
ç´æ¥å¨ç»ç«¯æ§è¡å¦ä¸å½ä»¤è¡ï¼
1 sudo adduser hadoop
ç¶åè¦æ±ä½ 设置hadoopå¸æ·å¯ç ï¼è¿ä¸ªå½ä»¤æ¯æ·»å ä¸ä¸ªå为hadoopçæ åå¸æ·ï¼æ们éè¦çæ¯ç®¡çåå¸å·
å¯ä»¥ç´æ¥å¨å¾å½¢çé¢ä¸ä¿®æ¹hadoopæéï¼å°é¼ æ ç¹å»å³ä¸è§çä¸ä¸ªäººå¤´å¤ï¼æµ®ç°å表ï¼ç¹å»âç¨æ·è´¦æ·âï¼è§£éï¼ç¶åæ´æ¹ä¸ºç®¡çåæé
2ãå®è£ sshæå¡
sshå¯ä»¥å®ç°è¿ç¨ç»å½å管çï¼è¯¦ç»æ åµè¯·googleç¾åº¦
ubuntué»è®¤å¹¶æ²¡æå®è£ sshæå¡ï¼å¦æéè¿sshé¾æ¥ubuntuï¼éè¦èªå·±æå¨å®è£ ssh-serverãå½ä»¤è¡ï¼
1 sudo apt-get install ssh openssh-server
3ãsshæ å¯ç éªè¯ç»å½
å建ssh-keyï¼è¿éæ们éç¨rsaæ¹å¼ï¼å½ä»¤è¡å¦ä¸ï¼
1 ssh-keygen -t rsa -P ""
åºç°ä¸ä¸ªå¾å½¢ï¼åºç°çå¾å½¢å°±æ¯å¯ç ï¼ä¸ç¨ç®¡å®
1 cat ~/.ssh/id_rsa.pub >> authorized_keys
ç¶åå³å¯æ å¯ç éªè¯ç»å½äºï¼å¦ä¸ï¼
1 ssh localhost
éåºå½ä»¤è¡ä¸ºï¼
exit
4ã解åhadoopæºç å
ç»ç«¯ä¸è¿å ¥hadoopæºç å æå¨ç®å½ï¼ä½¿ç¨å¤å¶å½ä»¤æhadoopæºç å å¤å¶å°/home/hadoopä¸
1 cp hadoop-1.2.1.tar.gz /home/hadoop
ç¶å解å,å½ä»¤è¡å¦ä¸
tar -xzvf *.tag.gz
5ãé ç½®hadoopçhadoop/confä¸çhadoop-env.shï¼core-site.xmlï¼mapred-site.xmlï¼hdfs-site.xml
é ç½®hadoop-1.2.1/conf/hadoop-env.shï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh
ctrl + f æç´¢å°JAVA_HOME
æåé¢ç#å»æï¼å ä¸æ¬ç³»ç»jdkè·¯å¾ï¼ä¿åéåº
é ç½®hadoop-1.2.1/conf/core-site.xmlï¼å½ä»¤è¡ï¼
gedit /home/hadoop/hadoop-1.2.1/conf/core-site.xml
å¨hadoopæ°å»ºhadoop_tmpç®å½ï¼
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
é ç½®hadoop-1.2.1/conf/mapre-site.xmlï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration>
é ç½®hadoop-1.2.1/conf/hdfs-site.xmlï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
è³æ¤hadoopçå®è£ é 置已ç»å®æ¯ï¼ç¨åçæ¯hadoopçå次è¿è¡æä½
6ãæ ¼å¼åhdfsæ件系ç»
è¿å ¥hadoop-1.2.1
/bin/hadoop namenode -format
7ãå¯å¨hadoopæå¡
/bin/start-all.sh
åºç°å¦ä¸ç»é¢
jps
jpsæ¯æ¥çjavaèææºè¿è¡çjava线ç¨
ç¶ååºç°å¦ä¸ç»é¢
ä¸è®¡jpsï¼æäºä¸ªhadoopç¸å ³çº¿ç¨ï¼æåä½ ï¼hadoopå®è£ é ç½®æåï¼è¿è¡æ£å¸¸ã
ç¶åå¯ä»¥éåºhadoopãï¼ä»¥ååç¨æ¶åå¯å¨ï¼å¯¼å ¥æ°æ®