hadoop 2.6偽分布安裝 - yjmyzz－IT工程師數位筆記本

文章出處

hadoop 2.6的“偽”分式安裝與“全”分式安裝相比，大部分操作是相同的，主要區別在于不用配置slaves文件，而且其它xxx-core.xml里的參數很多也可以省略，下面是幾個關鍵的配置：

（安裝JDK、創建用戶、設置SSH免密碼這些準備工作，大家可參考hadoop 2.6全分布安裝一文，以下所有配置文件，均在$HADOOP_HOME/etc/hadoop目錄下）

另外,如果之前用 yum install hadoop安裝過低版本的hadoop,請先卸載干凈(即:yum remove hadoop)

一、修改hadoop-env.sh

主要是設置JAVA_HOME的路徑，另外按官網說法還要添加一個HADOOP_PREFIX的導出變量，參考下面的內容：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0

二、修改core-site.xml

 1 <configuration>
 2     <property>
 3       <name>fs.defaultFS</name>
 4       <value>hdfs://172.xx.xx.xxx:9000</value>
 5     </property>
 6     <property>
 7       <name>hadoop.tmp.dir</name>
 8       <value>/home/hadoop/hadoop-2.6.0/tmp</value>
 9     </property>
10 </configuration>

上面的IP，大家換成自己的IP即可, 另外注意:臨時目錄如果不存在,請先手動mkdir創建一個

三、修改hdfs-site.xml

 1 <configuration>
 2   <property>
 3     <name>dfs.datanode.ipc.address</name>
 4     <value>0.0.0.0:50020</value>
 5   </property>
 6   <property>
 7     <name>dfs.datanode.http.address</name>
 8     <value>0.0.0.0:50075</value>
 9   </property>
10   <property>
11     <name>dfs.replication</name>
12     <value>1</value>
13   </property>
14 </configuration>

注：如果只需要跑起來即可，只需要配置dfs.replication即可，另外二個節點，是為了方便eclipse里,hadoop-eclipse-plugin配置時，方便通過ipc.address連接，http.address則是為了方便通過瀏覽器查看datanode

四、修改mapred-site.xml

偽分布模式下，這個可以不用配置

五、修改yarn-site.xml

1 <configuration>
2   <property>
3     <name>yarn.nodemanager.aux-services</name>
4     <value>mapreduce_shuffle</value>
5   </property>
6 </configuration>

可以開始測試了：

1.先格式化

bin/hdfs namenode –format

2、啟動dfs、yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

然后用jps查看java進程，應該能看到以下幾個進程：

25361 NodeManager
24931 DataNode
25258 ResourceManager
24797 NameNode
25098 SecondaryNameNode

還可以用以下命令查看hdfs的報告：

bin/hdfs dfsadmin -report 正常情況下可以看到以下內容

Configured Capacity: 48228589568 (44.92 GB)
Present Capacity: 36589916160 (34.08 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: dc191
Decommission Status : Normal
Configured Capacity: 48228589568 (44.92 GB)
DFS Used: 49152 (48 KB)
Non DFS Used: 11638673408 (10.84 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue May 05 17:42:54 CST 2015