Linux下安裝Hadoop集群詳細步驟
1.在usr目錄下創建Hadoop目錄,將安裝包導入目錄中並解壓文件
2.進入vim /etc/profile文件並編輯配置文件
#hadoop export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/bin
3.使文件生效
source /etc/profile
4.進入Hadoop目錄下
cd /usr/hadoop/hadoop-2.6.0/etc/hadoop
5.編輯配置文件
(1)進入vim hadoop-env.sh文件添加(java jdk文件所在位置)
export JAVA_HOME=/usr/java/jdk1.8.0_181
(2)進入 vim core-site.xml(z1:在主節點的ip或者映射名(改成自己的))
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/root/hadoop/tmp</value> </property> <!--端口號9000--> <property> <name>fs.default.name</name> <value>hdfs://z1:9000</value> </property> <!--開啟垃圾桶機制單位分鐘--> <property> <name>fs.trash .insterval</name> <value>10080</value> </property> <!--緩沖區大小,實際工作根據服務器性能--> <property> <name>io.file. buffer.sizei</name> <value>4096</value> </property> </configuration> 39,9 底端
(3)Hadoop沒有mapred-site.xml這個文件現將文件復制到這然後進入mapred-site.xml
cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
(z1:在主節點的ip或者映射名(改成自己的))
<configuration> <property> <!--指定Mapreduce運行在yarn上--> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!--開啟MapReduce的小任務模式--> <property> <name>mapred.job.ubertask.enable</name> <value>true</value> </property> <property> <name>mapred.job.tracker</name> <value>z1:9001</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>CMaster:10020</value> </property> </configuration>
(4)進入yarn-site.xml
vim yarn-site.xml
(z1:在主節點的ip或者映射名(改成自己的))
<configuration> <!-- Site specific YARN configuration properties --> <!--配置yarn主節點的位置--> <property> <name>yarn.resourcemanager.hostname</name> <value>z1</value> </property> <property> <!-- mapreduce ,執行shuff1e時獲取數據的方式.--> <description>The address of the appiications manager interface inthe RM.</description> <name>yarn.resourcemanager.address</name> <value>z1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>z1:8030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>z1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.https.address</name> <value>z1:8090</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>z1:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>z1:8033</value> </property> <property><!--mapreduce執行shuff1e時獲取數據的方式,--> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <!--設置內存,yarn的內存分配--> <name>yarn.scheduler.maximum-a11ocation-mb</name> <value>2024</value> <discription>每個節點可用內存,單位M,默認8182MB</discription> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.1</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
(5)進入hdfs-site.xml
vim hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value> </property> <property> <!--副本個數--> <name>dfs.replication</name> <value>3</value> </property> <!--設置hdfs的文件權限--> <property> <name>dfs.permissions</name> <value>false</value> </property> <!--設置一個文件切片的大小:128m--> <property> <name>dfs.bloksize</name> <value>134217728</value> </property> </configuration>
6.進入slaves添加主節點和從節點
vim slaves
添加自己的主節點和從節點(我的是z1,z2,z3)
7.將各個文件復制到其他虛擬機上
scp -r /etc/profile root@z2:/etc/profile #將環境變量profile文件分發到z2節點 scp -r /etc/profile root@z3:/etc/profile #將環境變量profile文件分發到z3節點 scp -r /usr/hadoop root@z2:/usr/ #將hadoop文件分發到z2節點 scp -r /usr/hadoop root@z3:/usr/ #將hadoop文件分發到z3節點
生效兩個從節點的環境變量
source /etc/profile
8.格式化hadoop (僅在主節點中進行操作)
首先查看jps是否啟動hadoop
hadoop namenode -format
當看到Exiting with status 0時說明格式化成功
9.回到Hadoop目錄下(僅在主節點操作)
cd /usr/hadoop/hadoop-2.6.0 sbin/start-all.sh 啟動Hadoop僅在主節點操作
主節點輸入jps效果:
從節點輸jps效果:
到此這篇關於Linux下安裝Hadoop集群詳細步驟的文章就介紹到這瞭,更多相關Linux安裝Hadoop集群內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Windows下使用IDEA搭建Hadoop開發環境的詳細方法
- Linux下Hadoop 2.7.3 安裝搭建過程
- 新手Hadoop安裝 環境搭建
- Hadoop運行時遇到java.io.FileNotFoundException錯誤的解決方法
- Hadoop中的壓縮與解壓縮案例詳解