大資料技術培訓學習中叢集搭建一直是比較重要的部分課程,也是我們必須掌握的課程,今天小編就為大家講解一下大資料培訓技術中叢集搭建中的配置如何實現。
1 環境準備
修改IP
修改主機名及主機名和IP地址的對映
關閉防火牆
ssh免密登入
安裝JDK,配置環境變數等
2 規劃叢集
表3-1
hadoop102
hadoop103
hadoop104
NameNode
NameNode
JournalNode
JournalNode
JournalNode
DataNode
DataNode
DataNode
ZK
ZK
ZK
ResourceManager
NodeManager
NodeManager
NodeManager
3 配置Zookeeper叢集
叢集規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
解壓安裝
(1)解壓Zookeeper安裝包到/opt/module/目錄下
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3。4。10。tar。gz -C /opt/module/
(2)在/opt/module/zookeeper-3。4。10/這個目錄下建立zkData
mkdir -p zkData
(3)重新命名/opt/module/zookeeper-3。4。10/conf這個目錄下的zoo_sample。cfg為zoo。cfg
mv zoo_sample。cfg zoo。cfg
配置zoo。cfg檔案
(1)具體配置
dataDir=/opt/module/zookeeper-3。4。10/zkData
增加如下配置
server。2=hadoop102:2888:3888
server。3=hadoop103:2888:3888
server。4=hadoop104:2888:3888
(2)配置引數解讀
Server。A=B:C:D。
A是一個數字,表示這個是第幾號伺服器;
B是這個伺服器的IP地址;
C是這個伺服器與叢集中的Leader伺服器交換資訊的埠;
D是萬一叢集中的Leader伺服器掛了,需要一個埠來重新進行選舉,選出一個新的Leader,而這個埠就是用來執行選舉時伺服器相互通訊的埠。
叢集模式下配置一個檔案myid,這個檔案在dataDir目錄下,這個檔案裡面有一個數據就是A的值,Zookeeper啟動時讀取此檔案,拿到裡面的資料與zoo。cfg裡面的配置資訊比較從而判斷到底是哪個server。
叢集操作
(1)在/opt/module/zookeeper-3。4。10/zkData目錄下建立一個myid的檔案
touch myid
新增myid檔案,注意一定要在linux裡面建立,在notepad++裡面很可能亂碼
(2)編輯myid檔案
vi myid
在檔案中新增與server對應的編號:如2
(3)複製配置好的zookeeper到其他機器上
scp -r zookeeper-3。4。10/ root@hadoop103。atguigu。com:/opt/app/
scp -r zookeeper-3。4。10/ root@hadoop104。atguigu。com:/opt/app/
並分別修改myid檔案中內容為3、4
(4)分別啟動zookeeper
[root@hadoop102 zookeeper-3。4。10]# bin/zkServer。sh start
[root@hadoop103 zookeeper-3。4。10]# bin/zkServer。sh start
[root@hadoop104 zookeeper-3。4。10]# bin/zkServer。sh start
(5)檢視狀態
[root@hadoop102 zookeeper-3。4。10]# bin/zkServer。sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3。4。10/bin/。。/conf/zoo。cfg
Mode: follower
[root@hadoop103 zookeeper-3。4。10]# bin/zkServer。sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3。4。10/bin/。。/conf/zoo。cfg
Mode: leader
[root@hadoop104 zookeeper-3。4。5]# bin/zkServer。sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3。4。10/bin/。。/conf/zoo。cfg
Mode: follower