大資料開發技術之HDFS-HA叢集配置

大資料技術培訓學習中叢集搭建一直是比較重要的部分課程,也是我們必須掌握的課程,今天小編就為大家講解一下大資料培訓技術中叢集搭建中的配置如何實現。

大資料開發技術之HDFS-HA叢集配置

1 環境準備

修改IP

修改主機名及主機名和IP地址的對映

關閉防火牆

ssh免密登入

安裝JDK,配置環境變數等

2 規劃叢集

表3-1

hadoop102

hadoop103

hadoop104

NameNode

NameNode

JournalNode

JournalNode

JournalNode

DataNode

DataNode

DataNode

ZK

ZK

ZK

ResourceManager

NodeManager

NodeManager

NodeManager

3 配置Zookeeper叢集

叢集規劃

在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。

解壓安裝

(1)解壓Zookeeper安裝包到/opt/module/目錄下

[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3。4。10。tar。gz -C /opt/module/

(2)在/opt/module/zookeeper-3。4。10/這個目錄下建立zkData

mkdir -p zkData

(3)重新命名/opt/module/zookeeper-3。4。10/conf這個目錄下的zoo_sample。cfg為zoo。cfg

mv zoo_sample。cfg zoo。cfg

配置zoo。cfg檔案

(1)具體配置

dataDir=/opt/module/zookeeper-3。4。10/zkData

增加如下配置

server。2=hadoop102:2888:3888

server。3=hadoop103:2888:3888

server。4=hadoop104:2888:3888

(2)配置引數解讀

Server。A=B:C:D。

A是一個數字,表示這個是第幾號伺服器;

B是這個伺服器的IP地址;

C是這個伺服器與叢集中的Leader伺服器交換資訊的埠;

D是萬一叢集中的Leader伺服器掛了,需要一個埠來重新進行選舉,選出一個新的Leader,而這個埠就是用來執行選舉時伺服器相互通訊的埠。

叢集模式下配置一個檔案myid,這個檔案在dataDir目錄下,這個檔案裡面有一個數據就是A的值,Zookeeper啟動時讀取此檔案,拿到裡面的資料與zoo。cfg裡面的配置資訊比較從而判斷到底是哪個server。

叢集操作

(1)在/opt/module/zookeeper-3。4。10/zkData目錄下建立一個myid的檔案

touch myid

新增myid檔案,注意一定要在linux裡面建立,在notepad++裡面很可能亂碼

(2)編輯myid檔案

vi myid

在檔案中新增與server對應的編號:如2

(3)複製配置好的zookeeper到其他機器上

scp -r zookeeper-3。4。10/ root@hadoop103。atguigu。com:/opt/app/

scp -r zookeeper-3。4。10/ root@hadoop104。atguigu。com:/opt/app/

並分別修改myid檔案中內容為3、4

(4)分別啟動zookeeper

[root@hadoop102 zookeeper-3。4。10]# bin/zkServer。sh start

[root@hadoop103 zookeeper-3。4。10]# bin/zkServer。sh start

[root@hadoop104 zookeeper-3。4。10]# bin/zkServer。sh start

(5)檢視狀態

[root@hadoop102 zookeeper-3。4。10]# bin/zkServer。sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3。4。10/bin/。。/conf/zoo。cfg

Mode: follower

[root@hadoop103 zookeeper-3。4。10]# bin/zkServer。sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3。4。10/bin/。。/conf/zoo。cfg

Mode: leader

[root@hadoop104 zookeeper-3。4。5]# bin/zkServer。sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3。4。10/bin/。。/conf/zoo。cfg

Mode: follower