一、 Proxmox VE介紹
pve-web頁面概覽
proxmox VE（以下我們簡稱pve）是 一個完整、開源的企業級虛擬化伺服器管理平臺。它將 KVM 管理程式和 Linux 容器 （LXC）、軟體定義的儲存和網路功能緊密整合在一個平臺上。 藉助基於 Web 整合使用者介面，您可以輕鬆管理 VM 和容器、叢集的高可用性同時它又集成了災難恢復工具。
放眼運維圈子裡所有可用的虛擬化軟體，好用的基本都是商業化的，開源的kvm、openstack等等要麼複雜繁瑣維護一個mysql資料庫要麼管理功能不完善，運維成本也很高。對於pve 使用者只需要保證叢集多播通訊正常，pve-cluster就能自動確保所有伺服器狀態資訊一致，不需要使用者額外維護。且pve 無主節點概念，每個節點都可以控制叢集，這樣其實也大大提高了機器的利用率，想要做虛擬化的團隊其實也無非是最大化利用有限的伺服器資源。因此pve絕對是一個很好的選擇。
當然這款軟體也有缺點，上面也說到，pve叢集之間的通訊是依賴多播通訊，因此存在網路擁塞的情況，而且隨著節點的增加擁塞情況幾何級增加，在我們團隊中測試pve在15臺的時候已經開始出現各種問題有儲存問題也有叢集狀態問題。建議最好的節點數量是12臺以下。
二、 proxmox的安裝
官網下載pve的映象，燒錄一個光碟或者u盤，跟正常安裝作業系統一樣，安裝即可。
後續的hostname 需要寫成FQDN的形式（截圖非實際配置）：
實際配置（根據自己實際IP地址填寫）：
網絡卡1-外網： 111。222。x。x gw：111。222。0。1
網絡卡2-內網：192。168。201。xxx/24
FQDN： pv［num］。pve。com
然後一路確認 即可
使用者名稱：root，密碼：xxxxx
https：//192。168。201。52：8006/（IP地址可以換成任何一個節點地址訪問）
三、更換pve的源（預設是一個訂閱版本的源，需要更換為一個開源無訂閱版本的）
# 刪除企業源rm -rf /etc/apt/sources。list。d/pve-enterprise。list#下載秘鑰wget http：//download。proxmox。com/debian/proxmox-ve-release-6。x。gpg -O /etc/apt/trusted。gpg。d/proxmox-ve-release-6。x。gpg# 新增社群源echo “deb http：//download。proxmox。wiki/debian/pve stretch pve-no-subscription” >/etc/apt/sources。list。d/pve-install-repo。listapt update&&apt dist-upgrade
配置一下hosts
#cat /etc/hosts192。168。201。52 pve1。pve。com pve1192。168。201。53 pve2。pve。com pve2192。168。201。54 pve3。pve。com pve3192。168。201。55 pve4。pve。com pve4192。168。201。56 pve5。pve。com pve5192。168。201。57 pve6。pve。com pve6192。168。201。58 pve7。pve。com pve7192。168。201。77 pve8。pve。com pve8
四、 Pve-cluster叢集建立
4。1 建立叢集
隨便進入一臺主機，這裡以
https：//192。168。201。77：8006/
為例（測試環境），點選叢集-建立叢集 輸入叢集資訊即可。
4。2 加入叢集
如上圖，在建立叢集完成後，可以看到加入資訊。複製加入資訊，登入
https：//192。168。201。52：8006/
、
https：//192。168。201。53：8006/
（其他伺服器也執行同樣操作），叢集頁面貼上輸入密碼，pve會自動完成免金鑰登入的配置同時將這兩個節點加入到叢集中來。
五、Proxmox叢集刪除節點
#首先在待隔離節點上停止 pve-cluster 服務：#systemctl stop pve-cluster。service #systemctl stop corosync。service #然後將待隔離節點的叢集檔案系統設定為本地模式：#pmxcfs -l#接下來刪除 corosync 配置檔案：#rm /etc/pve/corosync。conf #rm -rf /etc/corosync/*#最後重新啟動叢集檔案系統服務：#killall pmxcfs#systemctl start pve-cluster。service #最後如果想把該節點重新加入叢集重新執行步驟二即可。#如果因前面的隔離操作，原叢集中剩餘節點已經不滿足多數票，節點刪除命令就會失敗。你可以將期望的多數票數量設定為 1，如下：#pvecm expected 1
六、配置儲存（這裡使用的ceph，當然如果ceph不熟也是可以用本地硬碟儲存的做好raid即可 ）
pve內建一個pve-ceph分散式儲存系統，可以自建ceph 也可以直接透過pve ceph頁面自動安裝pve版本的ceph即可（如果ceph不熟悉的同學建議透過pve web安裝）。
PS：這裡在給使用ceph的運維同學一個建議，如果計劃10個節點，ceph節點不要10個節點都安裝，因為本身ceph需要新增單塊硬碟作為ceph的一個osd，一個osd節點的維護會消耗系統記憶體，由配置項“bluestore_cache_size_hdd” 和 “bluestore_cache_size_ssd”來決定，hdd預設1G記憶體，ssd 3G記憶體因此如果你一個節點有10塊7。2kr硬碟，10個osd那麼記憶體消耗就已經10G了可能沒有多餘記憶體來執行vm了。
6。1 pve ceph安裝
順手簡單介紹ceph，一個 ceph 叢集的組成部分：
若干的 Ceph OSD（物件儲存守護程式） 至少需要一個 Ceph Monitors 監視器（1，3，5，7…） 兩個或以上的 Ceph 管理器 managers，執行 Ceph 檔案系統客戶端是 還需要高可用的 Ceph Metadata Server（檔案系統元資料伺服器）。
RADOS cluster：由多臺 host 儲存伺服器組成的 ceph 叢集
OSD（Object Storage Daemon）：每臺儲存伺服器的磁碟組成的儲存空間
Mon（Monitor）：ceph 的監視器，維護 OSD 和 PG 的叢集狀態，一個 ceph 叢集至少要有一個 mon，可以是一三五七等等這樣的奇數個。
Mgr（Manager）：負責跟蹤執行時指標和 Ceph 叢集的當前狀態，包括儲存利用率，當前性 能指標和系統負載等。
具體安裝很簡單，三步搞定
6。2 系統會自動安裝，安裝完成後進入ceph->configuration
新增硬碟為osd，配置monitor、metaserver，在osd頁面就可以看到當前ceph叢集狀態了
七、透過pve web 建立虛擬機器
映象選擇：兩種方式一種本地映象（local） ，另外一種透過nfs掛載共享儲存
先說local：
優點：如果使用pve本地的映象，即我們把映象上傳至本地映象/var/lib/vz/template/iso 下，然後下圖的local中就可以看到這個目錄下的所有映象
缺點： 只可以本機節點使用，不能共享給其他pve節點
nfs儲存：
優點：統一維護某一個映象目錄，透過nfs共享出來，在pve 資料中心-儲存中掛載城nfs型別的儲存，內容選擇ISO映象。這樣該資料中心所有節點均可以使用該儲存中的所有映象
缺點：nfs的缺點他都有。不過不影響叢集使用，比較推薦NFS儲存
選擇映象完成後，一路確認即可。
八、 pve配置雙虛擬網絡卡
目的是供虛擬機器配置內，外網絡卡
以pv1配置雙網絡卡為例
配置檔案為： /etc/network/interfaces
然後重啟 pve 或者 /etc/init。d/networking restart
九、安全配置
如果pve 配置了公網的許可權，安全是必須要考慮的，因此這一步為pve配置防火牆
9。1。防火牆簡介：
pve有3種防火牆：
a。面對資料中心的防火牆，處理流出流入資料中心的流量。
b。面對節點伺服器，處理主機流入流出的流量。
c。面對vm的防火牆，處理vm流入流出的流量。
實際上，他們是獨立的，互不干預，但又有聯絡。
當我們進入pve-webgui面板。會看到資料中心————節點————vm 這3個模組
9。1。1資料中心防火牆：
資料中心，是由節點組成的一個叢集
可以說，資料中心防火牆，是專門處理叢集流量的防火牆
只有資料中心防火牆開啟，才能開啟叢集內的防火牆，否則單開vm防火牆是沒有意義的
9。1。2主機防火牆
主機防火牆，只負責處理節約本機流量。這個防火牆的開關，不會影響vm的防火牆，所以要開啟vm防火牆，不必開啟這個防火牆
9。2 防火牆配置檔案
#pve的防火牆配置檔案路徑#資料中心防火牆配置檔案路徑/etc/pve/firewall/cluster。fw主機防火牆/etc/pve/nodes/
9。3 配置防火牆
9。4 安全組
9。5 開啟防火牆
9。6 開啟虛擬機器防火牆
9。7 配置vm防火牆
