Jenkins 在 Kubernetes 上的實踐

Jenkins 是由 Java 編寫的編排引擎,在 Full GC 時會 Stop The World(STW)。在大規模構建時,STW 可能會導致 Jenkins 無法處理新的請求。

配置較大的 -Xms -Xmx 引數

Jenkins 是由 Java 編寫的編排引擎,在 Full GC 時會 Stop The World(STW)。在大規模構建時,STW 可能會導致 Jenkins 無法處理新的請求。

為了避免頻繁的 STW,同時增大併發量,建議設定較大的堆,-Xms3g -Xmx6g -XX:MaxRAM=6g。具體數值可以根據監控值來設定,Java Full GC 之後,記憶體佔用會陡降。

request 不要設定太小

request 設定太小,可能會導致 Jenkins 執行起來之後,節點資源不足,引發驅逐,甚至壓垮節點。

request 應該接近真實值,如果有足夠的機器資源,應該配置親和性,讓 Jenkins 儘可能執行在單獨的機器上。request >= 1。25 * JVM 最大堆記憶體,limit >= 2 * JVM 最大堆記憶體。

IO 效能不能差

Jenkins 使用磁碟檔案儲存資料,每條流水線、每次構建都會佔用一個檔案目錄,產生大量檔案。通常流水線數量有限,但在構建歷史達到 10000+ 級別時,會感受到 IO 對 Jenkins 的影響。

如果使用本地儲存,推薦使用高效能的 SSD。如果是使用網路儲存,需要高效能的網路支援,同時加大客戶端的快取池。

較大的 jenkins_home 的磁碟空間

磁碟滿時,Jenkins 將不能工作,在 Jenkins 後臺會有錯誤提示。

建議對 Jenkins 的工作目錄進行磁碟使用率監控,並配置告警規則。如果沒有監控告警系統,那麼建議直接設定一個較大的磁碟空間給 /var/jenkins_home 目錄。因為有一些 Storage Class 不支援動態擴容,當磁碟滿時,就只能手動複製了。

使用 Kubernetes plugin 在 Kuberntes 上構建

基於物理機、虛擬機器的構建,增加了運維成本、限制了併發的數量。

使用 Kubernetes plugin 外掛在 Kubernetes 上進行構建能充分利用雲原生易擴充套件、易維護的優勢,進行大規模的構建。參考: 在 Kubernetes 上動態建立 Jenkins Slave,https://www。chenshaowen。com/blog/creating-jenkins-slave-dynamically-on-kubernetes。html) 。由於構建比較佔用資源,為了避免對叢集的影響,可以配置親和性,將構建 Pod 集中到指定的節點執行。

使用 CasC 管理 Jenkins 的配置

透過 Jenkins 頁面進行各種構建、安全等配置,不僅繁瑣、不易維護,而且不能夠複用。

使用 CasC 外掛,允許使用者將 Jenkins 的配置,透過文字的形式進行描述,還可以放置到 Git 倉庫中進行版本管理。

jenkins: securityRealm: ldap: configurations: - groupMembershipStrategy: fromUserRecord: attributeName: “memberOf” inhibitInferRootDN: false rootDN: “dc=acme,dc=org” server: “ldaps://ldap。acme。org:1636” nodes: - permanent: name: “static-agent” remoteFS: “/home/jenkins” launcher: jnlp: workDirSettings: disabled: true failIfWorkDirIsMissing: false internalDir: “remoting” workDirPath: “/tmp” slaveAgentPort: 50000 agentProtocols: - “jnlp2”

使用 Custom WAR Packager 打包 Jenkins

在部署一套新的 Jenkins 環境時,會需要安裝大量外掛,非常影響部署速度,同時外掛是否能正常下載也存在不確定性。

Custom WAR Packager 允許使用者將 Jenkins 、配置、外掛打包成一個完整的 war 包或者映象。這樣無論是開發測試,還是線上部署,都可以很方便的部署,並且環境一致,而使用者只需要寫一個 yaml 檔案。

bundle: groupId: com。dev artifactId: “jenkins” description: “Jenkins Custom With Package” vendor: “Jenkins Project” buildSettings: docker: base: jenkins/jenkins:2。277。4 tag: shaowenchen/jenkins:2。277。4 build: true war: groupId: org。jenkins-ci。main artifactId: jenkins-war source: version: 2。277。4 plugins: - groupId: io。jenkins artifactId: configuration-as-code source: version: “1。47” libPatches: - groupId: “org。jenkins-ci。main” artifactId: “remoting” source: git: https://github。com/jenkinsci/remoting。git systemProperties: { jenkins。model。Jenkins。slaveAgentPort: “50000”, jenkins。model。Jenkins。slaveAgentPortEnforce: “true”} groovyHooks: - type: “init” id: “initScripts” source: dir: scripts casc: - id: “jcasc-config” source: dir: jenkins。yml

Jenkins Shared Libraries

在使用 Groovy 編寫 Pipeline 的過程中,經常會有大量重複程式碼。

Jenkins 共享庫提供函式級別的共享,可以在不同流水線之間複用同一套函式邏輯,對於平臺建設、大規模使用場景適用。不僅能加快 Pipeline 編寫,還方便維護、平滑升級。

@Library(‘utils’) import org。foo。Utilities def utils = new Utilities(this) node { utils。mvn ‘clean package’ }

參考

https://www。jenkins。io/zh/doc/book/pipeline/shared-libraries/

https://github。com/jenkinsci/configuration-as-code-plugin

https://github。com/jenkinsci/custom-war-packager

https://zhuanlan。zhihu。com/p/370241822

Jenkins 在 Kubernetes 上的實踐 | 《Linux就該這麼學》 (linuxprobe。com)