基於元資料的資料治理分析功能說明

資料對於企業來說是非常重要的,因為企業資料需要

保證其完整性和準確性

,所以需要資料治理。MDM基礎資料平臺是對各個業務系統的主資料進行治理,而各個業務系統中的業務資料則需要在DAP資料分析平臺進行治理。

DAP資料分析平臺透過與ESB應用整合平臺結合使用場景主要是透過配置排程任務,透過執行排程任務呼叫ESB資料同步流程,實現資料的採集、校驗、轉換、傳輸、排程等操作,基礎資料為DAP提供同源並標準的、一致的資料保障資料分析分析資料的準確性,而

透過血緣分析和影響分析就看清整個DAP全生命週期資料的軌跡

整體介紹

DAP資料分析平臺就是採集各個業務系統的資料,進行資料篩選(表和欄位、資料)、質量校驗等步驟建立數倉,保證了資料標準性、完整性、準確性,從而實現企業業務資料的統一,透過資料視覺化展現、資料服務來展現DAP資料分析平臺的價值。

1.產品體系

首先介紹一下我們數通暢聯的產品體系:

基於元資料的資料治理分析功能說明

我們數通暢聯的所有產品都是

透過K8S雲平臺進行部署搭建產品環境

,透過不同的產品組合方案來解決企業面臨的不同資訊化困境,幫助企業完善資訊化發展。

上圖所示透過DAP資料分析平臺+MDM基礎資料平臺+ESB企業服務匯流排組成了資料中臺方案,本次介紹的DAP資料分析平臺就是此方案的核心,基礎資料進行主資料治理,DAP資料分析平臺進行業務資料治理,透過ESB進行資料的整合,幫助整合企業資料,統一管理,提升企業的資料價值。

2.產品說明

資料分析平臺全生命週期是

透過採集各個業務系統資料構建數倉

,從而進行有效分析的過程,能夠真實、準確、有效的將企事業內部及行業外部相關資料進行視覺化展現,幫助企事業提升行業洞察力,加強決策力,從而提升整體競爭力。

基於元資料的資料治理分析功能說明

資料分析平臺功能有:

1。資料來源(應用系統定義、資料來源頭配置、ODS資料定義)數倉模型。

2。數倉模型(業務主題、維度配置、事實配置、模型配置、指標管理)。

3。資料排程(規則校驗、排程資源(同步資源、加工資源)、排程任務、排程日誌(同步日誌、加工日誌)、質量日誌、通知日誌)。

4。分析模型(資料集配置、立方體配置、業務類報表、多維度分析)。

5。展現模型(導航管理、元件管理、展現主題、裝飾管理)。

6。資料服務(接收服務、查詢服務、統計服務、指標服務、業務服務)

7。演算法模型(演算法配置、標籤管理、演算法日誌)。

8。統計分析(資料地圖、質量分析、血緣分析、影響分析)。

9。系統管理(組織管理、角色管理、人員管理、功能管理、編碼型別、編碼管理、系統日誌)。

3.資料治理

各個業務系統中的資料需要在DAP資料分析平臺中進行治理分析

,資料治理是透過ODS定義功能篩選業務系統表,在從ODS選擇維度表和基礎事實表,進行資料的校驗清洗,保證維度表和基礎資料中的資料是完整的、準確的,這樣在進行彙總事實表加工,這樣就建立起了數倉,並透過數倉中建立數倉模型,透過數倉模型建立想要資料集、立方體、報表等分析模型。

基於元資料的資料治理分析功能說明

功能場景

業務資料治理需是從資料來源頭到數倉建設、在透過模型建立分析模型,這個過程是很複雜的,所以透過血緣分析和影響分析幫助客戶清晰便捷的檢視或者調整對應功能中。

1.場景介紹

血緣分析和影響分析

貫穿整個DAP產品的生命週期

,透過血緣分析和影響分析功能能夠清晰檢視數倉建設、資料的來源和去向,可以檢視每個功能模組的每個操作步驟,把整體功能關聯關係準確呈現出來,讓使用者能夠把控好全域性。

基於元資料的資料治理分析功能說明

2.血緣分析

血緣分析是

對其模型的來源進行查詢

,透過血緣分析能夠清晰地查詢到模型來源有哪些維表、事實表,檢視到來源表(維度表、基礎事實表、彙總事實表)的欄位、檢視到有哪些中間庫表,檢視到有哪些來源系統。

基於元資料的資料治理分析功能說明

3.影響分析

影響分析是

對其所用的功能進行查詢

,比如一個模型它有哪些資料集立方體使用,然後它哪些導航、哪些頁面、哪些元件例項所用到,從而分析它們的關聯關係。

基於元資料的資料治理分析功能說明

血緣分析

血緣分析是對其來源進行查詢,透過血緣分析能夠清晰地查詢到配置所用欄位來源那些表、哪個來源系統。

1.功能說明

血緣分析:進入

右側是主題樹、左側血緣關係圖

(中間是模型、下面是應用系統、上面是資料表,點選應用系統,下面是資料表,點選資料關係圖上面高亮顯示,點選資料表,下面列表顯示欄位,雙擊欄位彈出影響支脈圖)。

2.技術要點

在建立ODS時候插入下面表裡一條資訊(邏輯主鍵、ODS的ID)。在數倉建設時候進行更新這個表(維度表ID或者事實表ID、數倉資源型別),然後建立模型的時候更新下面表元件(模型ID)。

ODS關聯數倉表關聯模型表:

基於元資料的資料治理分析功能說明

3.功能展示

血緣分析主頁面屬於列表頁:

左側是主題樹、右側是分析模型

。右側顯示模型,顯示欄位:模型編碼、模型名稱、模型分組、來源表個數、來源欄位個數。

基於元資料的資料治理分析功能說明

點選模型進入分析頁面:

左側是不同主題樹,右側是血緣關係圖

,點選分析模型進入分析首頁展現形式採用血緣關係圖的方式:

1。中間是對應分析模型。

2。下面是來源應用系統。

3。上面是模型關聯的資料

點選應用系統下面是對應的關聯資料表物件資訊。

1。點選資料表關係圖上面的資料表高亮顯示。

基於元資料的資料治理分析功能說明

點選上面資料表,下面顯示對應表的欄位資訊。

基於元資料的資料治理分析功能說明

3。選擇一條資料表然後點選檢視引用按鈕,彈出影響支脈圖。

基於元資料的資料治理分析功能說明

影響分析

影響分析是對其所用的功能進行查詢,比如一個模型它有哪些資料集立方體使用,然後它哪些導航、哪些頁面、哪些元件例項所用到,從而分析它們的關聯關係。

1.功能說明

影響分析:進入

右側是主題樹、左側影響關係圖

(中間是模型、下面是立方體、上面是頁面,點選立方體,下面是2個標籤,一個是立方體欄位、一個是資料集欄位,點選頁面,下面顯示的是元件雙擊欄位或者元件彈出影響支脈圖,點選不同顯示不同支脈)。

2.技術要點

在建立模型時候插入下面表裡一條資訊(邏輯主鍵、模型ID)。然後透過資料集選擇模型時候更新這個表(資料集ID),然後元件例項選擇元件資料集的時候更新下面表元件(元件例項ID)。

模型關聯資料集元件例項表。

基於元資料的資料治理分析功能說明

3.功能展示

影響分析主頁面屬於列表頁:

左側是主題樹、右側是分析模型

右側顯示模型,顯示欄位:模型編碼、模型名稱、模型分組、頁面個數、元件例項個數。

基於元資料的資料治理分析功能說明

點選模型進入分析頁面:

左側是不同主題樹,右側是血緣關係圖

,點選分析模型進入分析首頁展現形式採用影響分析關係圖的方式:

1。中間是對應分析模型。

2。下面是立方體。

3。上面是頁面。

基於元資料的資料治理分析功能說明

點選立方體下面是立方體欄位和資料集資訊物件資訊。

基於元資料的資料治理分析功能說明

點選上面資料表,下面顯示對應表的欄位資訊。

選擇一條資料表然後點選擊檢視引用按鈕,彈出影響支脈圖。

基於元資料的資料治理分析功能說明

資料治理

資料治理過程主要說的就是資料從業務系統到ODS中間庫,再到數倉建設(維度表、基礎事實表、彙總事實表),基於數倉建立資料模型,最後形成相應的資料集立方體的過程。

1.資料來源

資料來源是就對各個業務系統的定義、各個業務系統資料庫和ODS、數倉資料庫的配置,透過各個業務系統來獲取表建立ODS,透過血緣分析能夠檢視到ODS來源有哪些應用系統、使用那些資料庫。

應用系統定義:

基於元資料的資料治理分析功能說明

資料庫配置選擇來源那些應用系統:

基於元資料的資料治理分析功能說明

這樣在建立ODS後,在ODS中就可以看到來源那些應用系統:

基於元資料的資料治理分析功能說明

2.數倉模型

數倉模型是從ODS到數倉,分別是ODS到維度表、ODS到基礎事實表、然後進行彙總事實表加工處理,然後透過這些表建立模型,這個過程也可以透過血緣分析功能註冊到了關聯表中,這樣

透過模型能檢視引用關聯關係

維度表配置:

列表頁面:

基於元資料的資料治理分析功能說明

編輯頁面:

基於元資料的資料治理分析功能說明

基礎事實表配置:

列表頁面:

基於元資料的資料治理分析功能說明

編輯頁面:

基於元資料的資料治理分析功能說明

彙總事實表:

基於元資料的資料治理分析功能說明

透過上述建立的表建立資料模型。

基於元資料的資料治理分析功能說明

透過資料模型能檢視到引用資訊:

基於元資料的資料治理分析功能說明

3.分析模型

分析模型是透過資料模型建立的資料集、立方體和報表分析模型,透過血緣分析和影響分析能夠檢視到來源資料模型和使用元件例項。

資料集配置:

可以檢視到來源那個資料模型。

基於元資料的資料治理分析功能說明

支援跳轉到對應資料模型功能:

基於元資料的資料治理分析功能說明

可以檢視使用資料集所被那些元件引用:

基於元資料的資料治理分析功能說明

立方體來源是資料集:

基於元資料的資料治理分析功能說明

心得總結

在實際應用中,資料分析可幫助人們做出判斷,以便採取適當行動,所以

資料一定是標準的、完整的、準確的

,透過上述質量校驗功能把業務系統中不正確資料過濾掉、調整後,使數倉中的資料具有可用性,這樣分析出來的資訊才能正確引導公司的發展。

1.產品作用

血緣分析、影響分析是

統計數倉資料,資料資產的盤點

,檢視數倉建設全生命週期,瞭解建設東西把握它們的關聯關係,從而保障數倉建設的完整性、正確性,提高資料分析的價值,幫助企業有效的進行決策分。

DAP資料分析平臺就大大加強了資料治理這塊,加強資料應用,透過本文所講的質量校驗功能,

保證數倉中資料具有完整性、準確性

,這樣無論資料服務和資料視覺化展現都會提升企業資料價值。

2.產品應用

資料分析平臺應用分為

視覺化展現和資料服務

的提供,透過資料視覺化,業務組織可以提高他們在需要時查詢所需資訊的能力,也透過資料服務對外提供服務,業務系統可以透過服務抽取資料來保證系統的執行,企業中資料統一管理,統一規劃。

DAP資料平臺是我們資料中臺的一部分,資料中臺也是看作dPaaS,透過PaaS構建SaaS,PaaS平臺可以根據自身優勢採用與SaaS應用合作的模式,最終讓SaaS應用的交付結果更具有行業適配能力。

3.產品發展

在未來企業數字化轉型中“

平臺+應用

”成為企業數字化轉型的IT建設新模式,透過dPaaS(DAP資料分析平臺+MDM主資料管理平臺+ESB企業服務匯流排)整合各個業務系統資料,這樣為SaaS應用合作的模式打下堅實基礎,就可以幫助企業快速穩健數智化升級轉型來提升它們的商業價值。

DAP還可以透過資料檢索可以搜尋到不同主題、不同型別的業務資料(比如:文件類的資料),數倉資料進行機器學習進行計算,透過計算讓客戶瞭解企業瞭解企業發展趨勢,未來走向,透過資料報告配置出企業會議的PPT演講報告,從而提高企業的資料價值。

本文由@數通暢聯原創,歡迎轉發,僅供學習交流使用,引用請註明出處!謝謝~