如何從資料生命週期的角度做好資料資產管理?

資料科學家和權威專家維克托·邁爾·舍恩伯格在其《大資料時代》中指出“雖然大資料還沒有被列入企業的資產負債表,但這只是一個時間問題。”

如何從資料生命週期的角度做好資料資產管理?

與此同時,隨著資料爆發式的增長,越來越多企業認識到資料的重要性,把資料當作資料資產。但資料不等於資料資產,資料必須以合理、易用、安全和易於理解的方式組織起來,能為業務注入有效的價值才能作為資料資產。

資料變成資料資產的前提是有著完整的資料標準管理、資料質量管理、資料安全管理、易於使用的元資料管理和持續產生資料價值管理的從資料產生到銷燬的資料全生命週期管理體系。今天小億就來為大家分享如何從資料生命週期的角度做好資料資產管理?

一、什麼資料生命週期管理?

1.資料生命週期

資料的生命週期是指某個集合的資料從產生或獲取到銷燬的過程。資料生命週期分為:採集、儲存、整合、呈現與使用、分析與應用、歸檔和銷燬幾個階段。在資料的生命週期中,資料價值決定著資料生命週期的長度,並且資料價值會隨著時間的變化而遞減。

2.資料生命週期管理

資料生命週期管理是一種基於策略的方法,用於管理資訊系統的資料在整個生命週期內的流動:從資料建立和初始的儲存,直到它過時被刪除或銷燬。

如何從資料生命週期的角度做好資料資產管理?

資料生命週期管理的目標主要有4點:

①透過規範資料的生命週期管理,提高資料的整體管理水平,滿足監管要求;

②最佳化儲存結構,有效控制在線上資料規模,提高生產資料訪問效率;

③提高系統資源使用效率,確保系統安全、穩定、高效執行;

④做好歷史資料管理,為使用者的客戶服務和經營分析提供資料支撐。

這裡需要注意的是,資料的採集粒度與時效性、儲存方式、整合狀況、視覺化程式、分析的深度和應用銜接的程式,都會對資料價值的體現產生影響。所以需針對資料生命週期各個階段的特點採取不同的管理方式和控制手段。總之,在成本可控、可量化、可管理的前提下,從資料中挖掘出更多有效的資料價值。

與此同時,資料全生命週期管理與企業資料戰略也是密不可分的。資料戰略決定了資料採集策略和範圍、儲存和計算資源投入、資料整合能力、視覺化的程式和分析的廣度與深度等資源投入。

二、常見的資料生命週期管理模型

資料生命週期管理模型定義了一個宏觀的框架,它是從生產階段到消亡階段的資料生命的全景檢視。但是,因為資料有很多自身的特點,又不完全相同,因此,在資料管理領域,學術界和企業界的許多研究人員提出了不同的資料生命週期管理模型,如下圖所示:

如何從資料生命週期的角度做好資料資產管理?

許多模型都是為解決資料管理中的一個特定問題或特定目的而設計的,透過對比分析可以發現有些階段是每個模型共同的,比如資料建立/接收,有些階段則是獨有的,比如資料視覺化。而資料歸檔和銷燬很少有模型涉及,這說明很多模型並沒有把資料當作資產來看待,並沒有考慮資料管理的效益最大化。

而如今資料是一種重要的資源,已經成為一種社會生產要素,被提升為和勞動、土地和資本同等重要的地位,因此建立資料資產生命週期管理模型是非常有必要的,它能幫助企業推動資料生產、使用、治理、實現企業數字化轉型及效益最大化。

三、資料資產生命週期管理模型

如圖所示,根據對資料生命週期管理模型包含階段的統計分析,結合大資料的特點以及企業實踐經驗,資料資產生命週期模型包含11個階段的,分別是計劃、定義、建立/接收、處理、整合、儲存、運維、共享、發現、使用和複用、歸檔&銷燬,旨在消除企業或組織在為任何新專案設計新模型時的認知差異和浪費。這裡,我們把資料資產生命週期的11階段可以劃分為4大階段。

如何從資料生命週期的角度做好資料資產管理?

1.“入”期

不僅僅指資料的建立與接收,有效的資料資產管理始於資料的產生之前開始。首先應該做好規劃和計劃,包括資料資產盤點、資料治理計劃、資料需求計劃等;然後對資料標準進行定義,制定資料管理規範,確保資料按照標準產生,從源頭抓起。在大資料時代,資料不僅來源於企業內部,更多的是需要採集外部資料,但是需要在法律法規允許框架下,根據資料戰略來定義資料採集範圍和採集策略。

2.“存”期

需要對結構化、半結構和非結構化多樣化的資料結構,批資料和流資料多種資料形式進行儲存和處理。面對不同資料結構、資料形式、時效性與效能要求和儲存與計算成本等因素考慮,應該使用適合的儲存形式與計算引擎。

但資料容量的急劇擴大,這對於資料儲存和計算成本帶來極大挑戰。而應針對不同熱度資料採用不同儲存和計算資源,以最佳化儲存和處理成本並提升可用性。

如何從資料生命週期的角度做好資料資產管理?

資料鴻溝、資料孤島的普遍存在需要“整合”來進行連線打通,資料只有整合起來才能發揮更大的價值。只有實現了資料整合,資料倉庫才能稱之為資料倉庫,否則即使把資料集中起來儲存,也只能叫做資料垃圾堆。

3.“用”期

是資料真正產生價值的週期,其他週期都是成本,資料因使用而升值,用處越多價值越大。在“用”這個期間要特別強調“資料複用”這個階段,時下比較流行的資料中臺架構,最大的一個價值就是資料複用和服務複用,這對於節省成本,提高效率非常重要。未來企業或組織在評估一個數據產品值不值得開發很重要的一個指標應該看能不能複用。

4.“出”期

也非常重要,是將那些生命週期步入尾聲的資料儲存到低效能廉價的儲存介質或直接銷燬,是資料生命週期管理必不可少的步驟。雖然現在儲存的價格越來越低,但是如果不加以管理也會產生很大的負擔,對於資料資產整體效益不利。

另外,如不加以區分,本該歸檔或者清除的冷/冰資料和活躍的熱/溫資料存放在一起,將嚴重影響系統與業務效率。對於資料的銷燬,企業應該有嚴格的管理制度,建立資料銷燬的審批流程,並製作嚴格資料銷燬檢查表。只有透過檢查表檢查,並透過流程審批的資料才可被銷燬。

如何從資料生命週期的角度做好資料資產管理?

最後在整個過程中,資料運維提供保障,主要負責對資料庫進行日常維護,對資料進行備份、恢復。確保資料完整性、一致性、及時性,保證資料質量。除此之外,還需要提供資料安全方面的防護,進行使用者授權、身份認證和訪問行為監控等,並保密級別較高的資料進行資料加密、脫敏、匿名化等操作。

四、傳統企業如何做好資料資產生命週期管理?

傳統企業的資料資產生命週期管理需要有持續的資訊化、數字化投入打基礎,整體策略是統籌推動,以用促建、急用先行。

1.業務數字化是資料資產管理的前提

企業要持續進行業務物件數字化、業務規則數字化和業務過程數字化,解決資料有源的問題。業務數字化通常由業務部門驅動,IT使能部門協同推進。

2.資料匯聚入湖是建設資料資產的基礎

企業可以從邏輯上匯聚內外部、結構化/非結構化等異構多源資料,為資料中臺提供完整、清潔的原始資料,資料入湖需遵循相關標準(明確資料Owner,做到責任到位、釋出資料標準,形成企業統一語言、認證資料來源,保證資料有源一致性、定義資料密級,在安全的前提下實現資料共享、評估資料質量,讓資料可信可用、註冊元資料,形成資料資產地圖,方便使用者找到所需資產),最終實現資料找得到、可理解、可信任、可消費。

3.資料中臺是建設資料資產的重點

透過業務和資料雙驅動,做厚資料中臺,重點建設五類資料中臺資產,做好資料主題聯接,支撐資料消費,核心是將資料按業務流(如合同、銷售訂單等)、業務物件(如客戶、供應商等)、標籤(員工、使用者畫像等)、指標資料(原子指標資料、複合指標等)與演算法(機會點挖掘等)進行整合聯接,確保資料整合、透明,形成資料主題資產(如客戶主題等),支撐自助分析、業務過程可視、智慧決策、風險預警和控制、經營與運營報告等資料消費場景。

如何從資料生命週期的角度做好資料資產管理?

4.做好資料資產生命週期管理是核心

持續做好元資料管理、資料質量管理,並加強資料安全與個人隱私保護、資料血緣、資料生態能力。基於資料資產,透過資料服務滿足資料消費是關鍵。透過資料分析平臺,以API形式將資料服務開放給資料消費者,滿足實時可視、風險預警、智慧決策等場景下的資料消費需求。

業務數字化實現了資料有源;建設資料底座,實現資料匯聚和資料資產管理;開發資料服務,減少重複投資,在保障資料安全的前提下滿足多場景的資料資產消費。

五、資料資產生命週期管理的實踐價值

第一,使企業降低成本。

資料成本和效率之間本身存在矛盾,很多公司在做大資料時會用空間換時間,隨著資料的增長,如不及時進行管理和儲存最終會影響到計算效率,導致成本既儲存空間不斷增長。

第二,規避風險。

在對資料進行監管和審計是會對相關資料進行保留,在客戶丟失個人資訊時,可以進行全程追溯,做到風險規避。

第三,提高資料質量。

資料管理的重要目標之一就是提升資料的質量,不透過全生命週期管理資料很難保證資料整體的質量水平,在系統前期建設和開發過程中需要指定完善的業務規則和標準,保證得到高質量的資料。

第四,價值最大化。

不做全生命週期管理則無法從資料上著眼價值和利益的最大化,企業在投資專案前可以透過資料看到產品背後的成本和預期收益,從而對投資是否合理做出判斷。

六、小結

企業資料資產生命週期管理的基礎是,企業首先應樹立資料資產的意識形態,只有真正把資料當做資產看待的時候才會透過資料看到產品的收益和價值,並在後續產品開發之前提前指定資料資產生命週期管理方案。

其次,資料資產建立之前需要統一的資料標準描述資產模型和收集資訊的維度,例如透過使用者ID打通訊息孤島,獲取手機、郵箱、身份證等資訊,進行資料資產的統一建模。

最後,需要對資料資產的處理歷史進行跟蹤,將資料資產從產生到內部業務整合、數倉、應用的全過程打通,透過精細化的管理,為資料成本核算、收集投資收益等資訊建立良好基礎。

當前企業資料資產全生命週期管理存在一些問題,比如資料組織方面,很多企業也缺乏專業的資料資產管理組織;資料管控流程方面,跨域跨專業資料管控流程尚未建立、跨域資料管理技術手段尚不完善;IT架構方面,採用煙囪式的傳統IT架構,使得企業在進行資料資產管理時會遇到資料分散、規模大、種類多、質量差的問題,導致了資料變現的困難。同時在資料安全方面,很多企業沒有進行資料密級的控制,使企業在做資料分享時會遇到不知道該不該給、該給多少的問題,存在資料安全問題。

這裡億信華辰旗下的資料資產管理平臺(EsDataAssets)透過元資料對資訊資產特徵進行描述,並以目錄形式分類管理,形成統一的目錄內容和資料資產服務,豐富的服務介面的拓展,支撐資料資產的多渠道應用,如資料共享服務、分析決策支援等,最終實現資料資產價值最大化。

如何從資料生命週期的角度做好資料資產管理?