什麼是資料中臺,關於資料中臺最好的解讀

寫在前面的話:不要被技術嚇到哦 ,本文儘量寫的白話,致力為從事大資料的運營、諮詢規劃、需求以及想學習大資料的入門者提供知識分享

導讀:

本文將闡述:為什麼要建設資料中臺,什麼是資料中臺,資料中臺具備什麼樣的能力。採用什麼技術來實現

一、為什麼要建設資料中臺

因為在當今網際網路時代,使用者才是商業戰場的中心,為了快速響應使用者的需求,藉助平臺化的力量可以事半功倍。

不斷快速響應、探索、挖掘、引領使用者的需求,才是企業得以生存和持續發展的關鍵因素。

目前,資料體量、產業規模以及雲計算高速發展所推動的基礎設施成本都已不再是問題,大資料能否創造真實的商業價值和回報是大資料企業真正關心的核心問題。

過去,所有大資料企業都在做專案,並沒有更多資源把能力沉澱成產品和平臺。比如

很多可共用的資料服務沒有服務化、產品化,很多產品總是做重複的動作。

TalkingData創始人兼執行長崔曉波認為,網際網路公司之間的戰役已經結束了。所有企業主戰場不在線上而線上下,不管是網際網路巨頭還是產業巨頭都在思考如何利用網際網路、資料和相關技術的能力改變線下產業。而且,

選擇合作伙伴應該遵循一個原則:願意真的開放資料,願意給實體產業賦能

二、什麼是 資料中臺

資料中臺是指透過資料技術,對海量資料進行採集、計算、儲存、加工,同時統一標準和口徑。

今年,馬老師(馬雲)說過,資料中臺成為大資料行業的熱門概念,它最先是從阿里引出的,“很多人會把資料比作“石油”,阿里巴巴要成為全球電子商務的“水電煤”。我們現在搭建的資料中臺,就是希望扮演“發電廠”的角色。”

資料中臺把資料統一之後,會形成標準資料,再進行儲存,形成大資料資產層,進而為客戶提供高效服務。這些服務跟企業的業務有較強的關聯性,是這個企業獨有的且能複用的,它是企業業務和資料的沉澱,其不僅能降低重複建設、減少煙囪式協作的成本,也是差異化競爭優勢所在。

什麼是資料中臺,關於資料中臺最好的解讀

資料中臺建設的基礎還是資料倉庫和資料中心

,並且在數倉模型的設計上也是一脈傳承,之所以我們現在處處推崇資料中臺建設及應用,一個是因為資料中臺確實有過人之處,另一個是這套模型在阿里體現了巨大的應用價值。

三、資料中臺能力

資料資產管理

盤點資料資源、規劃資料資源、獲取資料資源,並將所有資料資源進行完整呈現;透過元資料資訊收集、資料血緣探查、資料許可權申請授權等手段,解決“有哪些資料可用”、“到哪裡可以找到資料”的難題,並且提升資料資源的利用率。

資料質量管理

資料質量就是保障資料正確性的工具,主要包括這麼幾部分:一是支援準確性校驗規則,二是支援雙表校驗,三是輸出校驗報告。

資料模型管理

資料模型管理,主要是為解決架構設計和資料開發的不一致性,是為了約束平臺使用者的表名、欄位名的規範性,架構師從工具層合理的進行模型分層和統一開發規範,包括2部分,一個是規則配置,另一個是對錶名、欄位名的定期校驗。

構建標籤體系

對使用者、產品、客商、營銷各主題域進行標籤提取,將其特徵數字化,為後續進行精準 營銷和使用者畫像提供必要條件。著重分析當前需要但是無法獲取到的指標,描述使用不便的指標,分析問題原因,繪製資料供應鏈條;

資料應用規劃及實現

資料中臺策略的基本理念是,將所有的資料匯聚到資料中臺,以後的每個資料應用(無論是指標和分析類的,還是畫像類和大資料類的)統統從資料中臺獲取資料,如果資料中臺沒有,那麼資料中臺就負責把資料找來,如果資料中臺找不來,就說明當前真沒有這個資料,資料應用也就無從展開。

四、資料中臺構成

“資料中臺”一般包含以下幾個部分:

1、資料倉庫:用來儲存資料的,結構性資料、非結構性資料等,還有離線資料和實時資料等;

2、大資料中介軟體:包含了大資料計算服務、大資料研發套件、資料分析及展現工具;

3、資料資產管理:按照阿里的體系應該分為垂直資料、公共資料和萃取資料3層;

五、總結

資料時代帶來的挑戰不僅僅是資料量的爆發式增長,更重要是如何管理好、治理好、利用好這些資料,顯然傳統的大資料建設方法論無法滿足需求。

如果把大資料建設工作比如蓋高樓的話,那麼大資料平臺開發和管理工具(數棧)就是打樁機、挖土機、推土機、塔吊。。。,過程中嚴苛、繁瑣、體系的開發、治理、分析建設方法論(資料中臺)就是樓層規劃、戶型設計、房屋建造。。。。,資料服務就是業主個性化的裝修。