“打雷了，下魚了，收衣服了”，這樣的梗我們玩笑了很多年。
關於天氣，過去看天象；現在看手機。
天氣預報對於生產生活的保障作用不容小覷，我們最深切感受是，現在的預報的確越來越準確了。
如果深究其原因，一句話，大資料分析提供決策依據。資料價值凸顯，天氣預報還只是一個方面，但社會有千行百業，其產生的巨大的價值也就無法估量。
早在2017年的時候《經濟學人》就表示，世界上最有價值的不再是石油而是資料。這樣的論斷在今天已經成為現實。
但硬幣總有另外一面，資料帶來挑戰同樣日益緊迫。
首先是資料量指數級增長，今天每個小時產生的資料已經比20年前每年產生的資料量還要多。2020年產生的資料量大約44 ZB，位元組數已經是可觀測宇宙恆星的40倍了，而衡量資料的單位，從GB、TB、PB到EB已經不斷重新整理我們的認知範圍。
其次，資料使用場景日趨複雜。資料來源不同，導致資料結構多元，常見的有結構化資料、非結構化資料、半結構化資料以及二元進位制資料，另外，不同分析場景下的資料需要我們的技術更加的個性化和定製化。
最後，實時資料要求快速決策，競爭和生活加速，對實時決策的時間要求越來越短。
從資料庫到資料湖
過去我們的資料處理高度依賴單機版或者聯機版的資料庫，但單機版的處理能力不足和聯機版高昂價格始終成為阻礙。網際網路蓬勃發展，動則十幾億和幾十億網頁產生、巨量的點選和行為迫使大量的資源投入資料處理領域，在SQL語言的引領下，以亞馬遜雲科技AmazonRedshift為代表拉開了資料倉庫的大門。
但資料倉庫並不能應對資料處理的所有問題，其明顯的侷限性在於只能處理結構化資料、只能回答預先設定的問題，資料已經篩選包裝好，無法看見其最初狀態。
同樣是在亞馬遜雲科技的大力推動下，資料湖走上舞臺，資料湖的核心原則是集中儲存原始的、未經改變的結構化、非結構化資料和二進位制資料，具有強大的元資料管理能力、保證所儲存資料資源的語義一致性，這是進行大資料分析的基本前提。
湖倉一體架渠引水
資料倉庫和資料湖誕生於不同的技術路線，資料倉庫和資料湖也就有著本質的區別。資料湖體系很難建立資料倉庫，資料湖與資料倉庫也很難合併成一套體系。
資料湖開始建設成本低，後期逐漸增加；資料倉庫相反。資料湖側重未來決策、資料倉庫主要解決日常問題。資料湖適合初創企業、而資料倉庫適合成長型企業。
總體來看，資料倉庫和資料湖看作是一種互補關係比較合適。
有沒有辦法，把問題解決掉，還省錢？
答案是湖倉一體。
湖倉一體有如架渠引水。就是架設資料倉庫和資料湖之間的渠道，讓資料流動的同時，搭載各種分析和計算引擎，讓其既具備資料湖多樣化結構支援、分散式儲存、低成本的優勢又具備企業數倉的資料治理能力，湖倉融合一體。
值得注意的是亞馬遜雲科技智慧湖倉架構，並非是一種產品而是架構，而是以資料儲存架構和一系列資料處理工具的集合體，客戶可以以Amazon S3（S3物件儲存）為“湖底”快速構建可以擴充套件的資料湖，然後搭載了可以幫助客戶大資料分析的AmazonEMR，可以日誌分析的Amazon Elasticsearch Service、以及互動查詢工具AmazonAthena等一系列非常實用的工具和服務集。
智慧湖倉科學捕魚
如果說，湖倉一體象架渠引水，智慧湖倉則象科學捕魚。從功能上看，智慧湖倉實現了資料在入湖、出湖、環湖以及在各項引擎和服務中無縫整合，高效流動，但從本質上看，智慧湖倉使使用者能夠輕鬆從容地選擇對的工具和服務，在資料中找到自己需要的結果，從而提高決策的效率和準確性。這就好比客戶站在湖邊，非常清楚地知道自己需要什麼樣的工具從湖裡撈出自己心目中什麼種類的魚。
因此，
智慧湖倉不是一個產品而是一種架構。
我們解構一下，一個快速構建可以擴充套件的低成本的Amazon S3作為“湖底“，圍繞著Amazon S3，客戶可以使用專門構建的這些資料分析的服務集合，最典型的結構化資料的複雜查詢Amazon Redshift，Amazon Aurora交易型資料庫，包括non-SQL資料庫，DynamoDB，如果是大資料分析Amazon EMR，如果是日誌分析Amazon Elasticsearch Service，這是使用專門構建的資料分析服務的一種集合。
簡單說，就是各種服務沿湖而設。
Amazon Glue和Amazon Glue Elasticview類似的服務驅動資料，在湖、倉之間以及專門構建的資料服務之間流動的同時，兼顧簡單、高效和經濟的原則。
最後有把“萬能鑰匙“，客戶不用費盡心思去考慮和配置什麼樣的分析引擎，直接用Amazon Lake Formation統一管理安全性、訪問控制和審計。
亞馬遜雲科技大中華區雲服務產品部總經理顧凡表示：
“智慧湖倉，不僅僅是湖和倉的打通，而是湖、倉專門構建資料服務連線成一個整體。
“
賦能馳騖科技
重塑大資料
上海馳騖（ChiefClouds） 資訊科技有限公司，是國內領先的消費者資料營銷平臺供應商，為企業搭建消費者資料平臺（CDP），以此為基礎構建覆蓋數字媒體和陣地運營、CRM、智慧導購等場景的全渠道和全鏈路消費者運營體系。
馳騖科技創始人兼CEO 程華奕表示，“作為企業級資料管理平臺的實踐者，我們非常認可亞馬遜雲科技的智慧湖倉架構。以Amazon S3為核心的資料基礎平臺，讓我們在服務客戶時，在資料安全性、可靠性、效能和擴充套件性等方面都沒有後顧之憂。亞馬遜強大的資料分析管理工具組合，讓我們能夠對各種資料處理和分析遊刃有餘，快捷、高效地利用機器學習挖掘資料智慧，服務於客戶的業務創新。“
亞馬遜雲科技給馳騖科技帶來價值不僅僅是資料資產化，還有創新的解決方案，提供了對億級使用者資料的實時查詢，10倍的查詢效能。另外，根據可控的成本模型，基於亞馬遜雲科技新一代的計算實力，價效比提升了40%，很好地解決了一些困擾客戶的經費問題。最後是高效能業務場景的快速創新。馳騖科技透過跟亞馬遜雲科技的合作，利用高效能、高敏捷的彈性結構，按需呼叫，能靈活響應消費者更大的需求的響應，開箱即用， 機器學習， 個性化推薦服務，把企業的需求變成產品化，實現快速創新。
結 語
日前，亞馬遜雲科技針對資料及資料分析等服務持續發力，推出引領大資料未來的“智慧湖倉”架構，並2021年初至今在由光環新網和西雲資料運營的中國區域總共上線了近40項相關服務和特性。
亞馬遜雲科技“智慧湖倉”架構將亞馬遜雲科技全面而深入的資料服務無縫整合，打通了資料湖和資料倉庫之間資料移動和訪問，並且進一步實現了資料在資料湖、資料倉庫，以及在資料查詢、資料分析、機器學習等各類專門構建的服務之間按需移動，從而形成統一且連續的整體，滿足客戶各種實際業務場景下的不同需求。
亞馬遜雲科技“智慧湖倉”架構具有靈活擴充套件、專門構建、資料融合、深度智慧和開源開放五大特點，涵蓋資料來源、資料攝取層、儲存層、目錄層、資料處理層和消費層六層架構，可幫助客戶輕鬆應對海量業務資料，充分挖掘資料價值。
亞馬遜雲科技不斷推動資料架構演進，專門構建的資料分析工具，提供極致效能和體驗，這也是亞馬遜雲科技一貫秉承的不斷重塑的結果。
深度：和訊名家簽約作者
資料安全、AI 創新……雲時代熱議話題，來這兒談！
AI伺服器哪家強？浪潮還是寧暢？
亞馬遜雲科技賦能生態 凱捷中國按下千行百業數字化轉型快進鍵
保利威無延遲技術開啟全真網際網路新圖景
