阿里流傳著這樣一句話，
“一切業務資料化，一切資料業務化”。
作為大資料從業者，你一定明白有資料是一回事，可要想
讓資料發揮價值、成為生產力
是另一回事。
手裡得有兩把刷子，才能成為大資料圈兒的“大拿”！
如何實現智慧路徑檢測，查詢出符合條件的路徑詳情及符合路徑的使用者數？
關於有序漏斗轉化，如果想要更準確一些該怎麼做？
面對大量的訂單記錄，如果想按照地域、時間、來源等維度等進行實時分析，該怎麼實現？
對於海量評論資料，想要查詢好評差評的比例，如果進行準實時分析想要秒級實現的話，如何來完成？
不管是面試還是實際工作過程中，資料工程師要時時刻刻面對這些層出不窮的技術演進。隨著資料的爆發式增長以及指標維度多元化， T+1 的資料報表早已無法滿足需求。如何在保證高時效性的同時，讓資料發揮更大的價值是篩選“王牌”大資料開發工程師的重要門檻。
01
對大資料開發工程師的能力新要求
OLAP型大資料開發能力
隨著全行業數字化轉型和新基建時代的到來，對技術人才提出了更高的要求。
對數字化轉型的公司來說，公司的業務可以分為兩類：一類是
OLTP型
的業務，一類是
OLAP型
的業務。對優秀的IT工程師來說，我們需要同時具備OLTP的技術能力和OLAP的技術能力。進一步來講，對於前者，我們需要具備線上滿足高併發、高可用、高擴充套件的開發能力，比如根據公司業務發展階段給出優雅的線上微服務架構解決方案；對於後者，我們需要具備線下海量大資料處理和分析的開發能力，比如電商公司收入趨勢的分析和預測、抖音等短影片平臺日活使用者分析等開發解決方案。
伴隨數字化轉型的向廣向深發展，具備
OLAP型大資料開發能力的工程師
在人才市場上將具備更強的競爭力和更豐厚的薪資收入，也必然成為新時代的香餑餑。
OLAP 必備技術棧
那麼如何成為有核心競爭力的大資料開發工程師呢？
我和大多數人一樣，非常看好大資料的前景。剛好前幾天，我問過
前58集團大資料首席架構師孫玄（江湖人稱“玄姐”）
兩個問題。
你一定知道，大資料計算根據業務需求不同，又分為離線批次計算和線上實時計算。比如基於MapReduce的海量計算屬於離線計算範疇；基於
ClickHouse
的計算屬於實時線上計算範疇；還有
Apache Doris
這類ROLAP的MPP引擎，實現資料現用現算！特別是支援任意指標、任意維度並且秒級給出結果的線上實時計算的技術能力，對大資料開發工程師而言就更加重要了。
（100M資料集跑分結果，
1億資料查詢速度
：ClickHouse比Vertica快5倍，比Hive快279倍，
比MySQL快801倍！）
熱到燙手的ClickHouse究竟有多強？看看大廠對它的青睞你就懂了！
今日頭條內部用ClickHouse來做使用者行為分析，內部一共幾千個ClickHouse節點，單叢集最大1200節點，總資料量幾十PB，日增原始資料300TB左右。
騰訊內部用ClickHouse做遊戲資料分析，並且為之建立了一整套監控運維體系。
攜程內部從18年7月份開始接入試用，目前80%的業務都跑在ClickHouse上。每天資料增量十多億，近百萬次查詢請求。
快手內部也在使用ClickHouse，儲存總量大約10PB， 每天新增200TB， 90%查詢小於3S。
實時OLAP資料庫
ClickHouse
是業界公認的一匹黑馬，它能夠優雅解決企業任意指標和任意維度組合，並且實時給出處理結果的複雜業務場景需求。而另一顆冉冉升起的OLAP新星——極速MPP資料庫
Doris
也十分出色，已被
京東廣告、美團外賣、作業幫、小米、搜狐
等一線大廠實踐應用，它具有以下特性：
同時支援高併發點查詢和高吞吐的Ad-hoc查詢。
同時支援離線批次匯入和實時資料匯入。
同時支援明細和聚合查詢。
相容MySQL協議和標準SQL。
支援Rollup Table和Rollup Table的智慧查詢路由。
支援較好的多表Join策略和靈活的表示式查詢。
支援Schema線上變更。
支援Range和Hash二級分割槽。
玩轉ClickHouse、Doris兩大OLAP利器！
怎麼學能快速應用？
無論ClickHouse還是Doris，都有成為獨當一面資料庫的潛力，未來將在OLAP領域大放異彩，成為大資料人必須掌握的核心技能。那麼，我們該如何學習？透過看書、看文章的確是一種自學方式，不過ClickHouse和Doris相對複雜，
它在很多方面不像其他系統那樣高度自動化，而正是某些看似不夠自動化的設計，反過來卻在使用中帶來了極大的靈活性。
如果把普通資料庫比作汽車，那麼ClickHouse和Doris儼然就是手動檔的賽車，對技術人員來說會有諸多不適應。找到專家帶領
，才是掌握從原理到真實線上使用的更快更有效的學習方式。
從事IT行業多年，用Java，前端，知Python，有多年的開發經驗。如果你正在入門學習Java 我做Java這幾年整理了一些
學習手冊，面試題，開發工具，PDF文件書籍教程
，需要的私信回覆
（1
）自動獲取~
