終于有人把數據中臺講明白了

　　終于有人把數據中臺講明白了

　　01 數據中臺定義

　　數據中臺是一種將企業沉睡的數據變成數據資產，持續使用數據、產生智能、為業務服務，從而實現數據價值變現的系統和機制。通過數據中臺提供的方法和運行機制，形成匯聚整合、提純加工、建模處理、算法學習，并以共享服務的方式將數據提供給業務使用，從而與業務聯動。

　　再者，結合業務中臺的數據生產能力，構建數據生產—消費—再生的閉環。為了更好地理解數據中臺，我們將其與數據倉庫、數據湖、BI、大數據等相關概念進行對比。

　　1. 與數據倉庫的對比

　　數據倉庫是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，用于支持管理決策。因此，其重點在于數據的集合。數據倉庫可使用維度建模方法論從業務過程中抽象出通用維度與度量，組成數據模型，為決策分析提供通用的數據分析能力。

　　數據中臺與數據倉庫相比，至少有四大優勢。

　　第 一，數據中臺強調數據業務化，讓數據用起來，滿足企業數據分析和應用的需求。

　　第二，數據中臺梳理的流程比數據倉庫建設更加復雜和全面。數據中臺增加了以企業的全局視角來梳理數據域的環節，這是數據中臺建設中很重要的一環。數據域的梳理正好體現了中臺化的能力。

　　舉個例子，新零售場景下，企業的交易場景有很多，包括自建商城渠道、第三方電商渠道、外賣訂單渠道、線下門店渠道等。建設數據中臺時就需要規劃出一個交易域，此交易域要抽象出各種渠道的業務流程，并能覆蓋線上、線下運營部門在運營時需要考核的維度與度量。

　　因此數據中臺建設過程要更多從企業全局出發，從人、貨、場多維度打通數據，真正做到無論消費者從哪個渠道進來，都能洞察其與本企業的接觸軌跡。

　　而數據倉庫的建設則相對單一，專注于維度模型如何設計，如何拆解指標和維度，卻很少關注基于人、貨、場這些主體進行實體拉通，然后做出全局的畫像數據供前端業務調用。

　　第三，數據中臺建設的范疇遠遠大于數據倉庫的建設，除了完成數據倉庫的建模，還需要制定完善的數據治理方案，甚至在建設的過程中需要成立專門的數據治理委員會來促成復雜的數據治理工作。

　　重要的一點是，在數據中臺的規劃階段就需要去主動迎合業務，需要全面梳理哪些業務場景需要利用數據的賦能才能形成業務閉環，因此，在建設數據中臺的同時就必須著眼于業務場景的賦能。

　　第四，對于企業來講，建設數據中臺并不只是搭建一個能力平臺。正如我們在《中臺戰略》一書中提到的，建設中臺需要中臺文化及相匹配的中臺組織。

　　因此，從宏觀上來講，數據中臺承擔著企業重新搭建數據組織的職能，倒逼企業為了運營好數據中臺而建設一套能與之匹配的數據中臺組織。數據倉庫則純粹注重于系統解決方案，并不涉及組織形態。

　　因此，簡單來說，數據倉庫重在建數據，而數據中臺則將建、治、管、服放到同樣的高度，數據倉庫只是數據中臺的一個子集。

　　那我們為什么會從數據倉庫發展到數據中臺呢?因為傳統的數據倉庫已不能完全滿足企業數據分析的需求。企業已從原來的統計分析轉變為預測分析并提供標簽、推薦等算法，從被動分析轉變為主動分析，從非實時分析轉變為實時分析，并且從結構化數據轉變為結構化、半結構化和非結構化的多元化數據。

　　2. 與數據湖的對比

　　與數據中臺相關的概念還有數據湖(Data Lake)。數據湖是一種數據存儲理念，作為一個集中的存儲庫，它可以以自然格式存儲任意規模的數據，包括來自關系數據庫行和列的結構化數據，XML、JSON、日志等半結構化數據，電子郵件、文檔等非結構化數據，以及圖像、音視頻等的二進制數據，從而實現數據的集中式管理。

　　目前Hadoop是常見的實現數據湖概念的技術。比如HBase可讓數據湖保存海量數據，Spark可以使得數據湖批量分析數據，而Flink等可讓數據湖實時接入和處理IoT數據等。

　　3. 與BI的對比

　　BI(商業智能)是分析數據并獲取洞察，進而幫助企業做出決策的一系列方法、技術和軟件。相比數據倉庫，BI還包含數據挖掘、數據可視化等工具，并可支持用戶在一定范圍內任意組合維度與指標，從而上升到支持決策的層面，而不只是作為數據倉儲。

　　4. 與大數據的對比

　　數據中臺也不等于大數據。數據中臺是基于大數據、人工智能等技術構建的數據采、存、通、管、用的平臺。

　　數據中臺需要以Hadoop、Spark等為代表的大數據處理技術做支撐，但絕 不能將數據中臺與大數據劃等號。數據中臺不只有大數據處理技術，還包括智能算法、與業務聯動的特性、數據資產、數據工具等。

　　5. 小結

　　可以說數據中臺是上述概念和技術的集大成者。

　　n 首先，大數據豐富的數據計算和存儲技術為數據中臺提供了強大的數據處理能力。

　　n 其次，數據中臺作為企業數據的集結地，其底層也當然承載著數據湖的職能。

　　n 再次，數據倉庫對數據的分域建模是數據中臺的重要部分，它承載著將企業數據治理得井井有條的職能。

　　n 基于強大的數據能力，結合業務場景提供實時、智能的服務和應用是數據中臺的核心價值體現。

　　02 數據中臺價值

　　數據中臺不等于大數據平臺，數據中臺的核心工作也并不是將企業的數據全部收集起來做匯總就夠了。數據中臺的使命是利用大數據技術、通過全局規劃來治理好企業的數據資產，讓數據使用者能隨時隨地獲取到可靠的數據。

　　因此，數據中臺一旦建成并得以持續運營，其價值將隨著時間的推移將呈指數級增長。數據中臺的價值眾多，下面詳述其中的三大價值，見圖4-1。

　　▲圖4-1 數據中臺的三大價值

　　1. 幫助企業建立數據標準

　　在有數據中臺之前，企業基本不會有全局的數據標準，即使有相關的數據標準，由于沒有數據中臺這個實體形態，數據標準也無從執行。數據中臺的建設天然會幫助企業建設數據標準，包括數據建設規范和數據消費規范。

　　數據建設規范有諸如數據接入規范、數據建模規范、數據存儲規范和數據安全規范等，數據消費規范包含數據權限規范、數據調用規范以及數據銷毀規范等。這些標準都是建設數據中臺時必須建立起來并依托數據中臺去執行和落地的。

　　2. 促進中臺組織形成

　　再宏偉的企業戰略規劃，都離不開一套科學合理的組織去落地執行。數據中臺建設將是企業宏觀戰略規劃的一個重要部分，那么在踐行數據中臺建設的過程中，擺在企業首要的問題就是如何搭建起一套能穩定護航數據中臺建設及運營的數據中臺班子。

　　數據中臺這種體系化工程將橫向拉通企業數據相關方，包括中臺建設團隊、中臺運維團隊、數據產品經理團隊、數據資產管理團隊、數據運營團隊等，組成標準的企業數據委員會，從而形成企業真正的中臺組織。

　　需要說明的是，中臺組織可以是一個橫跨各個業務部門的弱矩陣組織，也可以是一個完整的實體組織。這需要因地制宜，因企業不同而異。

　　3. 全面賦能業務，促使降本增效

　　數據中臺的終 極價值是降本增效，無論是建設數據標準還是形成中臺組織，其核心目標都是幫助企業達成戰略規劃。

　　通過數據中臺，可以更加合理地布局團隊;數據從加工生產到使用的整個時間周期將大大縮短;以中臺之力拉通整合企業營銷、交易、服務、庫存、物流等一方數據，結合二方及三方數據，以全局視角，形成強大的數據資產，滋養各業務板塊。

　　同時有目的性地針對場景，設計出賦能場景的數據應用，幫助其從研、產、銷等多個方面縮短產品研發周期，生產未來一段時間暢銷的產品，精準找到愿意購買公司產品的群體，以至于增強用戶對企業產品及服務的友好體驗，提高用戶對于企業品牌的忠誠度，降低企業運營過程中的損耗，壓縮供應鏈端的周期等。

　　這些價值都是企業一直以來孜孜追求的目標。