【摘要】數據中臺是行業(yè)和企業(yè)管理數據資產的核心，它為一體化應用、創(chuàng)新場景、決策分析等提供標準化、智能化、場景化的數據服務。數據中臺是實現行業(yè)和企業(yè)數據業(yè)務化、資產化和服務化轉型的關鍵所在。掌握數據中臺的作用、構建理念和演進特點，明確數據中臺與業(yè)務中臺、數據管理系統(tǒng)（主數據管理系統(tǒng)或數據管理系統(tǒng)本文中簡稱為MDM）、大數據平臺、BI系統(tǒng)（BI數據倉庫、BI數據湖倉本文中簡稱為BI系統(tǒng)）的關系，對行業(yè)和企業(yè)實現數據轉型的“早見效”至關重要。

盤塘創(chuàng)客從數據中臺的作用和理念出發(fā)，分析其內部構建要素。根據其演進特點，梳理了數據中臺與業(yè)務中臺、MDM、大數據平臺、BI系統(tǒng)的區(qū)別；并以行業(yè)一體化項目煙葉平臺為例，深入探討數據中臺省級基線版的實施方法、路徑。希望能為煙草行業(yè)數字化轉型提供一些參考和啟示，為行業(yè)探索數據中臺運營提供一些借鑒和支持。

關鍵詞：數據中臺；MDM；大數據平臺；BI系統(tǒng)；數據資產

在數據驅動時代，數據作為最重要的生產要素和戰(zhàn)略資源，對于企業(yè)決策支持、業(yè)務創(chuàng)新、價值創(chuàng)造等方面具有至關重要的作用。為安全、高效利用好企業(yè)內外部的海量數據，近年來出現了數據中臺這種新型架構模式。

數據中臺是行業(yè)和企業(yè)管理數據資產的核心，但究竟它的作用和理念是什么？如何在企業(yè)整體技術架構中演進？與業(yè)務中臺、MDM、大數據平臺和BI系統(tǒng)之間又存在怎樣的區(qū)別和聯系？這些問題，行業(yè)每一位數字化轉型項目的參與者都需要深入理解和掌握。

1、數據中臺的作用及理念

數據中臺是指企業(yè)通過內外部多源異構的數據采集、治理、建模、分析、應用，使數據對內優(yōu)化管理提高效率，對外可以數據合作釋放價值。作為企業(yè)數據資產管理中樞，數據中臺旨在打通企業(yè)各個業(yè)務系統(tǒng)之間的數據壁壘，構建一個統(tǒng)一、開放、高效、安全的數據平臺，為各類業(yè)務場景提供標準化、智能化、場景化的數據服務，實現數據賦能。數據中臺的核心理念是將數據轉化為資產，通過規(guī)范化、標準化、智能化、共享化等手段，實現數據的價值最大化。

從數據中臺的功能和理念出發(fā)，我們可以總結出數據中臺的內部構建要素：首先，數據中臺需要有強大的數據技術平臺基礎設施支撐，包括大數據平臺、數據倉庫和數據湖等支撐能力。其次，數據中臺的核心作用是將數據轉化為有價值的資產。再次，數據中臺應具備一套完善的數據資產管理體系，涵蓋數據采集、數據清洗、數據建模、數據標簽、數據開放和數據安全等各方面的管理與控制。最后，數據中臺還需要建立一套全面的數據服務運營體系，包括數據接入、數據存儲、數據計算、數據分析和數據應用等。

2、數據中臺的演進

根據應用架構和數據集成處理方式的變化，盤塘創(chuàng)客將數據中臺的演進劃分為五個階段。

第一階段，傳統(tǒng)單體應用架構階段。信息系統(tǒng)由企業(yè)自行建設，系統(tǒng)架構、數據庫、開發(fā)模式各異，形成了煙囪式的結構。基礎數據由各業(yè)務系統(tǒng)產生、維護，不同系統(tǒng)的數據屬性不一致，導致數據孤島或信息孤島等問題。數據處理采用電子表格或手工方式填報。如圖1所示：

圖1 ?傳統(tǒng)單體應用架構

第二階段，BI階段。行業(yè)對系統(tǒng)架構、網絡架構、平臺架構進行了統(tǒng)一，通過一號工程實現行業(yè)各單位部分基礎數據代碼與行業(yè)代碼的對應、訂閱。使用ETL工具等，實現動態(tài)業(yè)務數據的同步和定時抽取。但是，仍存在基礎數據屬性不一致的情況，數據同步、數據鉆取、分析延遲較大。如圖2所示：

圖2 ?傳統(tǒng)BI

第三階段，數據集成階段。針對基礎數據由各業(yè)務系統(tǒng)產生、維護，導致的數據不一致問題，各企業(yè)在應用系統(tǒng)集成時，建立了數據管理系統(tǒng)或主數據管理系統(tǒng)。在MDM中實現基礎數據統(tǒng)一管理維護，業(yè)務系統(tǒng)或其他新建系統(tǒng)需要使用時，通過接口分發(fā)的方式調用。此時的BI系統(tǒng)也發(fā)生了很大的變化，數據抽取分為兩部分：靜態(tài)基礎數據從MDM系統(tǒng)抽取到ODS，動態(tài)共享數據從業(yè)務系統(tǒng)中抽取。這樣，數據分析、決策能力明顯提升，基礎數據不一致問題得到較好解決。如圖3所示：

圖3：數據集成階段

第四階段，數字中臺實施階段（現階段）。數字中臺省級基線版部署上線，行業(yè)一體化應用復用業(yè)務中臺共享中心能力并沉淀數據。業(yè)務數據化已技術實現，數據業(yè)務化尚在形成中。此階段各企業(yè)根據自身環(huán)境，結合《關于構建煙草行業(yè)數字中臺體系的指導意見》和《煙草行業(yè)新型數字基礎設施體系技術架構》內容，開始同步運營數字中臺，朝“早見效”發(fā)力。數字中臺尚未全面接管企業(yè)基礎數據，需與MDM系統(tǒng)實現能力互補，并集成整合企業(yè)現有內外部數據資源。如圖4所示：

圖4 ?數字中臺現階段

第五階段，數字中臺運營階段（見效階段）?；A數據管理功能已下沉到業(yè)務中臺的各能力中心。數據中臺作為業(yè)務應用的數據唯一服務提供方，通過自身的平臺能力和業(yè)務中臺數據的輸送（業(yè)務數據化），已形成一套高效可靠的數據資產體系和數據服務運營能力（數據業(yè)務化、資產化、服務化）。當企業(yè)員工、創(chuàng)新團隊或業(yè)務部門在面對市場環(huán)境變化需構建前臺應用時，數據中臺能實時提供數據服務能力。如圖5所示：

圖5 ?見效階段

3、數據中臺與業(yè)務中臺、BI系統(tǒng)、大數據平臺的區(qū)別

在《淺析行業(yè)1242架構下的業(yè)務中臺設計》文中，筆者認為“中臺是基于企業(yè)資源整合的需要，形成的能力樞紐和能力共享中心。中臺是在集中的基礎上建設分權的業(yè)務,進行聯通,并為各業(yè)務提供統(tǒng)一的服務，將企業(yè)各式各樣的資源轉化為易于前臺使用的能力”。對于業(yè)務中臺來說比較好理解，就是將企業(yè)共性業(yè)務能力下沉，形成多個微服務化的業(yè)務能力中心供上層應用使用。對數據中臺的理解則是指，把企業(yè)內外部數據資源整合形成資產，以共享的數據服務能力提供上層各類業(yè)務應用使用，并持續(xù)地迭代循環(huán)。

3.1 數據中臺與業(yè)務中臺

數據中臺和業(yè)務中臺本身是相輔相成的，業(yè)務中臺沉淀的業(yè)務數據進入到數據中臺進行體系化加工，再以服務化的方式支撐業(yè)務中臺上層應用，而這些應用產生的新數據又重新流轉到數據中臺，形成循環(huán)不息的數據資產服務閉環(huán)。兩者的區(qū)別在于，業(yè)務中臺重點是業(yè)務數據化，而數據中臺重點是數據業(yè)務化。

3.2 數據中臺與BI系統(tǒng)

BI系統(tǒng)主要支持管理決策和業(yè)務分析，數據中臺則是將數據服務化，為業(yè)務應用提供數據能力，讓數據能力滲透到各個業(yè)務環(huán)節(jié)，不僅限于決策分析。數據中臺不斷將數據資產化、價值化，并運營數據價值。數據中臺和BI系統(tǒng)有共性，也有特性。共性是都需要數據采集集成，數據存儲，數據模型構建，數據開發(fā)和分析。特性是數據中臺需要有統(tǒng)一的數據服務能力開放層，而BI系統(tǒng)更注重數據分析和報表展現；此外，數據中臺實時協(xié)同于業(yè)務應用，服務于業(yè)務增值、業(yè)務創(chuàng)新等需求，BI系統(tǒng)服務于管理經營決策。這導致兩者在數據模型構建，數據開放和提供策略上有所不同，但核心的底層數據平臺能力則是一致的。

3.3 數據中臺與大數據平臺

數據中臺底層架構包含了大數據平臺的核心架構和分布式存儲，以及實時計算和流處理能力。此外，數據中臺架構中為業(yè)務應用提供數據能力的數據服務層，這是傳統(tǒng)的數據湖倉或大數據平臺所沒有的。如圖6所示，紅色框為數據中臺的大數據能力支撐層。

圖6? 數據中臺架構

正因數據中臺與企業(yè)已有的MDM、BI系統(tǒng)、大數據平臺有諸多共性，所以在實施數據中臺項目時，首先需要對企業(yè)現有數字資產分析評估，看如何保留資產、復用資產，如何遷移數據。

4、數據中臺省級基線版的實施路徑探討

《關于構建煙草行業(yè)數字中臺體系的指導意見》明確指出：“數據中臺省級基線版擁有10項數據管控和3項數據運營能力，同時構建了4項數據應用中心?！睆募夹g架構的角度看，數據中臺省級基線版已具備數據資產管理體系和數據服務運營體系管控能力的雛形。數據中臺省級基線版的實施工作主要包括兩個方面：一是建設數據技術平臺；二是按照信息分類與編碼管理要求，做好數據內容和數據資產的建設。如圖7所示（藍色部分表示企業(yè)實施工作內容）。

圖7 ?數據中臺省級基線版實施工作內容

但在實施過程中，我們不能忽視數據與業(yè)務之間的緊密關系。數據中臺的實施需要將業(yè)務數據和前臺應用緊密結合。以行業(yè)一體化平臺的煙葉應用為例，它在數據中臺基礎上覆蓋了多種業(yè)務應用場景，如圖8所示（藍色部分表示企業(yè)實施工作內容）。在這種情況下，數據中臺省級基線版實施工作的項目范圍和技術難度都已明顯增大。然而，在現有組織形式和項目知識領域下，除開數據技術平臺建設的實施工作之外，其他實施工作內容都只能由煙葉平臺項目組承擔，數據資產分層、建模等技術挑戰(zhàn)也只能由煙葉平臺項目組應對。這一切只因數據資產源于業(yè)務（詳見《淺析行業(yè)數字化轉型之煙葉平臺運營的挑戰(zhàn)與思考》）。

圖8? 疊加煙葉業(yè)務場景后的數據中臺實施內容

在疊加業(yè)務平臺應用場景后，數據中臺省級基線版實施的目標就顯而易見了。即實現業(yè)務中臺共享數據和企業(yè)內外部基礎數據的跨域整合，再經數據資產管控體系如采集、清洗、建模、標簽等流程加工處理后形成企業(yè)的數據資產，并按運營體系要求提供數據資產服務。為實現企業(yè)數據業(yè)務化、資產化、服務化轉型 “早見效”的目標，可以采取以下技術路徑：

一是分析評估現有企業(yè)數字資產，包括大數據平臺、數據集成平臺、MDM、BI系統(tǒng)等，確定哪些可以保留、哪些可以復用，以此構建底層數據技術平臺；

二是配合行業(yè)一體化項目建設進度，分業(yè)務線開展業(yè)務領域分析，厘清行業(yè)一體化應用與企業(yè)應用的邊界，同步梳理業(yè)務架構和數據架構。形成滿足行業(yè)管控和省級業(yè)務需求的，業(yè)務能力域藍圖和業(yè)務數據藍圖（例如，煙葉平臺行業(yè)側計劃物流管控的8大業(yè)務流程及數據，省級側業(yè)務運營涉及的生產、收購、調撥、復烤加工等業(yè)務流程及數據）；

三是結合信息分類與編碼管理要求及研發(fā)管控系統(tǒng)開展業(yè)務域數據治理（數據中臺管控范圍不能完全覆蓋企業(yè)所有數據治理的規(guī)范流程，但通過信息分類與編碼及研發(fā)管控系統(tǒng)管理后數據治理的規(guī)范流程就能延伸到原有IT系統(tǒng)及新建IT系統(tǒng)）；

四是結合一體化平臺業(yè)務應用、省級擴展應用，構建數據視圖形式的數據資產服務提供能力，實現基礎數據在雙中臺間閉環(huán)流轉；

五是利用底層數據技術平臺，將業(yè)務關聯的內外部系統(tǒng)、業(yè)務中臺、MDM進行數據采集和集成，匯聚形成數據中臺的ODS層，按照業(yè)務場景構建不同層級的數據資產（如DWD、DWS、ADS等），并進行各層的數據建模；

六是如果企業(yè)自身的數據內容管理還不完善，而且短期內無暇對省級原有業(yè)務應用進行微服務架構轉型，那么筆者建議優(yōu)先完善和改造MDM，使其能夠適配數據中臺的數據資產管控和運營服務管控。這樣比去構建一個大而全的業(yè)務中臺，或構建一個全業(yè)務能力中心，更高效、更加切合實際。

七是數據中臺是企業(yè)寶貴的數據資產,受到數據安全法和信息系統(tǒng)等級保護等法律法規(guī)的制約。為了保障數據的安全性和合規(guī)性，實施過程中的安裝、部署、調試等操作環(huán)節(jié)最好由企業(yè)自身人員親力親為，以便在后期運營中及時應對可能出現的問題和挑戰(zhàn)。

結語：盤塘創(chuàng)客所述，僅是對數據中臺省級基線版實施的一家之言，主要說明其實施的核心要義。數據中臺省級基線版實施不僅是搭建一個大數據技術平臺，也不僅是服務于行業(yè)一體化應用。它需要充分考慮法律法規(guī)、企業(yè)自身的業(yè)務需求、數據資源狀況、組織結構和文化背景等多方面因素，并在此基礎上以行業(yè)數據資產管控和省級業(yè)務運營為導向，整合企業(yè)的數據資產和數據內容，打造一個支持行業(yè)數據資產管控和省級業(yè)務運營的數據服務能力。通過業(yè)務數據化、數據業(yè)務化的迭代循環(huán),提升企業(yè)數據資產的價值和效益，實現數據業(yè)務化、資產化、服務化轉型的“早見效”目標。這才是數據中臺省級基線版實施的真正價值所在。