久久久久九九九,午夜电影亚洲,亚洲一级高清

產品簡介

美林新聞/NEWS

首頁美林數據行業資訊

數據治理科普：十年經驗，終于把數據架構設計說清楚了

2022-11-08 15:02:01 次

當今時代，數據已成為國家基礎性戰略資源和企業重要的生產要素之一。用數據說話、用數據決策、用數據管理、用數據創新已成為企業經營管理者的普遍共識。但“企業都有哪些數據、這些數據都在哪里”，成為企業數字化轉型的首要問題。
前面我們已經對數據治理過程中很多抽象、易混淆的概念進行了詳細講解（點此查看），從中我們知道了“數據架構=數據模型+數據流向”，且數據架構是企業數據的總藍圖，這篇文章我們就來看看如何開展數據架構設計。

數據架構的設計思想

美林數據基于多年的項目實踐經驗總結形成了『基于IRP的數據架構設計方法』，核心是自頂向下基于業務過程梳理出業務活動的輸入輸出表單/數據，用于識別與梳理企業數據實體；自底向上主要是理清數據流向關系的過程，體現為數據分布地圖和流向地圖、實體之間的關系等。
實際操作過程中，主題域模型的設計（主題域的劃分）、概念模型的設計（實體的識別與實體關系）、邏輯模型的設計（實體增加屬性及關系）、數據流向設計，也是依據業務開展，這也符合企業架構設計的方法論，只不過大部分企業在進行數據架構設計初期就有了一定的信息化建設基礎，可以利用已經建設的系統內容，對正向的設計過程進行補充和完善。

說明：DAMA中也提到，企業的數據模型既可以采用自上而下，也可以采用自下而上的方法構建。自上而下是從主題域開始，先設計主題，再逐步設計下層模型。而自下而上，主題域是基于現有邏輯數據模型向上提煉抽象而成。通常推薦兩種方法相結合來共同完成企業數據模型的設計工作。

數據架構的設計步驟

依據這個思路開展企業數據架構設計，我們可以按照主題域劃分、數據實體識別、邏輯模型設計、數據流向梳理四個步驟開展工作，如下圖所示：

需要說明的是：
1）數據架構的設計，需要業務架構的業務流程作為輸入，通常參考企業的相關體系文件并以開展實際業務流程咨詢的方式開始；需要強調的是，以設計企業數據架構為目的的業務了解，并不是為了將企業的業務流程全部梳理一遍，而是識別和理解業務活動環節中輸入和輸出的數據。所以，企業業務流程手冊/流程卡片等不是數據架構設計的關鍵產出，而是數據架構設計的關鍵輸入。
2）數據架構的設計，核心包括主題域劃分、數據實體及關系、邏輯模型及關系、數據流向梳理4部分產出物。這里的數據流向，其實偏重架構設計層面的數據在主題域之間的流向，如果企業的業務沒有變革，業務流轉關系沒有變革，通常數據架構中數據流向內容也是穩定的，它是一種頂層設計。
3）而數據在業務系統之間的流向，主要用于后續業務系統的建設與集成打通，是不是必須在數據架構設計階段產出，這沒有標準的定義，可以在數據架構階段產出，也可以在應用系統建設階段產出。應用架構層面需要說清楚業務系統間的數據流向，而且這個階段，因為業務系統的表單字段是明確的，所以需要梳理出表單級別、字段級別的數據流向（直接指導業務系統間的數據集成落地），而不是停留在實體在業務系統中的流向。
4）也有同學會說，客戶要求我們輸出“數據在業務部門之間的流轉關系”，這是項目邊界和項目的個性化訴求，也不是企業數據架構設計的核心產出物；其實客戶關心這個問題的本質是，希望打通各部門之間的業務貫通與協作，這部分訴求最終也會落到業務系統的集成上解決。
5）數據架構的設計，不僅僅是信息部門的職責、也不應該依賴于咨詢公司完成，一定要組建一支企業業務骨干參與的數據組織來開展此項工作。華為的信息架構包括企業主題域、概念模型、邏輯模型、數據分布（數據流）、數據標準的定義，信息架構是連接業務和IT的橋梁，強調其設計主體是業務人員，而不是IT人員。
“ 第一步：主題域劃分 ”
企業的概念數據模型是由主題域模型結合而成。主題域的識別須在整個企業模型中保持一致，基于業務價值鏈或者基于業務能力形成主題域。
?方法
DAMA中提到：“基于頂級流程（業務價值鏈）或者基于業務能力（企業架構），考慮數據治理、數據所有權問題，形成主題域”。
通常需要以企業的業務流程規范和體系文件作為輸入，在企業沒有體系文件或者體系文件比較老舊的情況下，我們通常建議從企業的業務價值鏈入手。將企業的生產經營活動劃分為既相互獨立又相互聯系的多個有價值的環節，形成從外部/內部需求輸入、到企業內部運營活動、到成果交付的一系列價值增值活動和相應流程的核心企業主業務價值鏈條。基于主價值鏈及企業各職能支撐板塊可提煉得到企業一級主題域，再參照企業組織架構及職能職責、企業各類業務系統功能菜單（目的是相對全面地了解企業業務范圍）進行一級主題域的補充及二級主題域的劃分。
華為信息架構的5層模型中L1主題域分組、L2主題域直接沿用流程架構的L1流程分類、L2流程組。
?要點
大部分的制造企業在進行一級主題域劃分時，通常按照戰略層、運營層、支撐層三個維度進行總體分層。華為信息架構是按照“價值流程”、“使能流程”、“支撐流程”進行的總體分層，是與華為的業務架構匹配的方式。沒有標準的對與錯，主要是契合本企業的業務架構現狀即可。
主題域的劃分，通常劃分到二級即可。較為復雜的業務板塊，可以考慮劃分到三級，核心是要能夠支撐后續數據實體的識別及歸屬判斷，又便于未來數據的查找及使用。主題域的劃分顆粒度要能考慮未來在相對大的業務范圍內，使得確定的數據實體、邏輯模型、數據標準等達成一致，并能夠服務于未來的企業業務貫通。如果主題域劃分得過細，可能出現實體、邏輯模型、標準等各細分領域定義，不能通盤考慮與之關聯的業務環節的情況，對業務貫通不利。
各主題域識別的原則是不交叉、不重疊、不遺漏，要能說清楚各主題域涵蓋的業務范圍。
?示例

示例：主業務價值鏈

示例：某制造業一級主題域劃分

“ 第二步：數據實體識別 ”
概念模型是用一系列相關主題域的集合來描述概要數據需求。概念數據模型包括給定的領域和職能中基礎和關鍵的業務實體，同時也給出實體和實體之間關系的描述（DAMA）。概念模型以數據實體及其之間的關系為基本構成單元的模型，是對主題域模型的進一步細化。
?方法
正向的，數據實體識別主要從業務流程卡片的輸入、輸出數據中提煉，實際落地過程通常采用業務維度和技術維度結合的方法開展，互為補充。
業務維度：從業務活動、業務部門的主要職能職責中梳理業務活動辦理需要的輸入、輸出信息，識別出各主題域下的數據實體；
技術維度：參考業務系統中正在流轉的表單/視圖，對系統庫表梳理，識別各業務辦理相關的數據實體。
?要點
實體的概念是實體識別的重要依據。實體是客觀存在并可相互區別的事物，實體應包含描述性信息。數據庫設計中講到“一個規范的數據表就是一個實體”，如產品基本信息、產品質檢信息、產品退貨信息等。
實體的關系也是概念模型的內容之一。在兩個實體之間的關系中，基數說明了一個實體和其他實體參與建立關系的數量。基數由出現在關系線兩端的符號表示，基數只能選擇0、1或多（“多”是超過“1”個的意思），方向的每一方都可以有0、1或多的任意組合。
值得注意的是，業務流程中使用的表單、系統中辦理業務的單據，不能直接等同于實體。如ERP中供應商信息，包括供應商基本信息、供應商銀行賬戶信息、供應商的資質信息、供應商的評價信息等等，此時建議不能只識別一個實體，而需要把供應商基本信息、供應商銀行賬戶信息、供應商的資質信息、供應商的評價信息分別識別為一個實體，而且他們之間存在著一對一、一對多的關聯關系。
實際落地過程中，還會遇到一種情況是，相似業務的相似表單，是不是應該抽象為一個實體，還是應該窮舉各業務分支識別出多個實體。比如，某企業有上千種請購單，是按照物料分類劃分的，此種情況下，是否要識別出A物料請購單、B物料請購單……或P部門的請購單、Q部門的請購單……，因為不同物料的請購單信息是不一樣的。通常情況下需要分析不同的請購單不同的信息是什么，是不是有共性的信息，比如哪個部門因為哪個令號（任務號）需要什么物料、需要多少、提請日期、提請人、具體物料的描述信息、物料是否有指定的供應商、物料是否需要到貨檢驗、按照哪種標準進行檢驗等等，我們試著抽象出以下實體：請購單基本信息（日期、人、部門、令號）、物料需求明細信息、物料供應商信息、物料質量檢驗信息，而且請購單基本信息實體關聯了其他三個實體。
實體的識別可能存在顆粒度粗細的問題，沒有標準的對與錯，可以根據實際的業務情況，取相對合適的粒度即可。因為太細有很大的梳理成本和管理成本，太粗又會出現交叉、覆蓋的情況。通常來講，當企業的業務相對一致時，實體數應該相對不變。
?示例

示例：實體清單

示例：實體關系

“ 第三步：邏輯模型設計”
邏輯模型是對概念模型的進一步分解和細化，該步驟需要對實體進行關鍵數據屬性補充，描述更多業務細節。邏輯模型通常包括的關鍵數據屬性，不是全部的實體和全部的屬性。關鍵數據屬性，是指如果缺失，企業業務將無法運轉。
邏輯數據模型不受任何技術或特定實施條件的約束，它通常是從概念模型擴展而來。
在關系邏輯數據模型中，通過添加屬性來擴展概念數據模型。屬性通過應用規范化技術被分配給實體，每個屬性和它所在的實體的主鍵都有非常強的關系。維度型邏輯數據模型是維度型概念數據模型的屬性透視圖。關系型邏輯數據模型捕獲業務流程的規則，維度型邏輯數據模型捕獲業務流程運行的狀況和性能等。
?方法
1、屬性識別，也是采用業務分析與IT表單分析相結合的方式。
業務維度：結合企業各業務環節創建、流轉、使用數據的需求，梳理各實體應具有的屬性。通過“如果缺失，企業業務將無法運轉”來判斷是否有缺失。
IT維度：參考線下使用的單據、業務系統中的表單等，輔助模型設計人員（以業務人員為主）識別辦理此業務需要的關鍵屬性。
2、指定實體的鍵
鍵屬性有助于從所有實體實例中識別出唯一的實體實例，鍵可以是單獨的一個屬性，也可以是多個屬性。
非鍵的屬性用于描述實體實例，但是無法唯一標識該實例。

?示例

示例：邏輯模型

“ 第四步：數據流向梳理 ”
數據流向用于描述數據如何在業務流程和系統中流動。端到端的數據流向包含了數據起源于哪里，在哪里存儲和使用。數據流向的梳理，也需要基于業務活動的流程及信息的流轉關系確定。
?方法
梳理數據流向，需要了解和掌握主題域內部各項業務上下游的協作關系\流轉關系，最直接的輸入仍然是業務流程或者流程卡片，基于業務流，明確數據在哪里產生，在哪里使用，確定數據的流向。
?要點
梳理過程中，我們通常會糾結：數據流向梳理應該到哪個顆粒度，是梳理一級域之間的流向還是二級域之間的流向？這個取決于當前梳理數據流向到底要解決什么問題。
如果企業已經建設了多個業務系統，主價值鏈及支撐業務已差不多覆蓋，此時的數據流向梳理最直接的價值是解決業務系統集成，打通數據實時流轉的問題，通常梳理到一級主題域層面就可以；因為再往二級主題域梳理，多半是某個業務系統內部的業務流程貫通，基本上菜單間數據集成的方式就可以解決后臺的數據流轉訴求。
如果企業主價值鏈流程待建、本次數據架構設計也是作為企業頂層架構規劃，則通常需要梳理出二級主題域之間的流轉關系，能為將來某個業務系統的建設提供依據（此時仍然需要關注一級主題域之間的數據流向，因為新建的業務系統仍然需要打通集成；二級主題域之間的數據流向，可以根據實際項目情況定，因為大部分市面上的業務系統是帶業務的成熟套件，需要二次開發的數據流向關系需要梳理確定）。
?示例

示例：主題域間流向圖片

示例：系統間流向

以上四個步驟完成后，數據架構設計工作就完成啦。
但，數據治理工作可遠不止此，后續還有數據標準制定、數據質量整改、數據指標梳理、物理模型設計、平臺落地等工作需持續開展。

上一篇：【數據挖掘算法分享】機器學習平臺——回歸算法之保序回歸下一篇：大數據分析之數據缺失值處理教程來啦！

女生裸体视频一区二区三区_久久久久九九九_美日韩精品视频_欧美日韩亚洲一区二区三区在线_激情成人亚洲_亚洲一区自拍_日韩亚洲精品在线_国产精品入口66mio_亚洲在线日韩_久久亚洲二区

Tempo大數據分析平臺

Tempo商業智能平臺

Tempo人工智能平臺

Tempo數據工廠平臺

Tempo數據治理平臺

Tempo主數據管理平臺

Tempo指標平臺

自助式可視化分析

算法模型管理

指標管理解決方案

數字指揮中心

湖倉一體解決方案

智能場景應用構建

主數據應用監管

數據中臺

數據資產入表

發電

電網

制造

油氣

煤炭

高校

政企

金融

科研院所

大數據分析師

DAMA認證

美林數據

合作生態

內容中心

幫助中心

美林新聞

行業資訊

產品簡介

Tempo商業智能平臺

Tempo人工智能平臺

Tempo數據工廠平臺

Tempo指標平臺

Tempo數據治理平臺

Tempo主數據管理平臺

相關推薦

美林新聞/NEWS

數據治理科普：十年經驗，終于把數據架構設計說清楚了

聯系我們

400-608-2558 029-8669-8003

掃碼關注我們

掃碼立即咨詢