前言
數據目錄是整個數據資產體系中的首要工作，是構建企業數據架構體系的基礎工作。可形成企業統一的數據資產目錄，并為各業務域提供數據資產全景圖。
?
通過建設數據目錄，對元數據進行管理和應用，可以支持組織未來的取數用數、與數據標準對標、數據質量追溯等多種需求。
?
本文重點介紹四類數據目錄概念和內容、以及與三清單的關系，同時介紹了數據目錄搭建的方法和流程及整理三清方法及策略。
1、數據資產管理困難與挑戰
規劃做了很多，資產盤點了不少，制度與辦法下發了不少，但是在落地過程中依然困難重重，難見效果。
?
（1）數據資產實際情況
?
數據資產盤點消耗大，時間長，無路徑。
?
盤點成果與業務脫節，應用效果差。
?
無從掌握核心資產。
?
（2）數據架構
?
控制了數據流向圖，但不能動態掌握數據分布、流向的變化情況。
?
不清楚實際運行的數據模型與業務模型、企業架構的匹配程度。
?
（3）元數據面臨七大挑戰和三大管理難點
?
元數據的七大挑戰
?
組織有許多數據源，但數據使用者沒有簡單的方法在一個地方準確識別這些數據源。
?
"全業務統一"數據中心已經變成了一片數據沼澤，很難找到有意義的、可信賴的數據。
?
數據使用者沒有適當的流程來請求他們需要的數據。
?
即使數據使用者可以訪問數據，他們也不知道數據意味著什么或者應該如何使用數據。
?
數據使用者不知道他們找到的數據的來源，因此無法確認數據的可信度。
?
數據消費者不知道誰擁有數據，因此無法聯系相應的負責人。
?
數據消費者不知道企業中已經存在哪些數據集，也不知道誰使用了類似的數據探索過類似的問題。
?
對于上述問題的解決，數據治理專家可能會想到元數據。元數據真的能夠完全解決這些問題嗎？答案是不能。
?
?
元數據三大管理難點
?
數據增長的速度超過了數據管理人數，企業用戶現在面臨著更多更大的數據來源，因此存在元數據管理人員可用性的瓶頸。
?
定義不正確、信息不完整、元數據陳舊或無法找到所需信息，它需要更多的元數據來理解存儲在數據倉庫中的數據資產。
?
技術人員和業務人員的思維和“語言”存在差異，這使得業務用戶獲取數據變得更加復雜和困難。
?
（4）數據質量
?
數據質量問題長期存在，未找到切入點
?
（5）數據運營
?
需要建立數據資產的管理制度與機制體系
?
有數據資產目錄的基礎，但數據資產如何發揮更大的價值，并進行合理運營？
?
2、數據目錄定義、作用及應用場景
2.1數據目錄相關概念及四種目錄類型
（1）數據目錄
?
數據目錄是以核心元數據為主要描述方式，按照資源分類索引和目錄條目格式要求，對數據庫中不同類型、不同層次的數據按照一定的分類體系進行編目，用以描述數據的特征，實現數據檢索、定位與獲取功能的目錄。
?
數據目錄概念的前身是數據字典和元數據存儲庫。數據字典通常用來收集、存儲和管理數據元素、數據格式、數據類型、數據長度以及與其他數據的關系等信息。元數據存儲庫則拓展了數據字典的概念，不僅包含數據格式類型信息，而是包括業務元數據、技術元數據、管理元數據等多種元數據描述。
?
數據目錄可以分為數據資源目錄、數據共享和開放目錄、數據資產目錄和數據服務目錄
?
四種數據目錄之間關系圖
?
通過全面梳理現行業務系統，按照“盤點數據，厘清數據狀況”、“關聯業務，構建數據目錄”的工作思路，形成的從業務體系出發的數據資源目錄。切實解決數據描述不統一、顆粒度不一致等問題，支撐企業各業務部門、各單位快捷查詢和定位數據，為數據資產共享流通、創造價值打下堅實基礎。
?
?
（2）數據資源目錄
?
數據資源目錄是依據規范的元數據描述數據資源，站在全局視角對所擁有的全部數據資源進行編目，以便對數據資源進行管理、識別、定位、發現、共享的一種分類組織方法，從而達到對數據的瀏覽、查詢、獲取等目的。
?
數據資源目錄的建立能夠準確瀏覽組織內所記錄或擁有的線上、線下原始數據資源，如電子文檔索引、數據庫表、電子文件、電子表格、紙質文檔等。數據資源目錄是實現組織內部數據資產管理、業務協同、數據共享、數據服務，組織外部數據開放、數據服務的基礎和依據。
?
數據資源目錄建設首先定義數據資源目錄元數據、目錄分類編碼等，制定元數據和目錄分類編碼標準規范，然后對組織內部數據資源進行全面調查和盤點，依據事先約定好的元數據和分類標準梳理數據資源目錄。
?
（3）數據資產目錄
?
數據資產目錄建設是在數據資源目錄建設基礎上，識別對企業有業務價值、決策價值、應用價值等經濟、社會價值的數據資源目錄，對識別出的數據資源目錄中原始數據資源進行標準化處理、安全分類分級、數據質量提升、數據認責等數據治理工作，按照一定的信息邏輯、業務邏輯建模，對識別出的數據資源目錄進行更新或重組，編制形成貼近業務、統一標準、具有經濟或社會價值的數據資產目錄。
?
編制數據資產目錄可以給出業務場景和數據資源的關聯關系，降低理解系統數據的門檻。(中國政府為推動跨部門數據共享開放而重點布置各級政府和代替政府履行一定公共服務職能的企業開展的重要數據管理工作，國務院和發改委先后多次發文，并已出臺數據資產目錄管理的系列國標)。
?
數據資產目錄是企業數據資產的主分類，其中的資產不能同時歸屬于不同的目錄中，以保證資產在目錄中的唯一性。并且，數據資產目錄構建的角度應該是管理的角度，根據不同數據資產管理范圍的劃分，由不同的角色進行管理。
?
能源行業以為例數據資產目錄示意圖
?
（4）數據共享和開放目錄
?
?
數據共享是組織內部因履行職責、開展相關業務需要使用內部掌控數據的行為。其主要目的是通過打破組織內部壁壘、消除數據孤島，實現提高數據供給能力、提高運營效率、降低組織運營成本。數據共享目錄即組織內部使用的數據目錄。
?
數據開放是指組織按照統一的管理策略向組織外部有選擇提供組織所掌控數據的行為。數據開放是實現數據跨組織、跨行業流轉的重要前提，也是數據價值最大化的基礎。對于政府而言，數據開放主要是指公共數據資源開放，對于企業而言，數據開放主要是披露企業運行情況、推動政企數據融合等。數據開放目錄即組織提供給外部使用的數據目錄。
?
在數據資源目錄的基礎上，提取出帶有共享屬性和開放屬性的目錄，形成數據共享和開放目錄。數據共享目錄和數據開放目錄的主要區別在于數據屬性和應用主體不同，目前數據共享和開放目錄在政務領域應用相對廣泛。
?
（5）數據服務目錄
?
數據服務目錄是對數據服務依據規范的元數據描述，按照特定的業務場景進行排序和編碼的一組信息，用以描述各個數據服務的特征，以便于對數據服務的使用和管理。
?
數據服務目錄的建設是基于組織內已梳理的數據資產目錄，以業務場景、應用場景為切入，以業務需求、應用需求為導向進行編制。主要分為兩類，一類是數據應用服務，包括指標報表、分析報告等可以直接使用的數據應用；另一類是數據接口服務，提供鑒權、加密、計量、標簽化等；
?
2.2數據目錄的作用
1、通過語義層解決業務人員“理解”的問題
?
創建數據資源之間的關聯以獲得對數據更全面的視角；利用語義實現更廣泛的對數據業務理解的一致性，避免理解的偏差。
?
2、 通過目錄服務解決業務人員“查找“的問題
?
目錄服務將有關現實世界中的事物(如人、企業、計算機等等)的信息存儲為具有描述性屬性的對象。人們可以使用該服務按名稱查找對象或者像使用黃頁一樣，可使用它們查找。數據資源目錄是對數據存儲對象的描述，讓人們能夠方便、快速的找到所需要的數據。
?
3、通過數據安全解決業務人員“權限”問題
?
數據資源目錄應建立數據分級和數據共享負責人制度，需要結合企業的實際數據管理業務特性，建立起數據分級制度，明確數據權威負責部門、對應的個體負責人等。明確數據的范圍邊界和使用方式，清理數據管理及共享開放的義務和權利。
?
2.3數據目錄的應用場景
為數據平臺建設提供參考依據。
?
為數據標準管理提供輸入。
?
為跨部門數據共享提供數據目錄。
?
為其他系統數據共享提供數據服務。
?
3、何為三清單？
?
?
各數據管理和服務部門按照“一次采集、共享使用”原則開展數據共享的主要依據。用于反映對數據的真實供需關系。
?
數據在系統中交互傳輸會造成大量的數據冗余，降低網絡運行效率。數據經交換后，在多節點同時存在，造成“一數多源”的情形。若數據流動缺乏監管，隱私數據與惡意數據會對網絡的安全性造成破壞。復雜的流通結構使數據難以溯源定位，無法做到數據定責。數據成為新的治理主體，其發展趨勢嚴重依賴于歷史數據，難以在宏觀層面對未來加以把控。
?
三清單與數據目錄關系
?
建立業務應用需求驅動的數據”三清單“，將打破數據壁壘、簡化數據使用流程，全面提升數據治理質量和數據共享效率，確保數據安全可靠、使用規范、共享高效，為加快推進企業數字化轉型奠定良好基礎。
?
?
三清單滿足數據資產共享場景
?
3.1數據責任（認責）清單
數據責任清單：供數部門明確本部門可以向其他部門共享的數據清單。數據資產清單是指對數據中有價值、可用于分析和應用的數據進行梳理，形成的目錄體系。編制數據資產目錄可以給出業務場景和數據資源的關聯關系，對每一項數據資產，明確數據資源責任人，即為數據責任清單，是提高數據質量的基礎，也是梳理數據需求清單和負面清單的基礎。
?
需求責任清單體現數據資產提供部門的歸屬，包括數據資產的業務權限方和IT技術支持方。
?
以清單形式提供《數據責任清單》，包括：資源名稱、數據詳情、關鍵內容說明、責任部門、責任角色、監督部門、監督角色、認責流程、數據應用部門、數據應用系統、數據來源、數據獲取方式、數據更新頻率等
?
3.2數據共享需求清單
共享清單：用數部門需要其他部門予以共享的數據清單。解決數據整合共享工作依然存在融合共享不充分和應用發展不平衡等問題，引入技術與服務相結合管理模式，賦能新技術的同時，通過數據服務常態化，打通數據應用的最后一公里，提升數據消費和共享能力，消除部門之間的“數據孤島”和“數據鴻溝”，突破業務壁壘，重塑業務流程，依托數據整合共享促進業務協同，形成多部門間的業務聯動。
?
數據共享應以業務應用為驅動，將數據中心數據向各級單位開放共享，對已授權共享數據需要經管理部門審核，對敏感、涉密數據進行處理后按需開放共享。對未授權共享數據應有需求部門申請，經數據管理部門和業務部門授權同意后進行統一受理并開放共享。
?
需求清單體現用戶部門的權利和義務，列名用戶用數內容、用數目的、用戶方式。
?
以清單形式提供《數據需求清單》，包括：明確數據資源名稱、提供方、信息項、更新周期、共享屬性和開發屬性等內容、責任到職能部門，推動各部門數據共享、定期更新，全面提升數據治理質量和數據共享效率。
?
3.3數據負面清單
負面清單：安全部門基于法律、法規、規章明確規定不能共享的數據，列入共享負面清單。負面清單是指不能直接共享使用，需經數據提供部門對數據用途、提供方式、脫敏要求進行審核后方可共享的數據清單。
?
數據共享負面清單有助于提高負面清單外的數據共享效率，簡化數據使用流程，提升數據流通效率有助于數據資源要素在服務公司?質量發展等全?位發揮重要作?。
?
制定數據負面清單的依據
?
1、商業秘密和工作秘密。依據《中央企業商業秘密保護暫行規定》、《國家電網公司密級范圍的規定》中明確的涉及商業秘密和工作秘密的數據，納入負面清單，包括密鑰密碼、境外投資、“三重一大”事項、重要會議、案件、輿情、巡視信息，領導行程、出訪信息、通訊錄等。
?
2.個人隱私信息。《中華人民共和國網絡安全法》就個人隱私保護做出了具體規定，要求搜集個人隱私信息應遵循“合法、正當、必要的原則”，“建立健全用戶信息保護制度”。根據此項要求，結合業務特性，將個人證件號碼、電話、家庭住址、銀行賬戶、獎懲信息等部分個人隱私信息納入負面清單范圍。
?
3.其它敏感事項。依據《中華人民共和國招標投標法》、《中華人民共和國招標投標法實施條例》、《審計項目電子數據保密管理辦法》、《審計機關審計檔案管理規定》等法律法規，涉及評標過程、結果，投標標底，評標專家等信息，涉及審計事項、問題線索等相關數據，納入負面清單。
?
共享負面清單體現數據安全管理部門的管理要求，以促進共享使用為原則，對信息安全有管控要求的數據予以限制。
?
以清單形式提供《數據負面清單》，包括：明確數據資源名稱、提供方、信息項、更新周期、共享屬性、負面表現形式、不共享原因、負面管理措施及方法等。
?
4、數據目錄搭建的方法及流程
4.1自頂向下與向下而上相結合方法開展數據資源目錄建設思路
自頂向下就是根據企業業務價值鏈及數據應用場景厘清主題域之間的邏輯關系，然后不斷進行細分；再針對業務對象進行梳理，定義各個業務對象下的邏輯數據實體；最后盤點每個邏輯數據實體包含的屬性，包括屬性名稱、屬性定義、計量單位、值域范圍等內容。
?
自下而上補充則是對企業所有的信息系統現狀調研，摸清有哪些數據，存儲在哪些地方；再對信息系統數據進行統一采集和存儲；最后對采集的系統數據項進行盤點，包括字段名稱，類型、長度、約束等內容
?
圖片
?
數據資源目錄建設方法
?
4.2數據資產目錄的建設方法論，大概分為5個步驟
（1）確定資產盤點范圍和系統
?
圍繞企業相關的業務主線涉及業務系統，并結合企業已有資產內容，明確盤點數據現狀、數據表范圍等信息。
?
根據數據資產盤點系統范圍，開展相關源系統現狀調研，源系統盤點范圍梳理、源端系統盤點范圍確認、數據盤點工作量評估、業務功能模塊梳理。
?
（2）數據資源盤點
?
結合企業現有業務、信息系統在運和數據平臺現有數據資產匯聚情況，深入調研各專業業務現狀及系統運行現狀，梳理各系統數據庫、表、字段等基礎信息，形成層次清晰、覆蓋全面的專業數據庫表目錄。
?
根據數據盤點工作范圍和源端系統收集情況，利用企業相關盤點工具開展數據關聯關系確認，對工具無法識別、未識別關聯關系的數據表進行線下梳理、增量完善分批次開展數據關聯關系梳理工作，然后完成數據資源盤點工具中的數據關聯關系。
?
然后根據業務模塊梳理成果，按照業務模塊與數據表的關聯關系開展梳理工作，形成業務關聯關系清單。
?
最后根據無效字段、數據關聯關系、業務關聯關系盤點結果，將最終盤點結果完善到數據資源盤點工具中。
?
在盤點過程中充分承接業務流程梳理成果，將業務流程中涉及的系統數據項與業務端輸入L1-L3做映射，交叉驗證，相互補充
?
?
數據資源目錄梳理時，將盤點好的數據資源匯總構成數據資源目錄的同時，也要從數據資源內容層面進行梳理，將數據資源依據業務進行分類匯總融合。
?
（3）數據字典核查
?
利用企業現有數據資源盤點工具，對相關業務系統數據存在的表描述、字段描述缺失、字段描述有誤情況進行核查，然后反饋源業務系統廠商和數據中心管理人員對問題進行補充及完善。
?
（4）數據資源構建
?
針對新建業務應用和新建系統間數據需求，統一基于數據平臺的數據服務實現，按照業務應用、業務系統的數據獲取需求輔導數據管理人員構建相關資產服務，形成規范化的數據資產管理目錄。
?
（5）數據資產發布
?
輔助企業按照業務機制、數據類型等建立線上數據資源目錄審批及發布流程，支撐數據資源目錄的規范化管理和維護機制。
?
最終通過構建統一數據目錄體系，加強數據目錄優化和完善，切實解決數據描述不統一、顆粒度不一致等問題，支撐各業務部門、各單位快捷查詢和定位數據，為后續制定數據標準、建立數據規范、開展數據治理、實現數據共享奠定基礎。
?
《數據資產目錄清單》，包括不限于：數據分類、數據細目、數據類型、更新頻率、具體說明、技術屬性、業務屬性、管控屬性等。
?
?
數據資產目錄模型示意圖
?
4.3數據資源目錄模板
數據資源目錄覆蓋業務、技術、管理、操作四類元數據，30多個元數據元素，支撐數據資源目錄框架、數據標準、數據質量、數據模型、數據確權、數據安全、數據開放共享、數據運營維護等數據管理領域，全方位支撐數據治理與價值發揮。
?
?
數據資源目錄模板
?
5、整理三清單制定方法及策略
結合企業數據資產管理、質量管理、供需管理情況與特點，促進數據資源整合和利用，推進公司內外統一、高效的數據共享與分析服務，滿足橫向跨專業間、縱向不同層級撿數據共享和融通需求，建立分領域跨部門的數據整合應用機制，以數據資產活化、數據創新為原則，以數據資源目錄為共享基礎，根據各系統各部門、各運維廠商數據管理職責，完成《數據責任清單》、《數據需求清單》、《數據負面清單》的梳理，并對最終成果進行發布，從數據采集、存儲、整合、共享、應用等全生命周期過程形成標準化責任體系，相互聯系、相互作用、相互約束、相互補充，從而構成一個統一整體。
?
5.1數據資產認責管理
（1）認責工作內容
?
數據資產治理體系的建立將為企業數據資產的準確性、一致性、完整性、實時性和安全性提供管理機制上的保障，數據認責是對企業范圍內各相關方的數據管理職責進行分配，從而明確彼此間的工作邊界以及協作機制， 這是企業構建穩定而規范的數據治理體系的重要基礎。
?
數據認責建立與實施應該遵循DCMM數據能力成熟度體系標準，圍繞業務數據的產生、流轉、應用、歸檔全生命周期進行相關工作開展。
?
（2）數據認責機制
?
構建數據認責機制框架通過“核對→錄入→審核”三個完整閉環，建立數據錄入規范；按照“誰錄入、誰整改、誰負責”的原則，明確數據質量責任主體及工作職責，建立數據認責管理辦法及流程。
?
（3）數據認責范圍? ??
?
根據數據認責主題及工作職責，明確認責數據范圍邊界，按照業務歸屬進行數據業務域及主題分類，并且對認責數據內容進行優先級排列。
?
（4）數據認責顆粒度
?
數據顆粒度需要結合行業或者業務的需求，對數據進行表級別或字段級別識別并且細化，從而明確數據顆粒度責任主體，形成認責清單，并通過數據的權責確認和標準化工作，明確數源和標準，確保一數一源，按需共享。
?
（5）數據認責角色
?
明確數據價值鏈的參與方與角色定位，包括不限于：數據使用者、數據所有者、數據提供者、數據管理員。
?
（6）數據認責職責
?
基于現有的業務和系統現狀，定義數據責任規范矩陣，明確數據價值鏈的參與方的職責分工。
?
5.2數據資產共享與負面管理
數據開放共享需遵循公司促進數據共享的總體思路，基于數據資源盤點成果，實現線上數據開放共享服務，建立數據開放分級授權機制，明確各單位、各專業數據應用需求，提供統一的數據服務及應用工具支撐，全面提升企業數據共享融通及服務能力，充分發揮企業數據價值。
?
數據共享范圍梳理工作采用線下梳理的方式，由各業務部門根據梳理范圍，根據《國家網絡安全法》、《國家商業秘密管理辦法》及企業管理、涉密管理相關規定，全面理清涉密數據，形成的《共享數據清單》、《數據負面清單》，結合數據資源目錄，建立數據分級授權機制，包括：確定數據共享梳理范圍、數據共享層級梳理、數據共享層級確認、數據共享成果物梳理、數據共享范圍發布。
?
結束語
推行“三清單一數據目錄”工作機制，企業根據各自職責明確需求清單、責任清單、負面清單，并通過“三清單”機制支撐供需管理，切實解決數據描述不統一、顆粒度不一致等問題，支撐企業各業務部門、各單位快捷查詢和定位數據，推動各數據源單位主動歸集數據，促進共享，并對數據資源實行統一目錄管理，實現內部數據資產目錄統一檢索、快速定位和統計分析，實現數據資產地圖展示、逐步形成知識圖譜，為企業數據資產共享流通、創造價值打下堅實基礎。
推行“三清單一數據目錄”工作機制，企業根據各自職責明確需求清單、責任清單、負面清單，并通過“三清單”機制支撐供需管理，切實解決數據描述不統一、顆粒度不一致等問題，支撐企業各業務部門、各單位快捷查詢和定位數據，推動各數據源單位主動歸集數據，促進共享，并對數據資源實行統一目錄管理，實現內部數據資產目錄統一檢索、快速定位和統計分析，實現數據資產地圖展示、逐步形成知識圖譜，為企業數據資產共享流通、創造價值打下堅實基礎。
熱門標簽
快速評論
收藏
粵公網安備 44010402002339號
