什么是元數據管理及其作用?
元數據(Meta Date),主要記錄數據倉庫中模型的定義、各層級間的映射關系、監控數據倉庫的數據狀態及ETL的任務運行狀態。一般會通過元數據資料庫(Metadata Repository)來統一地存儲和管理元數據,其主要目的是使數據倉庫的設計、部署、操作和管理能達成協同和一致。
元數據是數據倉庫管理系統的重要組成部分,元數據管理是企業級數據倉庫中的關鍵組件,貫穿數據倉庫構建的整個過程,直接影響著數據倉庫的構建、使用和維護。
構建數據倉庫的主要步驟之一是ETL。這時元數據將發揮重要的作用,它定義了源數據系統到數據倉庫的映射、數據轉換的規則、數據倉庫的邏輯結構、數據更新的規則、數據導入歷史記錄以及裝載周期等相關內容。數據抽取和轉換的專家以及數據倉庫管理員正是通過元數據高效地構建數據倉庫。
用戶在使用數據倉庫時,通過元數據訪問數據,明確數據項的含義以及定制報表。
數據倉庫的規模及其復雜性離不開正確的元數據管理,包括增加或移除外部數據源,改變數據清洗方法,控制出錯的查詢以及安排備份等。
元數據可分為技術元數據和業務元數據。技術元數據為開發和管理數據倉庫的IT 人員使用,它描述了與數據倉庫開發、管理和維護相關的數據,包括數據源信息、數據轉換描述、數據倉庫模型、數據清洗與更新規則、數據映射和訪問權限等。而業務元數據為管理層和業務分析人員服務,從業務角度描述數據,包括商務術語、數據倉庫中有什么數據、數據的位置和數據的可用性等,幫助業務人員更好地理解數據倉庫中哪些數據是可用的以及如何使用。
由上可見,元數據不僅定義了數據倉庫中數據的模式、來源、抽取和轉換規則等,而且是整個數據倉庫系統運行的基礎,元數據把數據倉庫系統中各個松散的組件聯系起來,組成了一個有機的整體
什么是元數據管理及其作用? 關于元數據管理及其作用介紹
1、元數據管理定義:元數據管理包括業務詞匯表的發展,數據元素和實體的定義,業務規則和算法以及數據特征。最基礎的管理是管理業務元數據的收集、組織和維持。對技術型元數據的應用對主數據管理和數據治理項目的成功至關重要。
2、元數據管理作用:元數據是“所有系統、文檔和流程中包含的所有數據的語境如果沒有元數據,組織IT系統中收集和存儲的所有數據都會失去意義,也就沒有業務價值。元數據管理是一項和主數據管理、數據治理一樣重要的功能,因為元數據管理是每一個這些準則的基礎組件。組織部署了數據治理項目,但沒有解決元數據管理問題,仍然獲得了成功,那是因為很多數據管家執行的活動和任務在聚焦元數據和元數據的管理流程。
元數據管理框架如何制定,方法都在這!
元數據管理計劃實施數量將持續增長到2021年以后。根據DATAVERSITY®數據管理趨勢報告,有84%的業務受訪者已經實施了元數據管理計劃或已經開始制定計劃。一家公司在元數據管理方面的成功取決于實施前是否依托于一個有用的元數據管理框架。
處理好元數據對于公司而言,在于遵守數據法規,提高數據質量,探索機器學習以及更好地使用數據。但是元數據管理超越技術,而主要依賴支持它的人員和政策。
一、什么是元數據管理框架?
元數據管理框架描述了一種使數據和元數據資產更易于訪問和用于實現業務目標的組織方法。它根據組織的需求,動員并擴展了作為元數據管理基礎的現有資源。
元數據管理框架發生在公司基礎架構級別和運營級別。在更高層次上,元數據管理框架是伊恩·羅蘭茲(Ian Rowlands)DAMA芝加哥一章中的解釋說,需要行政支持和 數據策略制定更高的業務遠景。此外,元數據管理框架還指導人員和自動化算法在日常工作中捕獲、集成、管理和發布元數據。
從戰略和戰術角度考慮,元數據管理框架必須涵蓋項目內部或與項目內進行交互的任何人。因此,元數據管理框架需要得到數據治理程序。
數據治理將有關元數據的可用性,具有元數據的組織優先級以及何時以及如何交付元數據的信息通知元數據管理框架。作為反饋,元數據管理框架將有關數據合規性、數據可訪問性和數據質量的信息告知企業數據治理。將元數據管理和數據治理基礎視為串聯工作并提供數據解釋。
二、選擇元數據管理框架之前要考慮的因素
在創建任何元數據管理框架之前,請考慮以下事項:
獲得元數據管理框架基準:即使組織中不存在正式的元數據管理框架,隱性的也存在。技術文件映射數據架構,經驗豐富的業務分析師之外的人可以理解報告數據,而數據輸入過程則提供了有關組織數據及其元數據管理框架片段的上下文。
獲得有關人員,流程和技術已經存在以及它們如何通知組織的元數據管理框架的基準是很有意義的。使用“合格且知識淵博的數據專業l(和其他熟練的人才)來管理和解釋“數據就緒性評估”以及“數據成熟度”模型,則提供了良好的元數據管理框架起點。進而,公司可以得到改善元數據管理框架的具體建議。
清楚元數據管理框架將實現的目標:清楚為什么組織需要管理元數據和實現元數據管理框架。元數據管理有助于降低培訓成本,在整個數據系統中更好地使用數據并簡化通信,但并不能解決所有數據問題。
如果組織優先于客戶體驗或開發產品和服務而不是數據共享和數據發現,那么與其他選擇相比,元數據管理框架可能不是最佳解決方案。鑒于任何有用的數據管理框架都傾向于具有昂貴的設置,因此組織首先需要認真研究為什么要實施元數據管理框架。
提高集體數據素養:使用元數據需要已同步組織定義者,生產者和用戶之間的協作和可重復的動作。認識到這類人存在于不同的組織部門中,并且有各種各樣的跨功能技能。有些人具有很高的技術和分析能力,而另一些人則具有較軟的技能。
不同的公司子集團可能會從非常不同的角度考慮并應用任何元數據管理框架。一個人的定義可能與另一個人的定義不同。
集體數據素養通過了解如何解釋,交流和使用元數據更好地掌握公司數據資產,幫助利益相關者理解元數據管理框架。通過元數據進行規劃,以全面了解業務需求,指導人們為什么以及如何使用任何元數據來完成工作或實現目標。
利用已經存在的元數據管理框架片段:在花錢購買工具和資源以建立新的元數據管理框架之前,請使用組織中已經存在的元數據管理框架來快速獲勝并展示其價值。讓知道如何解釋客戶報告含義的人記錄該知識。更新現有的技術架構圖,以包含更健壯的元數據,例如數據字典。
另外,請考慮有關構建或改進元數據管理框架的現有標準和實踐。例如,國際統計分類由世界衛生組織(WHO)批準的《疾病分類》為臨床醫生,研究人員和醫療帳單人員定義了疾病和健康問題。如果與業務相關,請利用現有的權威元數據源。
三、總結
元數據管理框架不僅僅是技術解決方案。它描述了管理元數據,動員人員,技術和實踐的方法和愿景。而且,元數據管理框架與數據治理緊密地交織在一起。做好元數據管理需要在整個組織中建立牢固的元數據管理框架基礎。
四、元數據管理工具介紹
億信華辰元數據管理平臺(EsPowerMeta)提供了完善的元模型和元數據維護功能,采用多種方式簡化元數據維護的復雜性。系統支持元數據的自動獲取和時間調度管理,支持手工創建和變更元數據,并配合版本管理,能完整存儲元數據整個生命周期動態和變化,方便用戶跟蹤業務運作的歷史數據。億信華辰元數據管理平臺應用案例:
佛山某區政務服務數據管理局元數據管理平臺
建設內容:
政務服務數據管理局基于區內各政府部門的數據進行匯總和治理,面向各部門提供統一的數據服務和應用,實現“用數據決策、用數據監管、用數據創業”的數據統籌發展運行機制。本項目通過元數據管理平臺,梳理各類數據來源,實現衛計委、工商局、流管局等各政府部門的元數據自動采集,理清現有的數據流轉流程和數據架構,并基于其構建一套新的數據架構,同時提供數據血緣分析、影響分析等,最后形成全區的政務數據地圖。
項目價值:
幫助數據管理局確定數據來源和數據架構,為后續數據標準建設,數據質量管理打下堅實的基礎,并為政務資源目錄、自主填報系統、教育無紙化等應用提供支撐。
元數據的管理
初期的元數據管理通常是在事后由相應的元數據管理軟件,從已開發完成的應用系統中抽取用戶所關注的各類元數據,再由人工補錄一些注釋和管理用的屬性。這種模式稱之為基本元數據管理,由于存在元數據獲取的不及時,存在為了減少工作量有些屬性空缺的風險,存在對應用體驗支持力度的不足,實際應用并不普遍。在新一代應用系統(AS2.0) 中,業務功能通常都是由相應的構件,以人機交互的形式,通過在人工業務語境的對話過程中組裝實現的。這個過程中,不僅完成了業務應用所需要的應用軟件元素,同時也完成了應用軟件元素相對應的元數據的采集。這種模式稱之為主動元數據管理。以下是元數據管理的主要功能,后2部分屬于主動元數據管理的內容。 元模型管理。利用可視化的用戶體驗,實現包括元模型添加、刪除、修改、發布等維護功能;并且能讓用戶直觀地了解已有元模型的分類、統計、使用情況、變更追溯,以及每個元模型的生命周期管理等等。
元數據管理。元數據管理實現針對元數據的基本管理功能。如元數據的添加、刪除、修改屬性等維護功能;元數據之間關系的建立、刪除和跟蹤等關系維護功能;提供元數據發布流程管理,可以更好地管理和跟蹤元數據的整個生命周期;元數據自身質量核查、元數據查詢、元數據統計、元數據使用情況分析、元數據變更、元數據版本和生命周期管理等功能。
元數據分析。元數據分析功能主要實現針對元數據的基本分析功能。包括血緣分析(血統分析)、影響分析、實體關聯分析、實體影響分析、主機拓撲分析、指標一致性分析等。 各類應用軟件元素產生的元數據進入元數據平臺后,元數據管理可通過元數據服務功能,為需要這些元數據的工具軟件或構件提供元數據服務。如將前面所述的各種工具軟件的定義結果,以相應的標準協議進行打包形成方案(應用腳本),提供給其它應用環境中的物理表建立工具、ETL工具、多維模型建立工具、結果展現工具等底層工具,從而實現應用的重用和共享。同時,元數據服務還可為業務應用功能提供輔助的元數據幫助信息,如業務功能中加工結果和指標的說明、提示,及其血緣分析等,讓用戶可明確、直觀地了解數據的來源、加工過程及加工算法等信息。
元數據管理及其作用是什么?
元數據管理是一個根據使用這些資產的方式來管理組織的數據資產的流程。利用可視化的用戶體驗,實現包括元模型添加、刪除、修改、發布等維護功能;并且能讓用戶直觀地了解已有元模型的分類、統計、使用情況、變更追溯,以及每個元模型的生命周期管理等等
什么是元數據管理及其作用?
元數據管理是一個根據使用這些資產的方式來管理組織的數據資產的流程。此流程能集成、鏈接和集中管理多個來源的元數據,便于在整個組織內妥善維護、分析、消費和解釋數據。當從業務元數據和技術元數據中得出數據的含義時,可以更有效地匯總和集成數據。簡言之,當有效管理元數據時,數據變得更有 價值。
IT 組織需要有效的元數據管理解決方案以:
�6�1 簡化數據發現和跟蹤數據中央目錄。大多數公司需要管理日益復雜的系統。通過管理元數據,IT 組織可以在能夠快速發現數據資產的多個系統內創建數據資產庫存。
�6�1 通過重復使用數據加強一致性并消除冗余,從而提高工作效率并降低項目付時間。可以將中央元數據資料庫當作“單一數據源”來發現開發人員可以充分利用的可重用組件。公司可以減少冗余或未使用數據的數量,從而允許進行硬件和軟件整合并節省成本。
�6�1 通過制定更有效的開發流程來提高 IT 部門對業務的響應度。元數據的集成和可見性可以幫助 IT 部門了解存在哪些數據、數據存儲位置及其含義,從而最大限度地降低信息的復雜性。此外,這種可見性通過不斷變更業務要求為分析變化所帶來的影響提供了基礎架構,并將會加快新數據集成項目的開發。數據集成開發人員可以依賴這些信息來輕松和準確地確定他們的數據集成項目所需的數據。并且,能夠訪問潛在變化所帶來的影響也可以幫助管理人員快速評估項目的持續時間和資源成本。