據(jù)研究表明,在數(shù)據(jù)分析的整個過程中,數(shù)據(jù)準備會占大約80%的時間。怎樣把數(shù)據(jù)收集起來,并確保數(shù)據(jù)可直接用于分析展示,是最麻煩、最耗時的事情,倘若數(shù)據(jù)未處理妥當,炫酷好看的可視化展示也毫無意義。
首先,需要由業(yè)務人員提出業(yè)務需求,并描述業(yè)務需求所需的數(shù)據(jù)內(nèi)容。其次,通過業(yè)務人員及技術人員合作,根據(jù)業(yè)務對象抽象出數(shù)據(jù)概念,定義其描述、分類與關系。技術人員根據(jù)數(shù)據(jù)概念描述、分類,抽取出數(shù)據(jù)實體,并利用ER圖描述其關系。
最后,技術人員針對數(shù)據(jù)庫特性將數(shù)據(jù)實體物化為數(shù)據(jù)庫表,支撐實際應用。
由于互聯(lián)網(wǎng)及通信技術的飛速發(fā)展以及數(shù)據(jù)量的爆發(fā)式增長,各類數(shù)據(jù)也大規(guī)模增長,可依據(jù)相關規(guī)范對數(shù)據(jù)質(zhì)量即數(shù)據(jù)的及時性、完整性以及準確性進行限制,詳細地通過事前防范、事中監(jiān)控、事后管控3個時間段進行監(jiān)督。
三、數(shù)據(jù)標準:做統(tǒng)一根據(jù)已確定的企業(yè)核心邏輯數(shù)據(jù)模型,將模型中的數(shù)據(jù)項抽取出來。然后根據(jù)預定的業(yè)務數(shù)據(jù)項篩選方法,篩選出需要進行業(yè)務定義的數(shù)據(jù)項。再根據(jù)業(yè)務對所篩選出的業(yè)務數(shù)據(jù)項進行分類,產(chǎn)生用于通用數(shù)據(jù)標準及公共代碼定義的數(shù)據(jù)標準項清單。
而具體的通用數(shù)據(jù)標準的制定包括定義工作目標、流程、及模版,其分類標準則根據(jù)數(shù)據(jù)在業(yè)務中的使用頻度和業(yè)務需求,參考業(yè)界模型,通過匯總分析,對通用數(shù)據(jù)進行分類,形成統(tǒng)一的數(shù)據(jù)標準在數(shù)據(jù)層面的定義,并以數(shù)據(jù)項自然分類為基礎,對數(shù)據(jù)進行分類。
主數(shù)據(jù)是描述核心業(yè)務實體的數(shù)據(jù),是企業(yè)內(nèi)跨業(yè)務重復使用的數(shù)據(jù),存在于多個異構的應用系統(tǒng)中,是關鍵數(shù)據(jù),而不是全部數(shù)據(jù);是操作性數(shù)據(jù),動態(tài)參與業(yè)務流程,而不是靜態(tài)數(shù)據(jù)。
在企業(yè)中主數(shù)據(jù)是全員共享,全員服務的重要數(shù)據(jù),與其他數(shù)據(jù)分離,作為單獨的部分進行管理。
數(shù)據(jù)的生命周期包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)使用、數(shù)據(jù)歸檔、數(shù)據(jù)銷毀4個階段。而數(shù)據(jù)在生命周期內(nèi)有效則可以滿足業(yè)務操作和管理分析的需要;滿足對歷史數(shù)據(jù)查詢相關政策和管理制度的要求;滿足審計管理要求;減少數(shù)據(jù)冗余,提高數(shù)據(jù)一致性;減少存儲、硬件、運維等方面基礎設施投入;提升應用系統(tǒng)性能,提高響應速度。因此,數(shù)據(jù)生命周期的管理必不可少。
數(shù)據(jù)是數(shù)據(jù)倉庫的靈魂,它不僅提供了數(shù)據(jù)倉庫中數(shù)據(jù)結(jié)構的邏輯層,也提供了數(shù)據(jù)倉庫的構建和使用規(guī)則。
為了使數(shù)據(jù)倉庫中各個軟件能夠無縫地合作,必須在數(shù)據(jù)層進行有效的集成。所以,研究數(shù)據(jù)的作用與意義相當重要.數(shù)據(jù)是關于數(shù)據(jù)的數(shù)據(jù),即是對數(shù)據(jù)資源的描述,按其描述對象的不同可以分3大類:技術數(shù)據(jù)、業(yè)務數(shù)據(jù)和管理數(shù)據(jù)。
數(shù)據(jù)治理的一個重要作用是保障數(shù)據(jù)的安全。應該從企業(yè)級、體系化視角開展數(shù)據(jù)安全管理頂層設計。
數(shù)據(jù)統(tǒng)一分類分級后,通過數(shù)據(jù)鑒權來控制某一類數(shù)據(jù)可以被哪些系統(tǒng)調(diào)取,可以被哪些人員查看,可以被哪些部門共享,對不符合權限的對象進行限制,有效地防止數(shù)據(jù)泄露風險。
報名熱線/微信:18024510019