對企業(yè)的IT部門來說,提升和維護數(shù)據(jù)的質(zhì)量是一個永恒的挑戰(zhàn)。與此同時,數(shù)據(jù)的爆發(fā)式增長使這一任務(wù)變得越來越困難。此外,企業(yè)越來越依賴數(shù)據(jù)來獲取新的見解并為決策提供合理的建議。數(shù)據(jù)質(zhì)量,已成為IT部門的一個重要戰(zhàn)場。
但對于很多IT部門來說,對數(shù)據(jù)質(zhì)量的改進往往是被動性的,就像是救火:在數(shù)據(jù)質(zhì)量問題出現(xiàn)后,我們才進行響應(yīng),從一個危機跳到另一個危機。往往是最大的問題最受關(guān)注。如果沒有一個積極的數(shù)據(jù)質(zhì)量過程,數(shù)據(jù)問題就會開始增加。所以我們應(yīng)制定主動數(shù)據(jù)質(zhì)量改進計劃,其目標是在數(shù)據(jù)質(zhì)量問題成為問題之前識別它們。
數(shù)據(jù)是任何企業(yè)的資產(chǎn)之一,其中的區(qū)別在于負責確保整個企業(yè)數(shù)據(jù)質(zhì)量的團隊的規(guī)模。很大一部分數(shù)據(jù)不是閑置的,它們會進入多個不同的數(shù)據(jù)存儲系統(tǒng)。不正確的數(shù)據(jù)值就像是病毒:一旦出現(xiàn),它可能就會傳播到整個組織的數(shù)據(jù)報告和其他數(shù)據(jù)存儲中。
這里有一些建議可以幫助您開始構(gòu)建一個主動的數(shù)據(jù)質(zhì)量改進計劃,當然這些建議并不是絕對的,但會幫助你開始思考這個過程。該計劃的目標是確保企業(yè)數(shù)據(jù)的準確性和一致性。
建立一個數(shù)據(jù)質(zhì)量理念體系
像所有的組織計劃一樣,創(chuàng)建一個數(shù)據(jù)質(zhì)量改進的理念體系,需要從組織結(jié)構(gòu)的頂部開始,美國站群服務(wù)器,讓高層管理人員參與進來至關(guān)重要。需要確定負責數(shù)據(jù)質(zhì)量的團隊成員,并向IT人員和業(yè)務(wù)部門宣傳數(shù)據(jù)質(zhì)量改進計劃的好處,其目標是將數(shù)據(jù)質(zhì)量集成到組織結(jié)構(gòu)中。
合適的人掌握合適的技能
數(shù)據(jù)質(zhì)量專家很難找到,而且成本可能很高,但這并不妨礙你“自我成長”。在公司里找一些對此有興趣的人員,并為他們提供學習數(shù)據(jù)質(zhì)量科學的時間和相關(guān)培訓。您可以根據(jù)預算限制和您所擁有的人力資源來構(gòu)建相應(yīng)的項目。
沒錢沒工具?沒有關(guān)系
沒有足夠的預算來購買主數(shù)據(jù)管理(MDM)產(chǎn)品或數(shù)據(jù)質(zhì)量工具?這當然是個很大的挑戰(zhàn),但不能成為借口。筆者回顧了幾家初創(chuàng)公司的數(shù)據(jù)質(zhì)量項目,幾乎可以稱作是文檔、流程、程序庫和開源產(chǎn)品的大雜燴。如果組織需要,您也可以通過使用一些開源的MDM和數(shù)據(jù)質(zhì)量工具,如Talend、Pimcore和OS DQ等等,創(chuàng)建一個強大的、主動的數(shù)據(jù)質(zhì)量改進計劃。
數(shù)據(jù)質(zhì)量始于產(chǎn)生和獲取
為了開發(fā)高質(zhì)量的數(shù)據(jù)集,您必須在產(chǎn)生或從外部數(shù)據(jù)源獲取數(shù)據(jù)時遵循最佳實踐方法。與信息使用者溝通,確定他們?nèi)绾问褂脭?shù)據(jù),并確定治理數(shù)據(jù)的業(yè)務(wù)策略。然后,您可以開發(fā)一個標準,并構(gòu)建數(shù)據(jù)定義規(guī)則來保證一致性。 大多數(shù)數(shù)據(jù)庫提供一組約束來強制執(zhí)行數(shù)據(jù)一致性。對于以編程方式執(zhí)行數(shù)據(jù)一致性的非數(shù)據(jù)庫平臺,建議研究其他一些存儲公共代碼、數(shù)據(jù)質(zhì)量規(guī)則和最佳實踐的機制。 強烈建議各種規(guī)模的組織認真評估MDM產(chǎn)品套件。MDM平臺的流程框架和工具將成為數(shù)據(jù)質(zhì)量程序的基礎(chǔ),幫助您更快地建立和實施企業(yè)范圍內(nèi)的單一事實來源。
維持數(shù)據(jù)質(zhì)量
執(zhí)行前瞻性的數(shù)據(jù)質(zhì)量檢查,將成為改進計劃的核心部分。
其過程應(yīng)該是(1)識別、(2)優(yōu)先級、(3)評估、(4)糾正,VPS租用,即:識別數(shù)據(jù)和主體,對數(shù)據(jù)的重要性進行優(yōu)先級排序,評估最重要的數(shù)據(jù)資產(chǎn),糾正不準確的數(shù)據(jù)值。 當您識別出不正確的數(shù)據(jù)值時,您的目標應(yīng)該是確定可能造成的影響的嚴重程度和影響范圍,并確定問題的根源。然后采取必要的步驟來修復不正確的數(shù)據(jù)值,并解決產(chǎn)生問題的根本原因。 目前市面上有許多數(shù)據(jù)質(zhì)量產(chǎn)品可以幫助您進行分析,建議在選型之前結(jié)合權(quán)威機構(gòu)的調(diào)查報告了解每家提供商的優(yōu)劣。 構(gòu)建具有前瞻性數(shù)據(jù)質(zhì)量計劃,永遠都不算晚。如果計劃合理且完善,就能很大程度上減少數(shù)據(jù)質(zhì)量問題,更好地保護和使用企業(yè)的數(shù)據(jù)資產(chǎn)。