“關(guān)鍵數(shù)據(jù)元素”(CDE)-如何確定數(shù)據(jù)治理的優(yōu)先級
關(guān)鍵數(shù)據(jù)元素“critical data element” (CDE)是數(shù)據(jù)治理非常重要的概念,卻被廣泛忽視,導(dǎo)致數(shù)據(jù)治理胡子眉毛一把抓,陷入泥潭。本篇文章將就此概念進(jìn)行完整闡述。
一、關(guān)鍵數(shù)據(jù)的定義
DAMA-DMBOK2將關(guān)鍵數(shù)據(jù)定義為“對組織及其客戶最重要的數(shù)據(jù)”。
在巴塞爾銀行監(jiān)管委員會的第239號標(biāo)準(zhǔn)“有效風(fēng)險(xiǎn)數(shù)據(jù)匯總和風(fēng)險(xiǎn)報(bào)告原則”(BCBS 239或PERDARR)中,它們提供了幾種不同的定義:
“對銀行管理其面臨的風(fēng)險(xiǎn)至關(guān)重要的數(shù)據(jù)”
“對風(fēng)險(xiǎn)數(shù)據(jù)和IT基礎(chǔ)設(shè)施計(jì)劃至關(guān)重要的數(shù)據(jù)”
“匯總信息,以做出關(guān)于風(fēng)險(xiǎn)的關(guān)鍵決策”
David Loshin是最早使用此術(shù)語的數(shù)據(jù)管理專業(yè)人士之一,他提供了以下兩個(gè)定義:
“關(guān)鍵數(shù)據(jù)元素是被確定為對組織成功運(yùn)營至關(guān)重要的數(shù)據(jù)元素?!?/span>
“關(guān)鍵數(shù)據(jù)元素是業(yè)務(wù)流程和相應(yīng)業(yè)務(wù)應(yīng)用程序成功所依賴的數(shù)據(jù)元素?!?/span>
“關(guān)鍵數(shù)據(jù)元素(CDE)被定義為特定業(yè)務(wù)領(lǐng)域(業(yè)務(wù)線、共享服務(wù)或集團(tuán)職能)中“對成功至關(guān)重要的數(shù)據(jù)”,或“完成工作所需的數(shù)據(jù)”。
總結(jié)上述所有定義,關(guān)鍵數(shù)據(jù)有助于:
管理風(fēng)險(xiǎn)
管理業(yè)務(wù)決策
成功經(jīng)營企業(yè)
IT運(yùn)營,確定IT工作的優(yōu)先級
數(shù)據(jù)保護(hù)和數(shù)據(jù)安全,這兩個(gè)因素通常一起使用。數(shù)據(jù)保護(hù)的最佳示例是GDPR(通用數(shù)據(jù)保護(hù)法規(guī)),該法規(guī)在整個(gè)歐盟都很有名,側(cè)重于保護(hù)個(gè)人數(shù)據(jù)。在這種情況下,所有個(gè)人數(shù)據(jù)也被視為關(guān)鍵數(shù)據(jù)。
數(shù)據(jù)管理,在處理數(shù)據(jù)質(zhì)量、主數(shù)據(jù)和參考數(shù)據(jù)以及數(shù)據(jù)治理時(shí),關(guān)鍵數(shù)據(jù)元素非常重要。

2、關(guān)鍵數(shù)據(jù)的重要性
下面我們逐個(gè)詳細(xì)討論關(guān)鍵數(shù)據(jù)的重要性和價(jià)值:
報(bào)表需求
關(guān)鍵數(shù)據(jù)應(yīng)在監(jiān)管和財(cái)務(wù)報(bào)告、業(yè)務(wù)戰(zhàn)略中找到。
風(fēng)險(xiǎn)需求
不同行業(yè)和公司可能會對風(fēng)險(xiǎn)進(jìn)行不同的分類。最常見的風(fēng)險(xiǎn)類型是金融、信貸、運(yùn)營等。
績效管理和決策支持
關(guān)鍵數(shù)據(jù)是用于公司績效管理和決策支持的數(shù)據(jù)。在這方面,組織不同層級的關(guān)鍵管理KPI代表關(guān)鍵數(shù)據(jù)。
關(guān)鍵性
BCBS 239標(biāo)準(zhǔn)引入了關(guān)鍵數(shù)據(jù)概念的關(guān)鍵性標(biāo)準(zhǔn)。關(guān)鍵性概念具有以下含義:對財(cái)務(wù)決策的影響;確定數(shù)據(jù)為關(guān)鍵數(shù)據(jù)的最終決定仍然是業(yè)務(wù)專家的責(zé)任。
數(shù)據(jù)質(zhì)量(DQ)計(jì)劃的優(yōu)先級
數(shù)據(jù)質(zhì)量DQ計(jì)劃的關(guān)鍵目標(biāo)之一是為關(guān)鍵數(shù)據(jù)元素建立數(shù)據(jù)質(zhì)量檢查和控制。設(shè)計(jì)、分析和構(gòu)建數(shù)據(jù)質(zhì)量檢查和控制是一項(xiàng)耗費(fèi)時(shí)間和資源的工作。因此,需要一種機(jī)制來確定數(shù)據(jù)質(zhì)量計(jì)劃的優(yōu)先級。而關(guān)鍵數(shù)據(jù)可以幫助企業(yè)劃分優(yōu)先級。
主數(shù)據(jù)管理(MDM)計(jì)劃的優(yōu)先級
同樣也適用于主數(shù)據(jù)和參考數(shù)據(jù)計(jì)劃。按照優(yōu)先級管理所有主數(shù)據(jù)元素,這會大大提高管理的效率,關(guān)鍵數(shù)據(jù)元素(CDE)是實(shí)現(xiàn)這一目標(biāo)的最佳工具之一。
數(shù)據(jù)管理和數(shù)據(jù)治理計(jì)劃的優(yōu)先順序
關(guān)鍵數(shù)據(jù)元素有助于確定數(shù)據(jù)血緣計(jì)劃范圍以使其更可行。尤其是手工維護(hù)的描述性數(shù)據(jù)血緣。
確定業(yè)務(wù)驅(qū)動(dòng)因素并設(shè)置關(guān)鍵績效指標(biāo)(KPI)
關(guān)鍵數(shù)據(jù)的應(yīng)用領(lǐng)域涉及財(cái)務(wù)規(guī)劃和分析領(lǐng)域。經(jīng)過一些調(diào)查發(fā)現(xiàn),數(shù)據(jù)血緣可以幫助識別業(yè)務(wù)驅(qū)動(dòng)的關(guān)鍵元素。
三、如何識別關(guān)鍵數(shù)據(jù)
識別數(shù)據(jù)鏈末端的關(guān)鍵數(shù)據(jù)需要跟蹤和識別數(shù)據(jù),并追溯其來源。在不知道數(shù)據(jù)血緣的情況下,此任務(wù)是不可能完成的。在數(shù)據(jù)實(shí)體和屬性級別執(zhí)行此類分析,物理數(shù)據(jù)血緣是“必須”條件。

為了深入解釋這一陳述,讓我們使用下圖的示例。

1、“最終關(guān)鍵數(shù)據(jù)元素(CDE)”對于第一類關(guān)鍵數(shù)據(jù)元素,稱為?“最終CDE”。之所以稱為?“最終CDE”,因?yàn)樗鼈兾挥跀?shù)據(jù)鏈的末端,通常它們會出現(xiàn)在報(bào)告或報(bào)表中。最終CDE對公司的盈利能力和績效影響最大。
2、“過渡性計(jì)算CDE”該CDE包括兩個(gè)詞:“過渡”和“計(jì)算”。它們是“過渡”的,因?yàn)樗鼈兾挥跀?shù)據(jù)鏈能 ? ?中。 ?它們是“計(jì)算”出來的,因?yàn)樵搭^數(shù)據(jù)元素做出轉(zhuǎn)換以輸出其值。
3、“過渡性源CDE”這些關(guān)鍵數(shù)據(jù)元素也位于數(shù)據(jù)鏈中。這些關(guān)鍵數(shù)據(jù)元素不隨鏈變化,常用于計(jì)算。過渡性源CDE示例是“客戶名稱”。元素“客戶發(fā)票金額”用于轉(zhuǎn)換和匯總目的。
4、“業(yè)務(wù)規(guī)則CDE”這些關(guān)鍵數(shù)據(jù)元素的值不直接用于計(jì)算,卻是執(zhí)行業(yè)務(wù)規(guī)則所必需的。5、“技術(shù)CDE”這些關(guān)鍵數(shù)據(jù)元素確保數(shù)據(jù)的正確處理。表主外鍵是此類關(guān)鍵數(shù)據(jù)元素的示例。這些關(guān)鍵數(shù)據(jù)元素都可以在不同級別的數(shù)據(jù)模型中進(jìn)行記錄。在這個(gè)案例中,“總凈收入”作為“最終CDE”的示例,該數(shù)據(jù)元素滿足上述所有關(guān)鍵性要求??們羰杖胧且粋€(gè)匯總的數(shù)字,要獲得該CDE的價(jià)值,需要處理和匯總其他數(shù)據(jù)元素。其中一些也是關(guān)鍵數(shù)據(jù)元素(CDE)。
?“過渡性計(jì)算CDE”和“過渡性源CDE”
對于這些類型的元素,主要關(guān)鍵性標(biāo)準(zhǔn)是對“最終關(guān)鍵數(shù)據(jù)元素”價(jià)值的重大影響。例如,如果不知道過渡性源CDE“客戶發(fā)票金額”和過渡性計(jì)算元素“每個(gè)客戶的收入”,則很難計(jì)算“總凈收入”
?“業(yè)務(wù)規(guī)則CDE”
該元素對計(jì)算的重要性定義了其臨界性。以信用評級為例。例如,該元素確定客戶貸款的利率,但在計(jì)算中不需要該元素本身。
?“技術(shù)CDE”
技術(shù)CDE的關(guān)鍵性由該數(shù)據(jù)元素在計(jì)算其他CDE時(shí)的重要性確定,并用于參考完整性。例如,如果外鍵中沒有值,則不會執(zhí)行計(jì)算過程。為了快速取得成果,數(shù)據(jù)管理專業(yè)人員應(yīng)該采用實(shí)用的方法來識別關(guān)鍵數(shù)據(jù)元素。這種方法取決于數(shù)據(jù)血緣的可用性。在理想情況下,當(dāng)擁有物理數(shù)據(jù)血緣時(shí),可以從終極關(guān)鍵數(shù)據(jù)元素(CDE)分析發(fā)現(xiàn)計(jì)算CDE所需的所有數(shù)據(jù)元素。然后,通過應(yīng)用選定的關(guān)鍵性方法來識別數(shù)據(jù)鏈中的關(guān)鍵數(shù)據(jù)元素。然而,在現(xiàn)實(shí)中并不是很多公司都有數(shù)據(jù)血緣或全范圍的數(shù)據(jù)血緣。在這種情況下,可以應(yīng)用影響分析方法。這種方法基于知識,適用于兩種情況:
來源元素集是已知的
數(shù)據(jù)鏈包括多個(gè)應(yīng)用程序或分成多個(gè)段
影響分析方法
該示例的初始條件如下圖所示。
該示例情況下,計(jì)算引擎和最終報(bào)表的來源格式是已知的。它包括大約1800個(gè)數(shù)據(jù)元素。源關(guān)鍵數(shù)據(jù)元素的識別包括兩個(gè)步驟:1、將源元素限制為必填的表和字段,將1800個(gè)元素縮減為800個(gè)。2、專家進(jìn)行分析。專家們已經(jīng)確定了大約70個(gè)原始關(guān)鍵數(shù)據(jù)元素,他們認(rèn)為這些元素對于提供最終和計(jì)算的關(guān)鍵數(shù)據(jù)元至關(guān)重要。

影響分析方法之外,另一種方法是通過根因分析
基于臨時(shí)區(qū)域和加工計(jì)算之間,以及臨時(shí)區(qū)域和報(bào)表之間的物理數(shù)據(jù)血緣來識別原始數(shù)據(jù)元素。分析包括以下步驟:1、確定關(guān)鍵報(bào)表從160份報(bào)表中,專家們選擇了20份作為關(guān)鍵報(bào)告。2、分析關(guān)鍵報(bào)告中的數(shù)據(jù)元素專家們已經(jīng)確定了大約50個(gè)關(guān)鍵的最終數(shù)據(jù)元素。3、分析原始數(shù)據(jù)元素物理數(shù)據(jù)血緣計(jì)算發(fā)現(xiàn)選50個(gè)最終數(shù)據(jù)元素需要大約250個(gè)原始數(shù)據(jù)元素。4、專家參與評估專家從原始數(shù)據(jù)元素中選擇約50個(gè)作為原始關(guān)鍵數(shù)據(jù)元素。最后,每個(gè)公司都可以探索自己的實(shí)用方法來識別關(guān)鍵數(shù)據(jù)元素,明確數(shù)據(jù)治理體系建設(shè)的優(yōu)先級。