數(shù)字化時(shí)代,在一系列數(shù)據(jù)技術(shù)中淺談商業(yè)智能BI
BI,Business Intelligence的簡稱,顧名思義,也叫做商業(yè)智能。其主要價(jià)值,在于通過一系列的數(shù)據(jù)技術(shù),從數(shù)據(jù)中挖掘隱藏的客觀規(guī)律,總結(jié)這些規(guī)律背后的原因,并用于指導(dǎo)公司業(yè)務(wù)的發(fā)展。
大多數(shù)情況下,BI分析師的工作,就是通過SQL、Python等語言,將已經(jīng)統(tǒng)計(jì)好的數(shù)據(jù),結(jié)合數(shù)據(jù)模型或者是分析框架,來對(duì)業(yè)務(wù)進(jìn)行各種分析,并做成有價(jià)值的報(bào)表或者報(bào)告的形式,供業(yè)務(wù)方進(jìn)行分析。
很多人并不清楚數(shù)據(jù)報(bào)表與數(shù)據(jù)分析的區(qū)別。數(shù)據(jù)報(bào)表的重點(diǎn),是使用相對(duì)簡單的數(shù)學(xué)方法,來對(duì)歷史數(shù)據(jù)進(jìn)行展示和呈現(xiàn);數(shù)據(jù)分析的重點(diǎn),是采用更復(fù)雜的計(jì)算邏輯,并能夠預(yù)測一些特定的問題、識(shí)別因果關(guān)系、確定最優(yōu)解決方案的方法??梢哉f,數(shù)據(jù)報(bào)表“更廣”,數(shù)據(jù)分析“更深”。
?

從數(shù)倉的視角看,數(shù)據(jù)工程師的第一目標(biāo),便是通過事先預(yù)處理好的數(shù)據(jù),支持業(yè)務(wù)及分析師的數(shù)據(jù)探查需求,因?yàn)閿?shù)據(jù)系統(tǒng)能夠極大的降低數(shù)據(jù)使用的門檻,簡化分析師或者是業(yè)務(wù)對(duì)于數(shù)據(jù)的理解成本。
但僅僅完成第一目標(biāo)并不夠,我們需要體現(xiàn)自身的價(jià)值,就需要向第二目標(biāo)邁進(jìn),即價(jià)值增量。
BI系統(tǒng)的價(jià)值增量
如何體現(xiàn)BI的價(jià)值增量,并不像AI或者智能那樣,是一個(gè)比較泛化的概念,而是有實(shí)際的思路。例如,我們要出一份報(bào)告,針對(duì)某個(gè)特定的問題,而如何描述這個(gè)問題,以及針對(duì)問題的原因,要做怎樣的動(dòng)作,通常有如下的分析思路:
描述型分析:發(fā)生了什么?
診斷型分析:為什么會(huì)發(fā)生?
預(yù)測型分析:可能發(fā)生什么?
指令型分析:需要做什么?
而這幾類思路的實(shí)現(xiàn),對(duì)數(shù)倉的要求,都是相似的:即提供一種完整的數(shù)據(jù)探查與反饋鏈路。而這種需求,對(duì)數(shù)倉的要求,就不僅僅局限在維度建模理論上,而是要求將BI系統(tǒng)、模型系統(tǒng)與反饋系統(tǒng)集合起來應(yīng)用。
因此,我們做需求的思路,就需要圍繞“BI分析周期”展開,而不僅僅是follow產(chǎn)品或運(yùn)營的需求,這就需要我們自己有做產(chǎn)品的意識(shí),為自己做的產(chǎn)品負(fù)責(zé)。這種情況下,我們與產(chǎn)品或運(yùn)營,其實(shí)是一種合作關(guān)系。那么對(duì)于BI產(chǎn)品的建設(shè),數(shù)倉來負(fù)責(zé),應(yīng)該有怎樣的套路?
?

大約分為下五個(gè)部分:
觀察業(yè)務(wù)。通過開發(fā)標(biāo)準(zhǔn)化的報(bào)表系統(tǒng),來觀察業(yè)務(wù)的運(yùn)行情況。
識(shí)別異常。通過已有的報(bào)表,能夠快速定位“出了什么問題”或“問題在哪里”??梢酝ㄟ^BI系統(tǒng)的著色工具,用于標(biāo)記有問題的數(shù)據(jù)部分,快速指導(dǎo)分析人員關(guān)注重要的業(yè)務(wù)時(shí)機(jī)或者有問題的數(shù)據(jù)。
確定異常原因。通過額外的數(shù)據(jù)處理,做對(duì)比驗(yàn)證,包括將數(shù)據(jù)進(jìn)行關(guān)聯(lián)、排序,或者是外部的數(shù)據(jù)(天氣等)。
提供決策方案。在已有因果關(guān)系的基礎(chǔ)上,設(shè)計(jì)模型以評(píng)價(jià)決策供選方案,而數(shù)據(jù)倉庫豐富的歷史信息,輔助以數(shù)據(jù)分析模型、數(shù)據(jù)挖掘算法,正是評(píng)價(jià)決策效果的寶庫。
采取行動(dòng)并跟蹤結(jié)果。BI系統(tǒng)所發(fā)現(xiàn)的問題,能夠通過其他應(yīng)用程序,反饋給運(yùn)營,并及時(shí)采取行動(dòng)。
大多數(shù)情況下,如何對(duì)問題數(shù)據(jù)進(jìn)行分析和處理,都存在了分析人員的大腦里。但是,綜合性的BI系統(tǒng),應(yīng)當(dāng)是能夠超過標(biāo)準(zhǔn)報(bào)表的應(yīng)用范圍,通過對(duì)業(yè)務(wù)形式的判斷,來主動(dòng)的“指導(dǎo)”用戶,最終幫助他們做出富有見地和深思熟慮的決策。
因此,從數(shù)倉角度出發(fā),BI系統(tǒng)的目標(biāo)應(yīng)當(dāng)是:
主動(dòng)指導(dǎo)用戶超出報(bào)表范圍的思考;
識(shí)別和了解異常的數(shù)據(jù)情況;
為每個(gè)異常問題提供解決的“最優(yōu)方法”;
在公司內(nèi)部共享“最優(yōu)方法”或者是知識(shí)資本。
這些,就是數(shù)倉團(tuán)隊(duì),能夠提供的價(jià)值增量。
BI系統(tǒng)的功能建設(shè)
BI系統(tǒng)應(yīng)當(dāng)分為幾個(gè)主要的子系統(tǒng),包括:
同步工具:提供基本的數(shù)據(jù)同步功能,支持多數(shù)據(jù)源的導(dǎo)入,允許用戶自定義結(jié)果集。
看板展示:是預(yù)定義的、預(yù)先編排好格式的報(bào)表,一般提供某個(gè)層次的用戶交互,比如輸入?yún)?shù),向下鉆取到較低層次的細(xì)節(jié)數(shù)據(jù),以及鏈接到相關(guān)報(bào)表等。
?

儀表盤:一般是由報(bào)表和圖表組合而成的,能夠突出數(shù)據(jù)的相關(guān)特征,并提供向下鉆取的功能、或者異常高亮等功能,能夠?qū)Χ鄠€(gè)業(yè)務(wù)過程的數(shù)據(jù)進(jìn)行交叉分析。
?

分析性程序:根據(jù)對(duì)業(yè)務(wù)過程的決策分析進(jìn)行管理,比如發(fā)起會(huì)話、生成文案等。
權(quán)限系統(tǒng):支持定義查看數(shù)據(jù)角色,通常要支持到卡片粒度,高級(jí)一些的能夠支持到行權(quán)限。
當(dāng)然,很多時(shí)候,分析師對(duì)于BI系統(tǒng)的需求是非常個(gè)性化的,例如報(bào)表的樣式希望能夠自定義、或者是讀取數(shù)據(jù)量超級(jí)大的明細(xì),并且提供一定的內(nèi)存計(jì)算、再或者是希望將樹形、圖形數(shù)據(jù)的結(jié)構(gòu)展示出來,而不過多的加工數(shù)據(jù),等等。這就對(duì)于系統(tǒng)的功能和性能提出了非常高的訴求。其實(shí)很多BI系統(tǒng),可以提供一些自定義的功能,比如支持動(dòng)態(tài)SQL、支持CSS自定義編輯、支持組件拖拽方式的SQL開發(fā),等等,但這些功能通常都有比較高的理解和使用成本,更適合進(jìn)階一些的分析師。很對(duì)BI系統(tǒng)在兼顧易用性與功能性的時(shí)候,容易做出一些妥協(xié),從而影響了產(chǎn)品的簡潔,滿足了一批分析師的需求,又趕跑了一批新用戶。
因此,既然我們選擇了BI系統(tǒng),那么就需要考慮放棄一些過多的修飾,而把精力放在數(shù)據(jù)本身上。對(duì)于數(shù)倉同學(xué)來說,對(duì)于BI系統(tǒng),并不是可以放任不管的狀態(tài),因?yàn)槿绻麛?shù)據(jù)出現(xiàn)了問題,例如算錯(cuò)了,或者延遲了,最終還是需要數(shù)據(jù)來兜底。
?

因此,數(shù)據(jù)還需要考慮如下的一些工作:
數(shù)據(jù)集的建設(shè):合作的分析師或者運(yùn)營,如果不理解維度建模,那么我們的工作職責(zé)還需要覆蓋到BI系統(tǒng)數(shù)據(jù)集的建設(shè)上來,協(xié)助將數(shù)據(jù)的同步、組合與注釋,相對(duì)應(yīng)的標(biāo)記好。
數(shù)據(jù)同步的建設(shè):如果離線數(shù)倉2小時(shí)加工好的數(shù)據(jù),需要3個(gè)小時(shí)才能同步到數(shù)據(jù)庫里,或者是明細(xì)數(shù)據(jù)太大,撐爆了系統(tǒng)或者瀏覽器,都算是數(shù)據(jù)故障的一種,而如果避免這些問題,同樣需要數(shù)據(jù)同學(xué)的參與。如果明細(xì)確實(shí)太大,那就考慮用戶是否需要這么多的明細(xì);如果數(shù)據(jù)庫性能不足,那就需要與數(shù)據(jù)庫同學(xué)一同進(jìn)行調(diào)優(yōu)。
數(shù)據(jù)分析思路的提議:通常情況下,數(shù)據(jù)開發(fā)是最懂?dāng)?shù)據(jù)的那部分人,而我們BI系統(tǒng)分析問題的思路是什么,是應(yīng)該最有發(fā)言權(quán)的。盡管我們不直接對(duì)業(yè)務(wù)結(jié)果負(fù)責(zé),但數(shù)據(jù)系統(tǒng)還是應(yīng)該遵循一些基本的分析思路,如果自己都看不懂,那么我們的成果也得不到承認(rèn),“行百里者半九十”,最后的十步,就是在BI系統(tǒng)的建設(shè)思路上了。
免責(zé)聲明:本公眾號(hào)所發(fā)布的文章為本公眾號(hào)原創(chuàng),或者是在網(wǎng)絡(luò)搜索到的優(yōu)秀文章進(jìn)行的編輯整理,文章版權(quán)歸原作者所有,僅供讀者朋友們學(xué)習(xí)、參考。對(duì)于分享的非原創(chuàng)文章,有些因?yàn)闊o法找到真正來源,如果標(biāo)錯(cuò)來源或者對(duì)于文章中所使用的圖片、鏈接等所包含但不限于軟件、資料等,如有侵權(quán),請(qǐng)直接聯(lián)系后臺(tái),說明具體的文章,后臺(tái)會(huì)盡快刪除。給您帶來的不便,深表歉意。