研華WISE-DataInsight/DIS 數(shù)據(jù)集成服務(wù)是一個數(shù)據(jù)同步的工具，提供多源異構(gòu)數(shù)據(jù)的采集、傳輸、導(dǎo)入功能，支持離線和實(shí)時等多種同步方式，實(shí)現(xiàn)數(shù)據(jù)的同步、遷移、融合等多種場景。簡而言之，研華工業(yè)云WISE-DataInsight/DIS數(shù)據(jù)集成服務(wù)讓您輕松收集、處理和分發(fā)數(shù)據(jù)，打破數(shù)據(jù)孤島，讓數(shù)據(jù)流動起來！

研華工業(yè)云WISE-DataInsight/DIS數(shù)據(jù)集成服務(wù)支持多種類型的數(shù)據(jù)來源，比如關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、無結(jié)構(gòu)化數(shù)據(jù)存儲、實(shí)時流數(shù)據(jù)等。通過對這些數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、導(dǎo)入，將其同步到目的地?cái)?shù)據(jù)源中。研華工業(yè)云WISE-DataInsight/DIS數(shù)據(jù)集成服務(wù)不僅支持同類型的數(shù)據(jù)源的數(shù)據(jù)同步，比如從一個MySQL數(shù)據(jù)庫同步到其他的MySQL數(shù)據(jù)庫，還支持異構(gòu)的數(shù)據(jù)源之間的同步，比如MySQL數(shù)據(jù)庫的數(shù)據(jù)還可以同步到其他的關(guān)系型數(shù)據(jù)庫，像PostgreSQL、SQL Server等，也可以同步到NoSQL數(shù)據(jù)庫或其他文件存儲系統(tǒng)中。

產(chǎn)品架構(gòu)圖

研華工業(yè)云WISE-DataInsight/DIS數(shù)據(jù)集成服務(wù)的產(chǎn)品架構(gòu)可以分為三層，自下而上分別是執(zhí)行層，管控層以及運(yùn)維層。

執(zhí)行層，包含離線同步引擎和實(shí)時同步引擎。目前離線同步和實(shí)時同步是分開的。離線同步引擎包含離線執(zhí)行器和離線插件庫，實(shí)時同步引擎包含實(shí)時執(zhí)行器和實(shí)時插件庫，同步任務(wù)會被分配到某個執(zhí)行器執(zhí)行，然后執(zhí)行器加載合適的插件來運(yùn)行同步任務(wù)。DIS可以部署在Linux本地環(huán)境或者VM中，也可以以容器化方式部署在Docker或者K8s環(huán)境中。

在管控層，DIS提供項(xiàng)目管理，數(shù)據(jù)源管理，權(quán)限管理，執(zhí)行器管理和任務(wù)管理。項(xiàng)目管理方便用戶按照項(xiàng)目的方式來管理數(shù)據(jù)源、同步任務(wù)以及執(zhí)行器。數(shù)據(jù)源管理用來管理各種數(shù)據(jù)源的連接。權(quán)限管理為用戶訪問提供安全管控。執(zhí)行器管理方便用戶添加私有執(zhí)行器。任務(wù)管理主要幫助用戶進(jìn)行任務(wù)的構(gòu)建、編輯、執(zhí)行等操作。

在運(yùn)維層，DIS提供了監(jiān)控、日志、報(bào)警通知等功能。通過運(yùn)維中心可以監(jiān)控任務(wù)的調(diào)度和執(zhí)行狀況，以及執(zhí)行器的資源使用情況。日志管理可以用來過濾和查看任務(wù)執(zhí)行的日志，方便用戶排查問題。任務(wù)執(zhí)行以及資源使用的異常信息，可以通過各種報(bào)警渠道發(fā)送告警通知，比如常用的微信、郵件、電話、釘釘?shù)取?/p>

另外，整個服務(wù)還做了多租戶管理，可以將一套DIS服務(wù)提供給多個租戶使用。數(shù)據(jù)源以及執(zhí)行器等各種資源都是可以隔離的。

十大核心功能特性

研華工業(yè)云WISE-DataInsight/DIS數(shù)據(jù)集成服務(wù)擁有非常強(qiáng)大的功能特性。

01 簡單易用零代碼。首先是它的易用性，它提供了可視化的操作界面，用戶通過簡單的配置即可完成同步任務(wù)的創(chuàng)建，在大多數(shù)同步場景中，用戶基本是零代碼即可完成同步操作。

02 豐富的異構(gòu)數(shù)據(jù)源。它支持豐富的異構(gòu)數(shù)據(jù)源，比如關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、文件存儲、大數(shù)據(jù)存儲、消息隊(duì)列等20+種數(shù)據(jù)源。

03 離線、實(shí)時全場景覆蓋。DIS覆蓋了離線、實(shí)時全場景同步，既可以采集靜態(tài)數(shù)據(jù)，也可以采集實(shí)時變化數(shù)據(jù)，一鍵完成全增量數(shù)據(jù)同步。

04 支持?jǐn)?shù)據(jù)轉(zhuǎn)換。同時它還可以在同步過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換，幫助用戶輕松完成數(shù)據(jù)過濾、脫敏，補(bǔ)全等功能，并支持自定義函數(shù)，使得ETL作業(yè)一步到位。

05 星形同步鏈路。DIS采用星形同步鏈路，任意兩種數(shù)據(jù)源都可以連通為一條數(shù)據(jù)同步鏈路。

06 開放可擴(kuò)展性。它的每一種數(shù)據(jù)源都是采用插件的方式，不支持的數(shù)據(jù)源也可以通過開發(fā)插件的方式快速接入，這使得它具有高度的開放可擴(kuò)展性。

07 錯誤控制和臟數(shù)據(jù)處理。另外，它還有錯誤控制和臟數(shù)據(jù)處理功能，可以設(shè)置錯誤記錄閾值、錯誤占比閾值，使得數(shù)據(jù)同步任務(wù)在出錯時及時停止，避免系統(tǒng)資源的浪費(fèi)。還可以實(shí)現(xiàn)臟數(shù)據(jù)的采集和展示，方便用戶排查問題。

08 精確的速度控制。DIS還可以控制同步速度，通過通道并發(fā)數(shù)、記錄流、字節(jié)流來控制同步速度，避免過高的壓力影響在線業(yè)務(wù)系統(tǒng)的使用。

09?精細(xì)的權(quán)限管控。為了保障數(shù)據(jù)源的訪問安全，DIS也開發(fā)了權(quán)限管控功能，可以按照項(xiàng)目或者用戶來分配數(shù)據(jù)源權(quán)限，任務(wù)權(quán)限，執(zhí)行器權(quán)限等。

10 監(jiān)控告警。DIS還具有監(jiān)控告警的功能，可以監(jiān)控任務(wù)的運(yùn)行狀況及執(zhí)行器的資源使用情況，出現(xiàn)異常時可以通過多種渠道進(jìn)行報(bào)警。

WISE-DataInsight工業(yè)大數(shù)據(jù)分析平臺

研華工業(yè)云WISE-DataInsightgo工業(yè)大數(shù)據(jù)分析平臺是研華最新推出的套件品牌，它主要用來進(jìn)行大數(shù)據(jù)的管理與分析。WISE-DataInsight下面包含很多不同的子產(chǎn)品，比如DIS，Stream，DataLake，ETL，BI等。那么這些子產(chǎn)品之間，以及與其他品牌產(chǎn)品之間的關(guān)系是怎樣的呢，下面我們通過這個邏輯圖來為大家介紹一下這些服務(wù)之間的關(guān)系。

最左邊是一些不同類型的數(shù)據(jù)源，比如ERP、CRM、MES等生產(chǎn)管理、企業(yè)管理系統(tǒng)，這些系統(tǒng)數(shù)據(jù)一般都是存儲在數(shù)據(jù)庫中，還有一些圖片視頻等非結(jié)構(gòu)化數(shù)據(jù)，可能會被存儲在各種文件系統(tǒng)中，以及來自消息隊(duì)列的流數(shù)據(jù)，還有各種設(shè)備數(shù)據(jù)。

要進(jìn)行大數(shù)據(jù)管理和分析，首先要把這些不同類型的數(shù)據(jù)都采集到大數(shù)據(jù)平臺中。設(shè)備數(shù)據(jù)一般由WISE-IoTSuite中的IoT Edge進(jìn)行采集，IoT Edge提供了數(shù)據(jù)轉(zhuǎn)發(fā)功能，可以將采集的數(shù)據(jù)轉(zhuǎn)發(fā)到消息隊(duì)列或其他服務(wù)，比如要對采集的設(shè)備數(shù)據(jù)進(jìn)行復(fù)雜的數(shù)據(jù)預(yù)處理，便可以將數(shù)據(jù)轉(zhuǎn)發(fā)到WISE-DataInsight/Stream服務(wù)。Stream是一個實(shí)時計(jì)算服務(wù)，可以對流數(shù)據(jù)進(jìn)行數(shù)據(jù)過濾、數(shù)據(jù)轉(zhuǎn)換、插值補(bǔ)值、去重降噪等處理，也可以根據(jù)用戶需求自定義算子。Stream處理后的數(shù)據(jù)會被轉(zhuǎn)發(fā)到DIS，由DIS再轉(zhuǎn)存到DataLake中。另外其他數(shù)據(jù)源的數(shù)據(jù)也都可以經(jīng)由DIS采集、處理、再導(dǎo)入到DataLake。這樣所有數(shù)據(jù)都會匯聚到DataLake建立一個數(shù)據(jù)中心。數(shù)據(jù)是一切分析的基礎(chǔ)，有了數(shù)據(jù)，可以通過WSIE-DataInsight/ETL對數(shù)據(jù)進(jìn)行二次清洗，并抽取到數(shù)據(jù)倉庫，再用WISE-DataInsight/BI工具對數(shù)據(jù)進(jìn)行自助探索和多維分析。除了AI，還可以通過WISE-AIFS對數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，更深度挖掘數(shù)據(jù)的價值。

應(yīng)用場景

01 數(shù)據(jù)遷移上云

在傳統(tǒng)業(yè)務(wù)遷移上云的過程中，用戶不僅需要把服務(wù)遷移到云上，更需要把數(shù)據(jù)遷移到云上，DIS服務(wù)可以幫助用戶完成數(shù)據(jù)的遷移過程。

02 異構(gòu)數(shù)據(jù)源轉(zhuǎn)換

用戶在使用數(shù)據(jù)存儲時，有時會遇到數(shù)據(jù)存儲性能不能滿足需求的情況，便會考慮更換數(shù)據(jù)存儲類型，DIS服務(wù)可以幫助用戶完成不同類型存儲之間的數(shù)據(jù)遷移，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的轉(zhuǎn)換。

03 數(shù)據(jù)融合分析

數(shù)據(jù)分析場景的數(shù)據(jù)經(jīng)常來自多種不同的異構(gòu)數(shù)據(jù)源，將數(shù)據(jù)匯集到一起是進(jìn)行數(shù)據(jù)分析的第一步，DIS支持豐富的異構(gòu)數(shù)據(jù)源，可以幫助用戶將多種異構(gòu)數(shù)據(jù)匯聚到一起，為后續(xù)數(shù)據(jù)分析做準(zhǔn)備。

04 數(shù)據(jù)湖構(gòu)建

傳統(tǒng)的存儲方式已經(jīng)不能滿足現(xiàn)代大數(shù)據(jù)的存儲需求，通過DIS可以將數(shù)據(jù)庫歷史數(shù)據(jù)、IoT數(shù)據(jù)、Log日志等流數(shù)據(jù)轉(zhuǎn)存到數(shù)據(jù)湖等大數(shù)據(jù)存儲中，利用大數(shù)據(jù)存儲的分布式技術(shù)滿足數(shù)據(jù)日益增長的需求，并可通過壓縮技術(shù)節(jié)省存儲空間，也可起到數(shù)據(jù)備份的作用。

05 實(shí)時數(shù)倉構(gòu)建

利用DIS可以將IoT數(shù)據(jù)、各種Log日志等流式數(shù)據(jù)進(jìn)行匯聚，再結(jié)合實(shí)時計(jì)算引擎，完成實(shí)時數(shù)倉應(yīng)用場景的構(gòu)建。

客戶成功案例

【案例分享1】：助力邊云數(shù)據(jù)實(shí)時同步，實(shí)現(xiàn)IT和OT數(shù)據(jù)融合

此案例是通過DIS CDC同步方式助力邊云數(shù)據(jù)實(shí)時同步，實(shí)現(xiàn)IT和OT數(shù)據(jù)融合分析?？蛻粼谶吘墧?shù)據(jù)庫存儲了產(chǎn)品數(shù)據(jù)及工單數(shù)據(jù)，并希望將這些數(shù)據(jù)實(shí)時同步到云端，與設(shè)備數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，遇到的問題是邊端和云端用到的數(shù)據(jù)庫類型不一致，需要進(jìn)行異構(gòu)數(shù)據(jù)源的數(shù)據(jù)轉(zhuǎn)換，另外，數(shù)據(jù)庫實(shí)時更新需要用到CDC技術(shù)，Change Data Capture，即要實(shí)時捕獲到數(shù)據(jù)的更新信息，并同步到云端，但現(xiàn)有的工具并不能滿足需求。我們的解決方案是，先通過DIS將歷史數(shù)據(jù)全部同步到云端數(shù)據(jù)庫，再通過DIS CDC捕獲數(shù)據(jù)庫的實(shí)時更新同步到云端，所以整體的方案是，通過IoT Edge采集設(shè)備數(shù)據(jù)發(fā)送到云端，通過DIS采集數(shù)據(jù)庫數(shù)據(jù)，當(dāng)數(shù)據(jù)庫數(shù)據(jù)有變化時，會將變化的數(shù)據(jù)同步到MQTT中，再通過Data Hub將變動數(shù)據(jù)更新到云端數(shù)據(jù)庫，實(shí)現(xiàn)邊云數(shù)據(jù)的實(shí)時同步。通過此方案，便可將產(chǎn)品數(shù)據(jù)和工單數(shù)據(jù)發(fā)送到云端，進(jìn)而與設(shè)備數(shù)據(jù)進(jìn)行關(guān)聯(lián)，進(jìn)行生產(chǎn)績效管理、設(shè)備維護(hù)管理等，實(shí)現(xiàn)IT和OT數(shù)據(jù)的融合分析。

【案例分享2】：助力數(shù)據(jù)湖構(gòu)建，提供AI規(guī)范化數(shù)據(jù)

此案例是通過DIS助力數(shù)據(jù)湖構(gòu)建，提供AI規(guī)范化數(shù)據(jù)。這其實(shí)是一個數(shù)據(jù)湖+AIFS的機(jī)器學(xué)習(xí)解決方案，客戶在進(jìn)行機(jī)器學(xué)習(xí)時一般會面臨幾個問題，比如數(shù)據(jù)源多樣，包含設(shè)備數(shù)據(jù)、各種業(yè)務(wù)系統(tǒng)數(shù)據(jù)、應(yīng)用數(shù)據(jù)、Log日志等數(shù)據(jù)，要對數(shù)據(jù)進(jìn)行AI機(jī)器訓(xùn)練，需要對接多種數(shù)據(jù)源，操作復(fù)雜，另外進(jìn)行機(jī)器學(xué)習(xí)的數(shù)據(jù)格式不統(tǒng)一，數(shù)據(jù)質(zhì)量差，影響機(jī)器學(xué)習(xí)的效果，所以需要對數(shù)據(jù)進(jìn)行預(yù)處理。針對這些問題，我們采用DIS作為數(shù)據(jù)匯聚和清洗的工具，通過DIS將各類數(shù)據(jù)源匯聚到數(shù)據(jù)湖中，為AI機(jī)器學(xué)習(xí)提供數(shù)據(jù)基礎(chǔ)，還支持在入湖時對數(shù)據(jù)進(jìn)行清洗處理、標(biāo)準(zhǔn)化，方便后續(xù)使用機(jī)器學(xué)習(xí)模型分析。

【案例分享3】：融合多源數(shù)據(jù)，助力IT部門考勤數(shù)據(jù)分析

此案例中，客戶想做一份員工考勤數(shù)據(jù)報(bào)表，但遇到了一些問題，比如因?yàn)橐咔橛绊懀瑔T工經(jīng)常會被安排在家辦公，打卡系統(tǒng)不能全面分析員工考勤情況，考勤數(shù)據(jù)分析需要結(jié)合多個管理系統(tǒng)的數(shù)據(jù)進(jìn)行綜合分析，比如，這些數(shù)據(jù)源包含Excel表格，Rest API，數(shù)據(jù)庫等多種類型。針對這些問題，我們采用DIS作為數(shù)據(jù)匯聚的工具，因?yàn)镈IS支持多種類型的異構(gòu)數(shù)據(jù)源，通過DIS可以將這些考勤數(shù)據(jù)匯聚到一起，匯聚過程中還可以進(jìn)行數(shù)據(jù)過濾、字符串轉(zhuǎn)換等操作，比如過濾到一些空記錄，再比如將字符串類型的日期轉(zhuǎn)換為時間格式，數(shù)據(jù)匯聚后再通過BI分析工具進(jìn)行各部門平均工時統(tǒng)計(jì)，請假情況分析，以及明細(xì)匯總。通過分析考勤數(shù)據(jù)讓領(lǐng)導(dǎo)了解各個部門的管理和工作情況，從而獲得崗位設(shè)置、定員定編的可靠建議，員工考勤作為績效考核的一部分，精準(zhǔn)的考勤數(shù)據(jù)也可以為績效考核提供依據(jù)。

【案例分享4】：匯聚離散文件， 助力企業(yè)銷售業(yè)績分析

此案例中，客戶的數(shù)據(jù)分析部門要做一個銷售業(yè)績分析報(bào)表，但是因?yàn)闄?quán)限問題，無法直接對接公司的銷售管理系統(tǒng)數(shù)據(jù)庫，能夠獲取到的數(shù)據(jù)只能從UI上下載CSV文件，一個月產(chǎn)生一個當(dāng)月銷售的明細(xì)文件，這樣通過單個文件就無法進(jìn)行跨月分析，離散的文件也不利于管理和再利用。我們的解決方案是將所有CSV文件放到數(shù)據(jù)湖中進(jìn)行資料的統(tǒng)一存儲和管理，為用戶建立一個數(shù)據(jù)中心，方便之后重復(fù)利用。然后通過DIS將離散的CSV文件整合在一起，保存到數(shù)據(jù)倉庫中，再通過BI分析進(jìn)行各種指標(biāo)的分析，比如客戶銷售業(yè)績、部門銷售業(yè)績、員工銷售業(yè)績、產(chǎn)品銷售業(yè)績、按時間統(tǒng)計(jì)銷售業(yè)績等，通過銷售業(yè)績分析，幫助企業(yè)了解哪些是重點(diǎn)客戶，更加準(zhǔn)確定位客戶，并幫助各部門了解業(yè)績狀況，促進(jìn)業(yè)績目標(biāo)的達(dá)成，也可幫助分析某時間段內(nèi)業(yè)績過低原因，及時調(diào)整銷售方案。

如果您有任何問題，歡迎在評論區(qū)留言討論，也非常歡迎大家前來試用，打破數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)融合分析，挖掘數(shù)據(jù)更大價值。

#點(diǎn)擊觀看視頻#?打破數(shù)據(jù)孤島，讓數(shù)據(jù)流動起來！研華工業(yè)云WISE-DataInsight/DIS數(shù)據(jù)集成服務(wù)讓您輕松收集、處理和分發(fā)數(shù)據(jù)!