各位看官大家好，今天給大家分享的又是一篇實戰(zhàn)文章，希望大家能夠喜歡。

目前「袋鼠云客戶數(shù)據(jù)洞察平臺」標簽服務(wù)的群組按種類劃分，可以分為三大類，分別是實時群組、動態(tài)群組以及靜態(tài)群組。如果按創(chuàng)建方式劃分則有兩種，分別是通過圈群的方式創(chuàng)建以及通過上傳本地文件進行維度匹配的方式創(chuàng)建得到本地群組，其中本地群組屬于靜態(tài)群組。

除了本地群組外的其他群組目前都是采用圈群的方式生成匹配 SQL，然后執(zhí)行相應(yīng)的 SQL 得到相應(yīng)查詢維度的數(shù)據(jù)并入庫到群組表，這種方式比較方便，可以快速得到一個用戶期望的群組。

但是有那么一種場景，假設(shè)想要設(shè)置的條件很分散，通過圈群配置的時候比較復(fù)雜，那么只能通過上傳文件的方式進行匹配，這就需要用戶上傳本地文件，通過指定匹配維度的方式來生成本地群組。

如果用戶上傳的本地文件很小，那么比較簡單，按單個文件直接上傳解析即可。如果用戶上傳的文件很大，有50M，那么就需要采用分片的方式進行上傳，本文和大家分享一下這兩種文件上傳的代碼實現(xiàn)。

小文件上傳的實現(xiàn)

小文件上傳的主要流程包括將文件上傳到服務(wù)器，并獲得文件的編碼格式，文件上傳完畢后，異步解析文件并得到本地群組。

將文件上傳到 HDFS 并保存原始文件到 SFTP，上傳到 HDFS 之后，通過 SQL 來與實體對應(yīng)的大寬表進行數(shù)據(jù)匹配，最終生成本地群組。

小文件直接上傳即可，代碼如下，上傳完成后，獲取文件的編碼格式，用于后續(xù)的文件解析。

大文件上傳的實現(xiàn)

前端將大文件按指定大小分片，并計算原始文件的 md5 和每個分片文件的 md5，分別用于文件校驗以及分片文件斷點續(xù)傳。接口入?yún)⒋a設(shè)計如下：

大文件分片實現(xiàn)部分核心代碼如下：

分片文件重新在服務(wù)器整合為一個大文件的整體代碼如下：

單個分片的數(shù)據(jù)接收并寫入代碼如下：

當檢測到上傳的文件是最后一個分片文件的時候，待分片數(shù)據(jù)寫入完成后，需要對服務(wù)器上的文件進行 md5 校驗來保證文件數(shù)據(jù)的一致性。

當文件上傳到服務(wù)器完成后，需要將文件上傳到 HDFS 以及SFTP，代碼如下：

最終得到的本地群組如下：

《數(shù)據(jù)治理行業(yè)實踐白皮書》下載地址：https://fs80.cn/l134d5?

《數(shù)棧V6.0產(chǎn)品白皮書》下載地址：https://fs80.cn/cw0iw1

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbzhan

同時，歡迎對大數(shù)據(jù)開源項目有興趣的同學(xué)加入「袋鼠云開源框架釘釘技術(shù) qun」，交流最新開源技術(shù)信息，qun 號碼：30537511，項目地址：https://github.com/DTStack