五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

流處理系統(tǒng) 第四章 高級(jí)窗口

2022-03-28 17:28 作者:huanyigntianhe  | 我要投稿

本章主要是講解一些窗口函數(shù)相關(guān)的高級(jí)話題。首先會(huì)講一下基于處理時(shí)間的窗口函數(shù)(processing-time windowing)的兩種實(shí)現(xiàn),對(duì)比加深理解基于事件時(shí)間(event-time windowing)的窗口函數(shù),并且了解什么時(shí)候該用處理時(shí)間窗口函數(shù),什么時(shí)候該用事件時(shí)間的窗口函數(shù)。接著講解會(huì)話窗口(session windows), 最后會(huì)介紹一下自定義窗口函數(shù)(custom windowing)的重要性。

處理時(shí)間窗口

處理時(shí)間窗口函數(shù)的重要性體現(xiàn)在兩個(gè)方面

(1)在特定場(chǎng)景下,例如使用情況監(jiān)控,人們只對(duì)事件的觀察時(shí)間比較關(guān)心,這時(shí)候用處理時(shí)間窗口函數(shù)比較方便

(2)某些情況下,事件發(fā)生的事件非常重要,比如用戶行為分析,收費(fèi)記賬等,這個(gè)時(shí)候處理時(shí)間窗口函數(shù)就是錯(cuò)誤的,謹(jǐn)記分辨這種情況

處理時(shí)間窗口函數(shù)的實(shí)現(xiàn)方式有兩種:

(1)利用觸發(fā)器。讓觸發(fā)器基于處理時(shí)間,忽略掉事件時(shí)間

(2)將處理時(shí)間賦值給事件時(shí)間,這時(shí)事件時(shí)間相關(guān)的窗口函數(shù)便是處理時(shí)間窗口函數(shù)

例子:

兩種輸入:灰色代表一組輸入數(shù)據(jù),粉色代表另一組數(shù)據(jù)

同一組輸入數(shù)據(jù)兩組處理順序

基于事件時(shí)間窗口函數(shù)計(jì)算后的結(jié)果

第一種方法實(shí)現(xiàn)的處理時(shí)間窗口計(jì)算后的結(jié)果

第二種方法實(shí)現(xiàn)的處理時(shí)間窗口函數(shù)結(jié)果

對(duì)比可以發(fā)現(xiàn),事件時(shí)間窗口函數(shù)的計(jì)算結(jié)果對(duì)輸入數(shù)據(jù)的處理時(shí)間不敏感,而處理時(shí)間窗口函數(shù)反之。另外第二種處理時(shí)間窗口函數(shù)的實(shí)現(xiàn)又時(shí)間平移的效果。

會(huì)話窗口

會(huì)話窗口的兩個(gè)特點(diǎn):

(1)數(shù)據(jù)驅(qū)動(dòng)。窗口的位置、大小是與數(shù)據(jù)自身相關(guān)的,而不是預(yù)先定義好的

(2)非對(duì)齊。窗口不是均勻的。

會(huì)話窗口的定義非常簡(jiǎn)單,我們只需要定義時(shí)間間隔,如果兩個(gè)事件間隔小于定義好的間隔,就可以將兩個(gè)對(duì)應(yīng)的窗口合并,形成一個(gè)新的會(huì)話窗口。上圖就是一個(gè)簡(jiǎn)單的例子,原本五個(gè)會(huì)話窗口合并形成了最后的兩個(gè)窗口

下邊是一個(gè)復(fù)雜一點(diǎn)的例子,更好的闡釋合并的過(guò)程

自定義窗口

前邊章節(jié)提到過(guò)固定長(zhǎng)度窗口,滑動(dòng)窗口和會(huì)話窗口,這些窗口函數(shù)組合可以實(shí)現(xiàn)非常復(fù)雜的數(shù)據(jù)處理任務(wù),而Beam除此之外還提供了自定義窗口功能

自定義窗口需要實(shí)現(xiàn)兩個(gè)基本函數(shù):

(1)窗口分配

(2)窗口合并

自定義實(shí)現(xiàn)固定窗口:

非對(duì)齊的固定窗口:

按照元素對(duì)齊的固定窗口:

自定義會(huì)話窗口:

自定義帶長(zhǎng)度限制的會(huì)話窗口:

對(duì)比之前的會(huì)話窗口合并動(dòng)態(tài)圖,不難發(fā)現(xiàn)由于會(huì)話長(zhǎng)度的限制,后邊一些會(huì)話窗口并沒(méi)有合并

可見自定義窗口是一個(gè)非常強(qiáng)大的工具,現(xiàn)在大部分流處理系統(tǒng)沒(méi)有提供自定義窗口的功能。

流處理系統(tǒng) 第四章 高級(jí)窗口的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
项城市| 同江市| 龙南县| 连南| 隆尧县| 钦州市| 上思县| 松潘县| 白银市| 千阳县| 汉沽区| 绥江县| 昭通市| 海晏县| 大埔区| 淮南市| 永昌县| 临沧市| 塘沽区| 炉霍县| 山东| 任丘市| 新巴尔虎右旗| 油尖旺区| 北京市| 西乌| 长宁县| 青阳县| 福清市| 北票市| 淄博市| 武山县| 澄城县| 南通市| 佛学| 东城区| 宁乡县| 临清市| 台北市| 台湾省| 丰镇市|