五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

如何解決Flink水印亂序的數(shù)據(jù)丟失問題呢?

2023-08-23 15:35 作者:ingemar-  | 我要投稿

按照數(shù)據(jù)的時(shí)間戳來看,事件是亂序的,則watermark就非常重要了:


亂序怎樣產(chǎn)生的呢


采集過程中導(dǎo)致的亂序

網(wǎng)絡(luò)傳輸過程導(dǎo)致的亂序


亂序?qū)?dǎo)致數(shù)據(jù)丟失



如何解決亂序的數(shù)據(jù)丟失問題呢



等待時(shí)間(亂序程度)如何設(shè)置


  • 等待時(shí)間 = 最大的亂序程度。

經(jīng)驗(yàn)值 => 對自身集群和數(shù)據(jù)的了解,大概估算

對數(shù)據(jù)進(jìn)行抽樣

肯定不會設(shè)置為幾個(gè)小時(shí),一般設(shè)為 秒 或者 分鐘

  • 底層實(shí)現(xiàn)

watermark = maxTimestamp - outOfOrdernessMillis - 1?

= 最大亂序事件時(shí)間 - 亂序程度(等待時(shí)間) - 1ms

  • 需求

根據(jù)socket文本計(jì)算當(dāng)前亂序3秒的數(shù)據(jù)統(tǒng)計(jì)

分配水印機(jī)制-forBoundedOutOfOrderness

  • 參考代碼


如何解決Flink水印亂序的數(shù)據(jù)丟失問題呢?的評論 (共 條)

分享到微博請遵守國家法律
兴隆县| 辉县市| 梅州市| 北安市| 泸定县| 琼中| 龙口市| 潜山县| 铜山县| 买车| 岳阳县| 格尔木市| 海安县| 车险| 临海市| 阿勒泰市| 尚志市| 英德市| 乌恰县| 大埔区| 交城县| 开鲁县| 壶关县| 临湘市| 稻城县| 界首市| 任丘市| 花莲市| 偏关县| 屏山县| 原平市| 南部县| 滦南县| 青州市| 陵川县| 新乐市| 四平市| 永川市| 崇阳县| 凌海市| 鄂托克前旗|