关于flink watermark的一个疑问
flink吧
全部回复
仅看楼主
level 2
如果我使用的是滚动时间窗口,还有必要设置watermark吗,固定时长比如每隔30秒就切割一次数据流处理,即使它是乱序,不还是30秒切割一次吗。我理解watermark应该是和数量窗口配套,我设置50条数据进行切割一次,可能第45条数据就要等好久了,我设置个watermark进行强制提交44条数据进行处理。怎么理解
2021年08月19日 09点08分 1
level 1
watermark要求的是数据的准确性,和滚动窗口、滑动窗口没关系。只和你截取窗口时的这段时间有关系。
你说的场景是延迟太多的情况,一般看能不能落入窗口,不能落入窗口就用侧输出流再另行处理。
2022年02月10日 13点02分 2
level 3
楼上回复的很对
2022年02月17日 18点02分 3
1