流计算调研

08 Mar 2021

数据处理之5V: Volume / Velocity / Variety / Veracity / Value

对比:批处理 / Batch Processing

Latency vs Throughput vs Correctness 权衡

实时计算业务场景: 一切需要更实时看到数据的业务

概念

流表二元论

阴极阳生, 阳极阴生

算子 / Operators / Transformation

计算框架

这里流/批计算引擎共性

最要紧在于提炼核心计算模型/接口, 具体实现可以不断演化!

时间窗口 / Window

理解时间

画图示意

Window / 时间窗口: 按照时间将消息流切成固定窗口, 从而进行有意义的计算(成表)

状态管理 / 可靠性

消费语义

State

State Snapshot / 状态快照

依赖源的replay特性来重算, 从而实现可靠性

Flink相关

看DEMO

一些历史/相关产品

趋势

References

HOME