gracejpw1117

2020-07-09   阅读量: 1009

大数据

Flink程序与数据流(DataFlow)

扫码加入数据分析学习群

image.png

所有的Flink程序都是由三部分组成的: Source TransformationSink

Source负责读取数据源,Transformation利用各种算子进行处理加工,Sink负责输出。

在运行时,Flink上运行的程序会被映射成“逻辑数据流”(dataflows),它包含了这三部分。每一个dataflow以一个或多个sources开始以一个或多个sinks结束。dataflow类似于任意的有向无环图(DAG)。在大部分情况下,程序中的转换运算(transformations)跟dataflow中的算子(operator)是一一对应的关系,但有时候,一个transformation可能对应多个operator。

image.png

添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
18.3890 2 2 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子