TECH NOTES / 中间件与数据
Flink CDC 入门
原笔记 2022-10-19 · 整理于 2026-10-05
认识 CDC 与 ETL,理解 Flink CDC 在数据同步链路中的位置。
Flink基本概念
窗口(Windows)
- 时间窗口(TimeWindows):按照时间窗口进行聚合,比如上面所讲得攥着一个小时的数据处理一次。
- 计数窗口(CountWindows):按照指定的条数来进行聚合,比如每来了10条数据处理一次。
实战
Flink SQL CDC + JDBC Connector
ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
维表(Dimension Table,也称维度表):
是对数据进行分析时所用的一个量。
事实表:
是数据聚合后依据某个维度生成的结果表,是具体的统计表。
维表与与事实表的概念更多使用在数据仓库中,两者相互对应。一个经典的例子在销售领域,如下:
销售统计表:就是一个 事实表,里面统计数据的来源离不开 “商品价格表”。
商品价格表 :是销售统计的一个维度表。