TECH NOTES / 中间件与数据

Flink CDC 入门

原笔记 2022-10-19 · 整理于 2026-10-05

认识 CDC 与 ETL,理解 Flink CDC 在数据同步链路中的位置。

Flink基本概念

窗口(Windows)

  • 时间窗口(TimeWindows):按照时间窗口进行聚合,比如上面所讲得攥着一个小时的数据处理一次。
  • 计数窗口(CountWindows):按照指定的条数来进行聚合,比如每来了10条数据处理一次。

实战

Flink SQL CDC + JDBC Connector

ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

维表(Dimension Table,也称维度表):

是对数据进行分析时所用的一个量。

事实表:

是数据聚合后依据某个维度生成的结果表,是具体的统计表。

维表与与事实表的概念更多使用在数据仓库中,两者相互对应。一个经典的例子在销售领域,如下:

销售统计表:就是一个 事实表,里面统计数据的来源离不开 “商品价格表”。

商品价格表 :是销售统计的一个维度表。

文章配图