flink-cdc同步mysql数据到kafka

本文首发于我的个人博客网站 等待下一个秋-Flink

什么是CDC？

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

[图片上传失败...(image-cacb2d-1663151981555)]

1. 环境准备

  • mysql

  • kafka 2.3

  • flink 1.13.5 on yarn

    • 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境吧。

    2. 下载下列依赖包

    下面两个地址下载flink的依赖包，放在lib目录下面。

  • flink-sql-connector-kafka_2.11-1.13.5.jar
  • flink-sql-connector-mysql-cdc-1.3.0.jar

    • 如果你的Flink是其它版本，可以来 这里 下载。

    这里flink-sql-connector-mysql-cdc，前面一篇文章我用的mysq-cdc是1.4的，当时是可以的，但是今天我发现需要mysql-cdc-1.3.0了，否则，整合connector-kafka会有来冲突，目前mysql-cdc-1.3适用性更强，都可以兼容的。

    [图片上传失败...(image-fb8a16-1663151981555)]

    如果你是更高版本的flink，可以自行 https://github.com/ververica/flink-cdc-connectors 下载新版mvn clean install -DskipTests 自己编译。

    [图片上传失败...(image-39b798-1663151981555)]

    这是我编译的最新版2.2，传上去发现太新了，如果重新换个版本，我得去gitee下载源码，不然github速度太慢了，然后用IDEA编译打包，又得下载一堆依赖。我投降，我直接去网上下载了个1.3的直接用了。

    我下载的jar包，放在flink的lib目录下面：

    [图片上传失败...(image-375f4b-1663151981555)] 

    flink-sql-connector-kafka_2.11-1.13.5.jar
flink-sql-connector-mysql-cdc-1.3.0.jar

    3. 启动flink-sql client
    

  • 先在yarn上面启动一个application，进入flink13.5目录，执行：
    • 

    bin/yarn-session.sh -d -s 1 -jm 1024 -tm 2048 -qu root.sparkstreaming -nm flink-cdc-kafka

  • 进入flink sql命令行
    • 

    bin/sql-client.sh embedded -s flink-cdc-kafka

    [图片上传失败...(image-62c982-1663151981555)]
    

    4. 同步数据
    

    这里有一张mysql表：
    

    CREATE TABLE `product_view` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`user_id` int(11) NOT NULL,
`product_id` int(11) NOT NULL,
`server_id` int(11) NOT NULL,
`duration` int(11) NOT NULL,
`times` varchar(11) NOT NULL,
`time` datetime NOT NULL,
PRIMARY KEY (`id`),
KEY `time` (`time`),
KEY `user_product` (`user_id`,`product_id`) USING BTREE,
KEY `times` (`times`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-- 样本数据
INSERT INTO `product_view` VALUES ('1', '1', '1', '1', '120', '120', '2020-04-24 13:14:00');
INSERT INTO `product_view` VALUES ('2', '1', '1', '1', '120', '120', '2020-04-24 13:14:00');
INSERT INTO `product_view` VALUES ('3', '1', '1', '3', '120', '120', '2020-04-24 13:14:00');
INSERT INTO `product_view` VALUES ('4', '1', '1', '2', '120', '120', '2020-04-24 13:14:00');
INSERT INTO `product_view` VALUES ('5', '8', '1', '1', '120', '120', '2020-05-14 13:14:00');
INSERT INTO `product_view` VALUES ('6', '8', '1', '2', '120', '120', '2020-05-13 13:14:00');
INSERT INTO `product_view` VALUES ('7', '8', '1', '3', '120', '120', '2020-04-24 13:14:00');
INSERT INTO `product_view` VALUES ('8', '8', '1', '3', '120', '120', '2020-04-23 13:14:00');
INSERT INTO `product_view` VALUES ('9', '8', '1', '2', '120', '120', '2020-05-13 13:14:00');

  • 创建数据表关联mysql
    • 

    CREATE TABLE product_view_source (
`id` int,
`user_id` int,
`product_id` int,
`server_id` int,
`duration` int,
`times` string,
`time` timestamp,
PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '192.168.1.2',
'port' = '3306',
'username' = 'bigdata',
'password' = 'bigdata',
'database-name' = 'test',
'table-name' = 'product_view'

    这样，我们在flink sql client操作这个表相当于操作mysql里面的对应表。
    

  • 创建数据表关联kafka
    • 

    CREATE TABLE product_view_kafka_sink(
`id` int,
`user_id` int,
`product_id` int,
`server_id` int,
`duration` int,
`times` string,
`time` timestamp,
PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'upsert-kafka',
 'topic' = 'flink-cdc-kafka',
 'properties.bootstrap.servers' = '192.168.1.2:9092',
 'properties.group.id' = 'flink-cdc-kafka-group',
 'key.format' = 'json',
 'value.format' = 'json'

    这样，kafka里面的flink-cdc-kafka这个主题会被自动创建，如果想指定一些属性，可以提前手动创建好主题，我们操作表product_view_kafka_sink，往里面插入数据，可以发现kafka中已经有数据了。
    

    [图片上传失败...(image-8d3919-1663151981555)]
    

    建立同步任务，可以使用sql如下：
    

    insert into product_view_kafka_sink select * from product_view_source;

    这个时候是可以退出flink sql-client的，然后进入flink web-ui，可以看到mysql表数据已经同步到kafka中了，对mysql进行插入，kafka都是同步更新的。