MySQL 到 Kafka 实时数据同步实操分享,字节跳动内部学习资料泄露

MySQL 到 Kafka 实时数据同步实操分享

    • 第一步:配置MySQL 连接
    • 第二步:配置 Kafka 连接

    • 第三步:选择同步模式-全量/增量/全+增

    • 第四步:进行数据校验

    • 其他数据库的同步操作

      第一步:配置MySQL 连接


      1.点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择MySQL

      2.在打开的连接信息配置页面依次输入需要的配置信息

      【连 接 名 称】:设置连接的名称,多个连接的名称不能重复

      【数据库地址】:数据库 IP / Host

      【端 口】:数据库端口

      【数据库名称】:tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database,而不是一个 mysql 实例。

      【账 号】:可以访问数据库的账号

      【密 码】:数据库账号对应的密码

      【时 间 时 区】:默认使用该数据库的时区;若指定时区,则使用指定后的时区设置

      3.测试连接,提示测试通过

      4.测试通过后保存连接即可。

      第二步:配置 Kafka 连接


      1.同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 Kafka

      2.在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。

      第三步:选择同步模式-全量/增量/全+增


      进入Tapdata Cloud 操作后台任务管理页面,点击添加任务按钮进入任务设置流程

      根据刚才建好的连接,选定源端与目标端。

      根据数据需求,选择需要同步的库、表,如果你对表名有修改需要,可以通过页面中的表名批量修改功能对目标端的表名进行批量设置

      文末有福利领取哦~

      👉一、Python所有方向的学习路线

      Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

      👉二、Python必备开发工具

      👉三、Python视频合集

      观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

      👉 四、实战案例

      光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)

      👉五、Python练习题

      检查学习结果。

      👉六、面试资料

      我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

      👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传

      小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

      深知大多数初中级Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

      因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

      由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

      如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)

      朋友,同时减轻大家的负担。**

      由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

      如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)

      [外链图片转存中…(img-pLKCQevo-1711190559404)]