大数据Maxwell(二):使用Maxwell增量和全量同步MySQL数据

使用Maxwell增量和全量同步MySQL数据

一、使用Maxwell同步MySQL数据

首先下载Maxwell,Maxwell下载地址:

https://github.com/zendesk/maxwell/releases/tag/v1.28.2


(资料图片)

现在版本1.30.0版本之上需要jdk11以上,建议下载1.30.0版本以下版本。下载完成后按照如下步骤进行配置,同步MySQL数据到Kafka,前提是MySQL需要开启Binlog日志,可以参考Canal章节设置。Maxwell不支持高可用搭建,但是支持断点还原,可以在执行失败时重新启动继续上次位置读取数据。

1、将下载好的安装包上传到node3并解压

[root@node3 ~]# cd /software/[root@node3 software]# tar -zxvf ./maxwell-1.28.2.tar.gz 

2、在MySQL中创建Maxwell的用户及赋权

Maxwell同步mysql数据到Kafka中需要将读取的binlog位置文件及位置信息等数据存入MySQL,所以这里创建maxwell数据库,及给maxwell用户赋权访问其他所有数据库。

3、修改配置“config.properties”文件

进入“/software/maxwell-1.28.0”,修改“config.properties.example”为“config.properties”并配置:

producer=kafkakafka.bootstrap.servers=node1:9092,node2:9092,node3:9092kafka_topic=maxwell_topic#设置根据表将binlog写入Kafka不同分区,还可指定:[database, table, primary_key, transaction_id, thread_id, column]producer_partition_by=table#mysql 节点host=node2#连接mysql用户名和密码user=maxwellpassword=maxwell

注意:以上参数也可以在后期启动maxwell时指定参数方式来设置。

4、启动zookeeper及Kafka,并监控Kafka maxwell_topic

[root@node2 bin]# cd /software/kafka_2.11-0.11/[root@node2 bin]# ./kafka-console-consumer.sh  --bootstrap-server node1:9092,node2:9092,node3:9092 --topic maxwell_topic

5、启动Maxwell

[root@node3 ~]# cd /software/maxwell-1.28.2/bin[root@node3 bin]# maxwell --config ../config.properties

注意以上启动也可以编写脚本:

#startMaxwell.sh 脚本内容:/software/maxwell-1.28.2/bin/maxwell --config /software/maxwell-1.28.2/config.properties > ./log.txt 2>&1 &

修改执行权限:

chmod +x ./start_maxwell.sh 

6、向MySQL中增删改查写入数据

mysql> create database mysqldb;mysql> use mysqldb;mysql> create table info(id int,name varchar(255),age int);mysql> insert into info values (10,"xx",20);mysql> update info set age = 100 where id = 10;mysql> delete from info where id = 10;#对应Kafka中的消息如下:{"database":"mysqldb","table":"info","type":"insert","ts":1619000098,"xid":3890,"commit":true,"data":{"id":100,"name":"aaa","age":10}}{"database":"mysqldb","table":"info","type":"update","ts":1619000152,"xid":4142,"commit":true,"data":{"id":100,"name":"aaa","age":20},"old":{"age":10}}{"database":"mysqldb","table":"info","type":"delete","ts":1619000183,"xid":4228,"commit":true,"data":{"id":100,"name":"aaa","age":20}}

7、测试Maxwell断点续传

停止Maxwell,向MySQL中插入新的数据,重启Maxwell观察是否从上次消费到的binlog位置继续消费。

#使用kill -9 xxx 命令在node3停止Maxwell#向MySQL继续插入数据mysql> insert into info values (200,"bbb",20);mysql> update info set age = 30 where id = 200;#重新在node3启动Maxwell,可以观察到Kafka中继续上次binlog位置写入数据{"database":"mysqldb","table":"info","type":"insert","ts":1619000378,"xid":4565,"commit":true,"data":{"id":200,"name":"bbb","age":20}}{"database":"mysqldb","table":"info","type":"update","ts":1619000391,"xid":4566,"commit":true,"data":{"id":200,"name":"bbb","age":30},"old":{"age":20}}

二、使用Maxwell Bootstrap全量同步MySQL数据

Maxwell Bootstrap可以将MySQL中已经存在的数据批量同步到Kafka中,操作步骤如下:

1、修改“/software/maxwell-1.28.2/config.properties”配置文件

停止maxwell进程,在当前config.properties配置文件最后一行添加配置“client_id”,此配置项是指定当前maxwell启动后连接mysql的实例id,名字自取,在全量同步数据时需要使用到。

#指定maxwell 当前连接mysql的实例id,名字自取client_id=maxwell_first

2、在mysql中创建库“mysqldb2”,并插入数据

mysql> create database mysqldb2;mysql> use mysqldb2;mysql> create table t1 (id int ,name varchar(255),age int );mysql> insert into t1 values (1,"zs",18),(2,"ls",19),(3,"ww",20);

3、重新启动Maxwell,然后启动maxwell-bootstrap全量导数据

maxwell-bootstrap脚本可以指定MySQL数据库及表参数,同步MySQL指定库下对应表的全量数据,同时可以指定where条件。

[root@node3 ~]# cd /software/maxwell-1.28.2/bin#重启maxwell[root@node3 bin]# maxwell --config ../config.properties#同步mysqldb2 .t1表的全量数据[root@node3 bin]# ./maxwell-bootstrap --database mysqldb2 --table t1 --host node2 --user maxwell --password maxwell  --client_id maxwell_first --where "id<=2"

注意:maxwell-bootstrap命令执行后,可以在对应的topic中查看到数据,这里对应的topic是maxwell进程对应config.properties文件中配置的topic。同时maxwell-bootstrap命令指定的client_id 需要与maxwell进行对应的config.properties配置文件中配置的一样。--where是指定条件,只会全量导入满足条件的数据,有了where条件可以使maxwell-bootstrap进程配合maxwell实时同步进程将一张表数据无缝同步到Kafka中。

标签:

上一篇 :

下一篇 :

大数据Maxwell(二):使用Maxwell增量和全量同步MySQL数据

https: github com zendesk maxwell releases tag v1 28 2

03-22 11:12:31

3月21日国际原油期货上涨-全球最新

3月21日,国际原油期货继续上涨。美国WTI原油期货主力合约结算价报69 67美元 桶,涨幅为1 85美元或2...

03-22 09:45:58

“人工智能要不要成为中小学必修课”引发热议 如何培养不被AI淘汰的人

在ChatGPT、文心一言成为顶流的当下,人类开启人工智能时代成为共识,任何跟人工智能相关的消息都撩拨着...

03-22 07:56:16

全球短讯!绿箭口香糖_绿箭口香糖

1、在这款产品的外包装上,我们看到它的主要原料有玳玳花、栀子、槐花、决明子、异麦芽低聚糖、河源、木...

03-22 03:14:49

王懿律退出瑞士赛引发关注,黄东萍/冯彦哲还需努力追赶前辈-要闻速递

近段时间以来,黄东萍和冯彦哲的搭配取得了不错的成绩,连续夺得印尼大师赛、泰国大师赛和德国公开赛三...

03-21 22:58:03

沪江材料IPO项目质量评级为B级 上市首年业绩就“大变脸”-当前快讯

全面注册制下,以信息披露为核心的理念得到市场各方认同,市场主体归位尽责意识明显增强。但部分拟上市...

03-21 20:08:31

天天热点!突发!记者曝出争议猛料:国足海外集训遭冷落,球迷吐槽声一片

在入住之后,亚运队的工作人员想要落实训练安排、场地等事宜,却未能见到新西兰足协的工作人员,只有一...

03-21 17:51:34

当归商品报价动态(2023-03-21)

交易商品牌 产地交货地最新报价当归 等级:统货安徽亳州市场甘肃安徽省 亳州市68元 公斤河北安国市...

03-21 16:04:55

白细胞介素4.6是什么意思啊_白细胞介素4检测

1、白细胞介素-4(IL-4)基因定位于第5号染色体上,由129个氨基酸组成。2、IL-4主要由活化的T细胞、单核细胞、

03-21 13:50:17

中国平安首席投资官邓斌:配置长债的机会又来了,看好REITs市场发展_环球观察

手持4 3万亿保险资金的中国平安,今年将在资产配置上如何布局?“我们是超大型的险资,首先是跟着宏观...

03-21 11:36:23

山口社区

1、山口社区位于县城东面,总面积约16平方公里,常住人口15483人(其中:户籍人口7048人。2、农业人口4654

03-21 10:03:18

如何用金银纸叠莲花_如何用金银纸折莲花|时快讯

15张纸条小皮筋如图所示,首先取一张纸从外向里方向对半折对半折后摊开,按对准中线折出90°小三角形,...

03-21 08:05:52

环球关注:德联集团(002666):关于召开2023年第二次临时股东大会,审议《关于公司符合向特定对象发行A股股票条件的议等议案

德联集团(002666)(002666):关于召开2023年第二次临时股东大会,审议《关于公司符合向特定对象发行A股股...

03-21 03:24:31

土的含水率是指土中的_ _土的含水率是指|看点

1、土壤含水量(soilwatercontent)亦称“土壤含水率”、“土壤湿度”。2、单位数量的土壤所保持的水量。3...

03-20 22:57:48

焦点快报!普星能量(00090.HK)盈警:预计年度权益股东应占溢利减少约48%至58%

普星能量(00090 HK)盈警:预计年度权益股东应占溢利减少约48%至58%,燃料,天然气,发电机组,普星能量,财...

03-20 19:59:33

超龙妹&魔龙姬 微星IP主题 定制微星全家桶发布! 当前热闻

听说了吗,微星官方商城有大动作啦!粉丝A:“听说和微星全家桶有关?”粉丝B:“是吗,我记得是和超龙...

03-20 18:04:56

螃蟹有哪几种吃法图片_螃蟹有哪几种吃法

1、说到吃就来劲,介绍几种给你吧,如将螃蟹的吃法做足,除清蒸和水煮外,家庭有30多种风味吃法,现介绍...

03-20 15:51:12

俄做好了谈判准备!基辅直接拒绝:“欧洲战争”只有一个结局 当前热闻

前几日,俄罗斯外交部副部长韦尔希宁在回答当地媒体记者的问题时对外表明,俄方现已准备好与乌克兰进行...

03-20 14:04:37

星徽股份3月20日快速反弹-焦点热文

以下是星徽股份在北京时间3月20日11:27分盘口异动快照:3月20日,星徽股份盘中快速反弹,5分钟内涨幅超...

03-20 11:29:17

牛津大学教授亚当·史密斯:制度性“关节炎”令美政治僵化

参考消息网3月19日报道英国“特立独行”网站3月15日刊发题为《美国开始显现衰老——制度性“关节炎”使...

03-20 09:50:25

三峡能源解禁市值超270亿元,七大股东浮盈超一倍

数据显示,剔除新上市公司,本周A股市场共有57家公司限售股解禁,解禁数量79 49亿股,以最新收盘价计算...

03-20 07:33:17

标题白带常规化验菌群多样性_++什么意思 热文

1、白带常规检查结果显示存在菌群多样性(),即阴道内存在混合细菌感染,常表现为白带增多、有异味或外阴...

03-20 02:04:38

【环球报资讯】主人堵车半小时两狗子隔窗吵架29分钟:听不懂但感觉不像好话

主人堵车半小时两狗子隔窗吵架29分钟:听不懂但感觉不像好话

03-19 21:02:08

女子在缅甸遭绑架哭喊我有两个小孩具体详细内容是什么

女子在缅甸遭绑架哭喊我有两个小孩今天的热度非常高,现在也是在热搜榜上了,那么具体的女子在缅甸遭绑...

03-19 17:54:07

莱州阳光对话怎么打不开了_莱州政府网莱州阳光对话|速看料

1、莱州云峰中学七年级三班,王秋香班主任,动不动让学生早读,让学生回家一两周考虑考虑,给其他老师说...

03-19 14:37:35

天天简讯:夫妻冷战不说话不愿意沟通怎么办_夫妻冷战

1、‍‍01 为爱的人退一步,没什么大不了当甜蜜的爱情遭遇波澜,许多夫妻会陷入冷战和沉默无法自拔,通...

03-19 10:49:12

每日看点!申城今日多云到阴全天8-14℃,夜里有短时小雨,下周有一半要下雨

申城今日云量较多,上午起多云到阴为主,夜里又会有短时小雨了。早晨起步气温大多稳定在8℃上下,白天气...

03-19 07:38:47

建设银行卡余额查询方法_建设银行卡余额查询

1、手动查询信息是最简单方便的方式。2、只要拨打建行的客服电话,就可以通过人工服务查询卡内余额。本...

03-19 02:01:39

当前聚焦:蚌埠的朱玲玲,你在哪里?

蚌埠的朱玲玲,你在哪里?

03-18 21:07:28

环球快讯:肌酐标准值范围_正常肌酐值范围是多少

1、血清肌酐的正常范围与患者的性别和检测方法有关。苦味酸法测定血清肌酐。男性正常值约为132mol L,...

03-18 17:56:40

“拥抱”粤港澳大湾区 广西贺州释放“强磁力”打造“新热土” 天天观天下

“拥抱”粤港澳大湾区广西贺州释放“强磁力”打造“新热土”

03-18 14:05:13

非无菌纱布如何消毒_什么是无菌纱布无菌纱布和非无菌纱布有什么区别 天天热消息

解答:1、医用纱布是脱脂的,卫生条件比较好。纯棉纱布肯定不能当医用纱布。本文到此结束,希望对大家有...

03-18 11:07:01

满园美景令人神往 大学校门要否打开? 播报

羊城晚报记者 孙唯 实习生 唐梓丹“春暖花开,微风不燥,我想去

03-18 08:07:14

广州浪奇(000523):3月17日北向资金增持13.2万股

3月17日北向资金增持13 2万股广州浪奇。近5个交易日中,获北向资金增持的有3天,累计净增持50 25万股...

03-18 03:21:47

郭朝刚简历|快看点

郭朝刚简历郭朝刚,男,汉族,1978年10月生,山东平邑人,中国未来研究会会员,上海交通大学管理学学士...

03-17 23:09:43

楚子发母 世界速读

1、楚子发母,楚将子发之母也。2、子发攻秦绝粮,使人请于王,因归问其母。3、母问使者曰:“士卒得无恙...

03-17 20:14:40

妖妖铃演员表_电影妖妖铃演员表 每日速讯

解答:1、《03010》是由吴君如执导,陈可辛监制,吴君如、沈腾、岳云鹏主演的喜剧电影,于2017年12月29日在mai

03-17 18:00:25

3坦克 天天报资讯

3坦克这个很多人还不知道,现在让我们一起来看看吧!1、自己练,别想让人给你,再说了。2、你的悬赏分也...

03-17 15:56:09

23农发清发01(增发)今日发布发行公告_焦点速看

23农发清发01(增发)发布发行公告

03-17 13:18:08

3月17日低碳冶金板块涨幅达2%

3月17日11点8分,低碳冶金板块指数报1202 507点,涨幅达2%,成交16 22亿元,换手率0 48%。板块个股中...

03-17 11:09:29

4人流窜来堰,在车窗插这种卡片,被警方抓获!

4人流窜来堰,在车窗插这种卡片,被警方抓获!

03-17 09:16:15

边际成本定价法的适用范围_边际成本定价法

1、理论上来讲:边际成本表示当产量增加1个单位时,总成本增加多少 一般而言,随着产量的增加,总成本递减...

03-17 06:44:39

成都市锦江区交通违章怎么处理

1、车辆行驶证原件或复印件;2、车辆驾驶人驾驶证原件;3、车辆驾驶人身份证原件;4、现金和银行卡。交通违...

03-17 01:56:51

湖州德清:防流感 做香囊 简讯

本文转自:人民网-浙江频道3月16日,湖州市德清县钟管镇开展以“防流感做香囊”为主题的新时代文明实践...

03-16 21:43:20

福建男篮发布对阵上海队的预热海报:94号同学来还书

福建男篮发布对阵上海队的预热海报:94号同学来还书,王哲林,cba,上海队,福建男篮,福建浔兴,上海男篮,本土球员

03-16 19:06:14

菜农称近6万斤大白菜一天被偷光 估计损失2万多元

温岭市新河镇铁场村的菜农施先生反映,他五六亩地里近6万斤大白菜一天之内被人砍走,初步估计损失2万多...

03-16 16:49:21

cf不能全屏游戏怎么办_cf不能全屏win10的解决方法|今日快讯

1、Win10系统穿越火线CF无法全屏解决方法。2、升级Win10喜欢CF的小伙伴有没有遇到玩游戏的时候,没办法全屏游戏

03-16 15:12:27

卢小亨:“四个最严”保障人民群众“舌尖上的安全”|世界资讯

​3月15日国际消费者权益日,市委书记卢小亨调研检查食品安全和消费者权益保护工作。

03-16 12:51:53

全球头条:OPPO Find X6 官宣定档,竟然“没有主摄像头”?

3月16日,OPPO宣布,OPPOFindX6将于3月21日正式发布。同时,首席产品官刘作虎在发表关于OPPOFindX6系列...

03-16 11:07:41

全球快消息!《魔法坏女巫》改档,将于2024年11月27日上映

《魔法坏女巫》是对家喻户晓的《绿野仙踪》故事创造性的解构与重述。该剧的创作发轫于1996年,作曲家斯...

03-16 09:00:14

环球微资讯!福州:2月公积金个贷使用率87.37% 最高可贷80万元
长寿药NMN板块3月15日涨1.24%,康惠制药领涨,主力资金净流出7598.26万元_全球速看料
【世界聚看点】密室逃脱糖果乐园攻略大全花瓣_密室逃脱糖果乐园攻略
在上海生活的土耳其人诺扬:我在中国参与民主议事|全球快讯
他要是能翻红,内娱才算烂透了-天天微动态
3.26英寸外屏怎么玩?Find N2 Flip开发折叠屏多玩法,便捷性飙升|世界滚动
售8.58万元,中兴威虎新增车型上市
环球视点!微视频丨今天,为明天
肾上腺素的作用机理_肾上腺素的作用
小孩尿床挂号挂什么科(小孩尿床挂什么科)
音乐大师课第五季名单_音乐大师课第五季
葫芦丝哪个品牌的好_葫芦丝哪个品牌最好 全球快播
视讯!2023温马消费券领用指南(3月15日至26日时间)
甲流与普通感冒有何区别?甲流与新冠会叠加感染吗?一起了解→
热点聚焦:安徽省水利工程招标投标服务中心
随着购房者扩大住房选择范围 大部分新住宅建设都在大都
全球即时:凯莱英:公司未在硅谷银行开立账户,也会持续关注国际金融市场及货币政策情况
全球微头条丨敏芯股份:3月13日融券卖出8376股,融资融券余额1.23亿元
全球即时:水量伺服是什么_水量伺服器的作用
浙江沪杭甬(00576):浙商证券拟竞投济南中院拍卖的民生证券34.71亿股
明帝尊师的涉及的主要历史人物是哪两位_一言九鼎涉及的历史人物
每日信息:查企业法人营业执照怎么查_查企业法人营业执照
【天天新视野】3月13日国内苯酐产业链价格涨跌互现
杭州齐购电子商务有限公司_关于杭州齐购电子商务有限公司简述 焦点热闻
快看点丨济南市最低工资标准是多少_济南市最低工资标准
环球今日讯!秭归召开高速公路建设动员会
交强险赔付的范围_交强险赔付 世界百事通
【世界独家】调制解调器的作用是什么呢_调制解调器的作用是什么
全球关注:哈弗神兽和比亚迪宋Pro DM-i谁更香?
原神xp系统能玩吗_lolxp系统能玩
誓约之剑_湖中剑
厌倦了黑长直,有什么优雅自然又时尚的长发发型推荐?-世界快播报
今日快讯:哈尔滨一地发布最新公告!涉及17块已征未供土地→
热消息:【鸥羔】烧不尽31-32
速读:小女生努力的文案_新n是哪里的牌照
今日热闻!山西省侯马市发布霜冻蓝色预警
破产的硅谷银行啥来头?总资产2090亿美元 系美国倒闭的第二大银行 即时焦点
什么是it行业_环球快报
世界今热点:森罗日下部
山东辰力索具有限公司
天天时讯:p2p影院
一碗擀面皮的热量有多少?|环球看点
天天速看:十年国债 利率_国债利率表十年
钻石小鸟的钻戒为什么便宜很多_钻石小鸟的钻戒好么 环球滚动
史上最便宜的屏下指纹手机来啦:OPPO K1
全球观点:万朗磁塑(603150):万朗磁塑2023年第一次临时股东大会决议公告,审议通过《关于公司及控股子公司2023年度预计向银行等金融机构申请等议案
惠民生 暖民心(两会今日谈)
蝉鸣空桑林-新要闻
全球实时:核桃怎么去壳完整_核桃怎么去壳
亨通光电:2021年,公司发布量产版400G QSFP-DD DR4 硅光模块,客户端的测试认证还在进行中_天天微速讯
x 广告
x 广告

Copyright ©  2015-2022 南极纤维网版权所有  备案号:粤ICP备2022077823号-13   联系邮箱: 317 493 128@qq.com