栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 软件开发 > 后端开发 > Java

maxwell 概念

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

maxwell 概念

maxwell 概念
  • maxwell 定义
  • Maxwell原理
  • Mysql 主从复制过程
  • binary log分类
    • statement
    • row
    • mixed
    • maxwell 选择的binlog格式
  • maxwell和canal对比

maxwell 定义

maxwell 是用java编写的实时抓取MYSQL软件,实时读取MYSQL 二进制日志Binlog并生成JSON格式,用作生产者发送给Kafka、Redis等应用。

Maxwell原理

将自己伪装成MYSQL的一个salve,然后以salve的身份从master 复制数据。

Mysql 主从复制过程

master主库改变记录,写到二进制日志binary log 文件。
salve 从库I/O线程向mysql master 发送dump协议,将master主库的binary log events 拷贝到从库的中继日志relay log
salve 有个sql thread 会读取中继日志,顺序执行该日志中的sql事件,从而与主库保持一致。

binary log分类

binary log 有三种格式:statement,row,mixed

statement

语句级别,binlog每次记录执写操作的语句,比较节约空间,但是可能产生的结果不一样,例如update test set create_date=now().如果用binlog回复日志的话, 这也执行时间不同,产生的数据就不同。

row

行级别,binlog记录每次操作后的每行记录的变化,优点:保持数据的一致性,因为不管执行了什么操作,都只是记录执行后的效果。缺点:占用较大空间

mixed

混合级别,statement 升级版,默认还是statement,但是当函数包含UUID()时;包含AUTO_INCREMENT字段的表被更新时;执行INSERT DELAYED语句时;用UDF时;会按照ROW 的方式进行处理。优点:节约空间的同时还兼顾了一定的一致性。缺点:还存在个别情况会造成不一致。

maxwell 选择的binlog格式

maxwell要做监控分析,选择row格式比较适合,强一致性。

maxwell和canal对比

语言: 都是java编写
数据格式:canal格式自由,maxwell只能发送json消息
数据采集模式:canal只支持增量采集,maxwell支持全量和增量
数据落地:canal要定制才行,maxwell支持kafka等多种平台
ha:都支持

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/1040936.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号