栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 前沿技术 > 大数据 > 大数据系统

大数据实时传输组件Maxwell-问题集锦

大数据实时传输组件Maxwell-问题集锦

项目场景:

实时平台搭建遇到的问题


问题描述及解决方案

1.mysql有新增或更新数据,maxwell没有采集到

非暴力操作(可试)

查看master的状态,flush刷新一下日志也可以,然后再查看刷新后的master的状态,然后进到mysql数据库中修改maxwell数据库中的positions表中的binlog_position的位置与之对应

暴力操作
删除maxwell库下所有的表,然后重启maxwell


2.bootstrap服务kafka消费不到数据

问题场景:数据在机器1的mysql数据库里,启用bootstrap服务把历史数据导到机器2的kafka的相应主题中,一直卡在下面这个界面,kafka那边也消费不到数据.


问题解决:

    尝试用sudo执行命令,排除权限问题查看maxwell的配置文件,将无关配置注释掉,有些配置可能是安装时默认是打开的(有些配置本人也没去具体了解)


3.删除maxwell数据库数据导致宕机

问题场景:我只是删除了maxwell库中tables表中记录的某个表,maxwell采集到数据(其他表)出现宕机

问题解决:
暴力方式:直接删除Maxwell库下所有的表,然后重启Maxwell


4.时区问题(解决方案见上篇文章)


5.指定需要监控的某个数据库的某张表

配置文件涉及参数

说明:
exclude_dbs=*,可以先用*排除所有库,之后再include_dbs中指定需要同步的库就可以,这样排除的是include_dbs之外的;
exclude_tables=不能等于*,否则include_tables中指定也不管用,它是把所有表都排除了;


6.maxwell日志配置(默认没有日志,需要自己配置)

方法1:在maxwell/安装目录下新建并编辑log4j2.xml文件,然后重启maxwell即可,内容如下:

方法2:写脚本(本人没试过,大佬指教方法)


记得点赞收藏奥,后续遇到问题会实时更新,关注不迷路~

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/784992.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号