23 open-replicator 解析binlog失败 available: 4, event type: 19

本文主要是介绍23 open-replicator 解析binlog失败 available: 4, event type: 19，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

问题出现

使用 open-replicator 来解析 binLog 的时候出现了这个问题, 这个包 似乎是14年之后 就没有杂更新了

open-replicator 的版本是现在的最新的版本1.0.7, 详情请见 参考的ref

15:55:33.435 [binlog-parser-1] ERROR c.g.c.o.b.impl.AbstractBinlogParser - failed to parse binlog
java.lang.RuntimeException: assertion failed, available: 4, event type: 19at com.google.code.or.binlog.impl.FileBasedBinlogParser.doParse(FileBasedBinlogParser.java:141) ~[open-replicator-1.0.7.jar:na]at com.google.code.or.binlog.impl.AbstractBinlogParser$Task.run(AbstractBinlogParser.java:244) ~[open-replicator-1.0.7.jar:na]at java.lang.Thread.run(Thread.java:745) [na:1.7.0_79]

然后 跟到代码里面去瞅了瞅, 
FileBasedBinlogParser.doParse 108 - 149, 是挂在了下面的 " if(is.available() != 0) {"

		while(isRunning() && is.available() > 0) {try {//final BinlogEventV4HeaderImpl header = new BinlogEventV4HeaderImpl();header.setTimestamp(is.readLong(4) * 1000L);header.setEventType(is.readInt(1));header.setServerId(is.readLong(4));header.setEventLength(is.readInt(4));header.setNextPosition(is.readLong(4));header.setFlags(is.readInt(2));header.setBinlogFileName(this.binlogFileName);header.setTimestampOfReceipt(System.currentTimeMillis());is.setReadLimit((int)(header.getEventLength() - header.getHeaderLength())); // Ensure the event boundaryif(isVerbose() && LOGGER.isInfoEnabled()) {LOGGER.info("read an event, header: {}", header);}//if(this.stopPosition > 0 && header.getPosition() > this.stopPosition) {break;}// Parse the event bodyif(this.eventFilter != null && !this.eventFilter.accepts(header, context)) {this.defaultParser.parse(is, header, context);} else {BinlogEventParser parser = getEventParser(header.getEventType());if(parser == null) parser = this.defaultParser;parser.parse(is, header, context);}// Ensure the packet boundaryif(is.available() != 0) {throw new RuntimeException("assertion failed, available: " + is.available() + ", event type: " + header.getEventType());}} catch(Exception e) {IOUtils.closeQuietly(is);throw e;} finally {is.setReadLimit(0);}}

首先是一个 FormatDescriptionEventParser, binlog 的版本号之类的东西
然后 之后的时候, 是一个 QueryEventParser
然后 之后是一个 TableMapEventParser, 然后 就是在这一步的 "parser.parse(is, header, context);" 之后, 

is.available() 得到的是 日志中的4, 

XInputStream.available 185 - 189

		if(this.readLimit > 0) {return this.readLimit - this.readCount;} else {return this.tail - this.head + this.is.available();}

就是这里 this.readLimit - this.readCount;
然后 想了一下 可不可能是 mysql binLog 和当前使用的 open-replicator 的版本不匹配呢, 
然后 当前使用的是 1.0.7, 然后 我把其版本改成了 1.0.6, 之后 就没有报这个问题了,


shit 原来是由于 1.0.6 拿到异常之后没有 打出来, 因此 我没有看到这个问题, 呵呵呵 还以为自己又机智了一会呢,,

问题临时解决

下午的时候, 对于 open-replicator 总共更新了几个地方 : TableMapEventParser, XidEventParser, WriteRowsEventParser, UpdateRowsEventParser, DeleteRowsEventParser, 基本上就是消耗 binlog 中的多出来的四个字节, 这四个字节有什么作用我也不知道, 官方文档上也没找到, 搜索也没有搜索到, 已经满足了我现在的需求[可能 还有一些地方还有需要处理的地方]
结合下午的研习, 晚上的时候, 瞅了瞅官方文档, 整理了一下 两个不同的地方, 
有两个不同的地方, 一就是, TableMapEvent body 增加了四个字节, CU Event 增加了四个字节, D 最后增加了四个字节
第二 就是 WRITE_ROWS_EVENT 的 ExtraInfo 部分,, 
前者是 binlog中有的, 然后 open-replicator 中没有, mysql官方文档也没有, 
然后 后者是 binlog 中有的, 然后 open-replicator 中有, mysql 官方文档中没有,, 
我去 xxx, 可能是我没找到吧 ???


记录一下 

======================= add at 2017.08.10 ======================= 

哦, 说一说后面的事情吧, 后来没过多久我就想到, 可能虽然 原开发人员没有维护open-replicator了, 但是 还有别的朋友 fork open-replpicator, 然后 继续维护的吧, 然后 就来瞅了瞅, 果然不少, 然后 找了一个维护相对来说比较稳定的朋友[zendesk]的 open-replicator, clone 下来, 然后 打包什么的, 感谢原作者 以及这位朋友

参考连接

下面的一系列链接, 才是吊炸天的存在

whitesock/open-replicator
https://github.com/whitesock/open-replicator
https://github.com/zendesk/open-replicator/

20.5 Event Classes and Types
https://dev.mysql.com/doc/internals/en/event-classes-and-types.html
20.7 Event Structure
https://dev.mysql.com/doc/internals/en/event-structure.html
20.8 Binary Log Versions [START_EVENT]
https://dev.mysql.com/doc/internals/en/binary-log-versions.html
20.9 Event Data for Specific Event Types
https://dev.mysql.com/doc/internals/en/event-data-for-specific-event-types.html


4.6.7 mysqlbinlog — Utility for Processing Binary Log Files
https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog.html
4.6.7.1 mysqlbinlog Hex Dump Format
https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog-hexdump.html
4.6.7.2 mysqlbinlog Row Event Display

https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog-row-events.html

这篇关于23 open-replicator 解析binlog失败 available: 4, event type: 19的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---