一次kafka空间激增排查:kafka的数据压缩、批量发送等
问题过程我司需要接收很多外部数据,数据源的形式很多,ibmmq, activemq, redis pubsub, 等等都有。为了将这些数据接到内部amq/kafka,之前运行了一大批进程,管理起来十分复杂,因此最近用apache-camel对这些进程作了整合。
上线几个小时之后,kafka磁盘空间开始报警。初步断定是这次上线导致的。
排查流程主要还是对kafka不熟悉,只是能用而已,因此排查过程走
...