景象
采集端采集数据之后, 输入零碎发现零碎数据查问不到, 排查问题之后发现是接入问题跟治理问题:
1、接入问题
接入的数据如果须要做文件上传的话, 须要将其上传到 mysql 做解决, 接入零碎跟 mysql 之间因为网络问题, 不能间接交互。两头应用了一个 dataMaster 做转发。然而转发时候接入零碎拉取到一批数据之后, 比方 100 条, 除了上报拉取数据记录之外。还须要将一条条数据通过 dataMaster 转发而后保留到 mysql。期间呈现局部数据写入失败的状况。
2、治理零碎
治理零碎数据始终在生产 kafka 主题数据，然而发现数据存在积压: 如下:
而后查看 flink 治理程序时候, 呈现了背压: 如下:
阐明算法解决不及时, 导致数据处理不过去。