景象
采集端采集数据之后,输入零碎发现零碎数据查问不到,排查问题之后发现是接入问题跟治理问题:
1、接入问题
接入的数据如果须要做文件上传的话,须要将其上传到mysql做解决,接入零碎跟mysql之间因为网络问题,不能间接交互。两头应用了一个dataMaster做转发。然而转发时候接入零碎拉取到一批数据之后,比方100条,除了上报拉取数据记录之外。还须要将一条条数据通过dataMaster转发而后保留到mysql。期间呈现局部数据写入失败的状况。
2、治理零碎
治理零碎数据始终在生产kafka主题数据，然而发现数据存在积压:如下:
而后查看flink治理程序时候,呈现了背压:如下:
阐明算法解决不及时,导致数据处理不过去。