logstash通过webhdfs放入hdfs增加时间戳和host字段

1.问题描述
logstash通过webhdfs插件把数据放入hdfs的时候,发现每行数据的签名都增加了一个时间戳和host字段
2018-12-19T08:30:30.234Z %{host} “128.1.1.2” “GET”
2.资料查找
在网上找了很多资料,描述的都是webhdfs怎么使用,至于使用后的数据格式都没有说
我去github的logstash-plugins下看了一下issues,看到了如下的文章,给出了解决办法
https://github.com/logstash-plugins/logstash-output-webhdfs/issues/25
3.解决办法
通过codec对输出数据进行format
codec => line {
format => “%{message}”
}

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理