logstash通过webhdfs放入hdfs增加时间戳和host字段

5次阅读

共计 338 个字符,预计需要花费 1 分钟才能阅读完成。

1. 问题描述
logstash 通过 webhdfs 插件把数据放入 hdfs 的时候,发现每行数据的签名都增加了一个时间戳和 host 字段
2018-12-19T08:30:30.234Z %{host} “128.1.1.2” “GET”
2. 资料查找
在网上找了很多资料,描述的都是 webhdfs 怎么使用,至于使用后的数据格式都没有说
我去 github 的 logstash-plugins 下看了一下 issues, 看到了如下的文章,给出了解决办法
https://github.com/logstash-plugins/logstash-output-webhdfs/issues/25
3. 解决办法
通过 codec 对输出数据进行 format
codec => line {
format => “%{message}”
}

正文完
 0