我是一个生活在东八区(UTC+8)的孩子,阿里云的服务器时区在部署时也默认设置为东八区
但我万万没想到,有一天会看到东十六区的存在 …
一、问题复现
原始问题我已记录在 Elastic 官方社区 里
一切坑的起源,来自于最新的 modules 命令,该命令以组件的形式管理配置文件,非常快捷:
filebeat modules enable system elasticsearch kibana
modules 命令是 filebeat 的组件化管理命令。
filebeat 7.2.0 把面向不同对象的 pipeline 视为不同的 Modules,通过控制 modules 的开关来快速管理不同对象的日志采集状态。
启用模组后,使用 setup 命令配置环境:
filebeat setup -e
service filebeat start #使用 service 启动 filebeat
启动之后一切就开始正常工作了,然而接下来神奇的事情出现了
在我打开 kibana 进行可视化分析的时候,所有的日志时间往前漂移了 8 个小时,也就是 UTC+ 8 再 +8!
神奇的时间漂移日志,红线是当前时间,绿色直方图是日志时间分布
可以看到所有日志的时间都比真实时间快了 8 个小时
二、问题溯源
我起初怀疑 filebeat 二次解析,把 utc+ 8 时间再加了个 8
然而日志原始 JSON 数据告诉我并不是这样
filebeat 的文档中 @timestamp 的记录值和系统时间相同(UTC+8),但 @timestamp 本身记录的应该是 UTC 值
于是 kibana 将其解析为 UTC 值,并在此之上把时区又加了一个 8。
于是 UTC+16 出现了 …
系统时间
UTC+8 2019/07/29 20:56:14
日志时间
Jul 29 20:56:14
@timestamp 记录的时间
2019-07-29T20:56:14.000Z
@timestamp 应该 记录的时间
2019-07-29T12:56:14.000Z
三、解决方案
在我调了一天 bug,在 github 上翻阅无数个 Pull Request,整个人接近崩溃的时候,一个帖子点亮了我:
[官方论坛] Filebeat 6.4.2 the timestamp is not right
这是我第一次在帖子里看到有人讨论 covert_timezone 配置,这个配置项一看就是跟时区有关的
只需要在 path/to/conf/module.d/
目录里所有的 .yml
开启 var.convert_timezone
就行!!!
但是这也太尼玛不显眼了吧!!
四、附录
日志文档原始 JSON 数据,@timstamp
被记录成了 UTC+ 8 时区(@timestamp 应该是 UTC 记录):
{
"_index": "filebeat-7.2.0-2019.07.28-000001",
"_type": "_doc",
"_id": "qRLNPWwBaHGrHZ27tQUU",
"_version": 1,
"_score": null,
"_source": {
"agent": {
"hostname": "bigiron",
"id": "3eb06835-b68e-4b25-9ec1-1ebf0bac83a3",
"ephemeral_id": "fd8648df-4eab-4fd2-b915-97fb631211b6",
"type": "filebeat",
"version": "7.2.0"
},
"process": {
"name": "filebeat",
"pid": 28369
},
"log": {
"file": {"path": "/var/log/syslog"},
"offset": 1964308
},
"fileset": {"name": "syslog"},
"message": "2019-07-29T20:56:14.994+0800#011INFO#011log/harvester.go:253#011Harvester started for file: /var/log/apache2/access.log",
"cloud": {
"availability_zone": "cn-beijing-a",
"instance": {"id": "i-2ze74ci7j8m68giheosd"},
"provider": "ecs",
"region": "cn-beijing"
},
"input": {"type": "log"},
"@timestamp": "2019-07-29T20:56:14.000Z",
"system": {"syslog": {}
},
"ecs": {"version": "1.0.0"},
"service": {"type": "system"},
"host": {
"hostname": "bigiron",
"os": {
"kernel": "4.4.0-146-generic",
"codename": "xenial",
"name": "Ubuntu",
"family": "debian",
"version": "16.04.6 LTS (Xenial Xerus)",
"platform": "ubuntu"
},
"containerized": false,
"name": "bigiron",
"id": "a76d0b1176a3140a8e07cb725964722b",
"architecture": "x86_64"
},
"event": {
"timezone": "+08:00",
"module": "system",
"dataset": "system.syslog"
}
},
"fields": {
"@timestamp": ["2019-07-29T20:56:14.000Z"],
"suricata.eve.timestamp": ["2019-07-29T20:56:14.000Z"]
},
"sort": [1564433774000]
}