问题初衷
最近有个项目需求，需要统计下用户 app 的使用情况，比如：什么时候登录的，查询了什么内容等信息。
解决方案
1. 定义用户轨迹模型，每步操作都写到数据库中，然后在前端展示。
优点：可以针对业务需求自定义模型，操作灵活，有针对性。
缺点：扩展能力需要靠自己设计，统计展示画面需要自己做。
2. 用现成的用户数据分析平台，网上有很多成熟的平台，对接其 api 接口即可。
优点：各种分析图，什么有的没有的，见过的没见过的一应俱全。ps: 现在用不上以后可能会用上。
缺点：受制于人，主要还要看自身业务是否适用。
3.ELK，集中式日志管理，特点：收集，传输，存储，管理，告警。
优点：开源，可以通过日志记录各种你想要记录的东西。丰富的分析图表。可轻松应对分布式，数据量大的情况。
ELK 对接
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案。
Elasticsearch：负责日志检索和分析 Logstash：负责日志的收集，处理和储存 Kibana：负责日志的可视化
对于保存日志到文件的的项目，可以用 logstash 的 logstash-input-file 插件直接进行文件读取，处理后转存到 Elasticsearch 中。处理可以用 logstash-filter-kv 键值插件或者 logstash-filter-mutate 等插件进行解析。具体查看 Filter plugins。
由于我们的项目没有记录日志文件，所以选择直接发送日志信息到 logstash，（对于 log4j，logstash 有专门的 input 插件）。
log4j2 的配置
<?xml version=”1.0″ encoding=”UTF-8″?>
<Configuration>
<Properties>
<Property name=”PATTERN”>{“logger”: “%logger”, “level”: “%level”, “msg”: “%message”}%n</Property>
</Properties>
<Appenders>
<Socket name=”logstash-tcp” host=”127.0.0.1″ port=”4560″ protocol=”TCP”>
<PatternLayout pattern=”${PATTERN}”/>
</Socket>
</Appenders>
<Loggers>
<Root level=”INFO”>
<AppenderRef ref=”logstash-tcp” />
</Root>
</Loggers>
</Configuration>
logstash 的配置
input {
tcp {
host => “127.0.0.1”
port => 4560
codec => json {
charset => “UTF-8”
}
}
}
filter {
}
output {
elasticsearch {
hosts => [“localhost”]
manage_template => false
index => “logstash-%{+YYYY.MM.dd}”
document_type => “logstash”
}
}
转存到 Elasticsearch 的 message 就是我们 log4j2 配置中的 Json 形式，如果想要将 message 拉平，那么只需要加入 logstash-filter-json。
filter {
json {
source => “message”
}
}
这样保存到 Elasticsearch 中的数据, 就会变成如下形式
{
…
“message” => “{\”logger\”: \”elk\”, \”level\”: \”INFO\”, \”msg\”: \”logstash test\”}\r”,
“logger” => “elk”,
“level” => “INFO”,
“msg” => “logstash test”
}
这样对于 Kibana 分析的时候比较方便。
log4j2 用 Socket 的方式会有一个问题，当 logstash 断掉，重启后你会发现收不到 log4j2 的日志了，传输断掉没有重连。在生产环境中，elk 断掉，我们不可能在去重启所有与之相连的服务。所以接下来我们采用 gelf 方式。
修改 pom
<dependency>
<groupId>biz.paluch.logging</groupId>
<artifactId>logstash-gelf</artifactId>
<version>1.12.0</version>
</dependency>
修改 log4j2 的配置
<?xml version=”1.0″ encoding=”UTF-8″?>
<Configuration>
<Appenders>
<Gelf name=”logstash-gelf” host=”tcp:127.0.0.1″ port=”4560″ version=”1.1″>
<Field name=”timestamp” pattern=”%d{yyyy-MM-dd HH:mm:ss.SSS}” />
<Field name=”logger” pattern=”%logger” />
<Field name=”level” pattern=”%level” />
<Field name=”className” pattern=”%C” />
<Field name=”method” pattern=”%M” />
<Field name=”line” pattern=”%L” />
<Field name=”server” pattern=”%host” />
</Gelf>
</Appenders>
<Loggers>
<Root level=”INFO”>
<AppenderRef ref=”logstash-gelf” />
</Root>
</Loggers>
</Configuration>
修改 logstash 配置
input {
gelf {
host => “127.0.0.1”
port => 4560
use_tcp => true
codec => json {
charset => “UTF-8”
}
}
}
filter {
json {
source => “message”
}
}
output {
elasticsearch {
hosts => [“localhost”]
manage_template => false
index => “logstash-%{+YYYY.MM.dd}”
document_type => “logstash”
}
}
保存到 Elasticsearch 中的数据就会如同 log4j2 中的配置格式一样，由于我们这里依然配置了 json filter，如果你的 message 是 json 字串，这里依然会拉平处理。
ELK 搭建
以上我们 log4j2 与 logstash 的对接就完成了，对于 docker 部署 elk，比较简单，网上有很多教程，当然还是推荐大家先去官网看看，注意版本对应。我选择的是 sebp/elk，集成好的 elk 容器。详细的文档 elk-docker
这里主要说说需要注意的地方，强烈建议安装之前看下文档中的 Prerequisites。
首先，我就遇见了 vm.max_map_count 限制问题，在 Elasticsearch version 5 这是最常出现的问题。通过，如下修改，在重启后又会恢复原值。
sysctl -w vm.max_map_count=262144
持久性的做法是修改 /etc/sysctl.conf 文件中的 vm.max_map_count
echo “vm.max_map_count=262144” > /etc/sysctl.conf
sysctl -p
其次，logstash 的配置文件在 /etc/logstash/conf.d/ 目录下，将 input，filter，out 分开，最终组合成一个，建议将 /etc/logstash/conf.d 映射出来，自行管理。
最后，因为 log4j2 在发送日志是是通过 4560 接口，所以启动 docker 的时候需要映射此接口。
以上是我在对接 elk 的时候遇到的问题，再次记录下，更多的 elk 内容后续会继续探索。