共计 2152 个字符,预计需要花费 6 分钟才能阅读完成。
SeaTable 开发者版是一款收费易用、可扩大的数据中台产品。它同时联合了协同表格的易用性和数据库弱小的数据处理能力。SeaTable 提供了 Restful API,这样你就能够很不便的随时随地通过 HTTP 协定来写入数据。
本文咱们次要介绍怎么用 SeaTable 来记录服务器上多种服务的谬误日志,实现日志的可视化,避免错误信息被忽视。总体的架构如下图:
示例如下图:
特色包含
- 日志用 Markdown 格局放在一个代码块中并记录到 SeaTable 的长文本列中
- 咱们能够用 SeaTable 多视图的性能建设多个不同的视图,每个视图包含特定的过滤条件,不便咱们疾速的删选查看数据
上面来具体介绍搭建过程。
用 filebeat 来把日志发送到 Redis
装置 filebeat
在宿主机上安装,以 Ubuntu 20.04 为例
apt update && apt install filebeat -y
filebeat 配置文件
vim /etc/filebeat/filebeat.yml
内容如下,依据理论配置批改
https://github.com/seatable/s…
filebeat.inputs:
- type: log
paths:
- /opt/seatable/shared/seatable/logs/dtable_web.log # 日志门路
tags: ["dtable-web"] # 对应表格中的 Service
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}|^[[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true # 多行匹配,以日期结尾的信息,例如:'2021-10-12' 或 '[2021-10-12'
multiline.match: after
- type: log
paths:
- /opt/seatable/shared/seatable/logs/dtable-server.log
tags: ["dtable-server"]
multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}|^[[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after
output.redis:
hosts: ["redis host"]
password: "redis password"
db: 0
timeout: 5
keys:
- key: "seatable-error-logs" # Redis key,不可批改
when.contains:
message: "[ERROR]" # 匹配日志中的关键词
以上的示例配置适宜于日志中的工夫格局为相似 2021-10-12
或者 [2021-10-12
结尾,可能辨认出多行的谬误日志。
启动 filebeat
filebeat 会把匹配的日志发送到 Redis 中
service filebeat start
用脚本从 Redis 读取音讯记录到 SeaTable
SeaTable 表
- 生成 API Token
- 创立以下列,辨别大小写
名称 | 首列 | 类型 |
---|---|---|
Service | √ | 文本 或 单选 |
Time | x | 日期,准确到分钟 |
Log | x | 长文本 |
脚本
在宿主机上安装,门路 /opt/ 为例
cd /opt/
git clone git@github.com:seatable/seatable-syncer.git
装置 Python 依赖
cd seatable-syncer/log-sync/
pip3 install -r requirements.txt
配置文件
vim log_syncer_settings.py
内容如下,依据理论配置批改
# SeaTable
server_url = 'SeaTable 服务器地址'
api_token = '表格的 api_token'
table_name = 'table name'
# Redis
redis_host = 'redis host'
redis_db = 0
redis_port = 6379
redis_password = None
启动脚本
脚本从 Redis 中读取匹配的日志,发送到 SeaTable 中
python3 log_syncer.py
log_syncer.py 可能解决以下格局结尾的日志
2020-01-01 01:02:02
2020-01-01T01:02:02
[2020-01-01 01:02:02
[2020-01-01T01:02:02
如果你的日志格局不合乎下面的要求,能够自行批改下文件 log_syncer.py。
在 SeaTable 中共享和后续解决
在把日志同步到 SeaTable 的一个表格后,咱们就能够不便的把日志信息共享到群组和其余集体,不便协同来剖析问题。还能够应用 揭示规定 或 自动化规定 将日志信息即时告诉给合作人。还能够退出主动解决规定,比方合乎某些条件的日志,加上能够疏忽的标签,合乎某些条件日志,加上待处理的标签。
总结
通过 filebeat, Redis 和 Python 脚本,咱们就能够收集多个服务器的日志到 SeaTable 的一个表格中。通过表格的过滤条件、多视图性能,咱们能够不便的对日志进行剖析和查看。通过共享合作性能,咱们就能够不便的实现多人协同解决。此文抛砖引玉,心愿大家发现 SeaTable 更多的用法,晋升工作效率!