关于java:你还在用命令看日志快用-Kibana-吧一张图片胜过千万行日志

18次阅读

共计 5004 个字符,预计需要花费 13 分钟才能阅读完成。

作者:废物大师兄 \
起源:www.cnblogs.com/cjsblog/p/9476813.html

Kibana 是一个开源的剖析和可视化平台,设计用于和 Elasticsearch 一起工作。

你用 Kibana 来搜寻,查看,并和存储在 Elasticsearch 索引中的数据进行交互。

你能够轻松地执行高级数据分析,并且以各种图标、表格和地图的模式可视化数据。

Kibana 使得了解大量数据变得很容易。它简略的、基于浏览器的界面使你可能疾速创立和共享动静仪表板,实时显示 Elasticsearch 查问的变动。

1. 装置 Kibana


2. Kibana 配置


参考:

https://www.elastic.co/guide/…

3. 拜访 Kibana


Kibana 是一个 Web 应用程序,你能够通过 5601 来拜访它。

例如:localhost:5601 或者 http://YOURDOMAIN.com:5601

当拜访 Kibana 时,默认状况下,Discover 页面加载时抉择了默认索引模式。工夫过滤器设置为最近 15 分钟,搜寻查问设置为 match-all(*)

3.1. 查看 Kibana 状态

http://localhost:5601/status

或者 http://192.168.101.5:5601/api/status 返回 JSON 格局状态信息。

4. 用 Elasticsearch 连贯到 Kibana


在你开始用 Kibana 之前,你须要通知 Kibana 你想摸索哪个 Elasticsearch 索引。第一次拜访 Kibana 是,零碎会提醒你定义一个索引模式以匹配一个或多个索引的名字。

(提醒:默认状况下,Kibana 连贯容许在 localhost 上的 Elasticsearch 实例。为了连贯到一个不同的 Elasticsearch 实例,批改 kabana.yml 中 Elasticsearch 的 URL,而后重启 Kibana。)

为了配置你想要用 Kibana 拜访的 Elasticsearch 索引:

1、拜访 Kibana UI。例如,localhost:56011 或者 http://YOURDOMAIN.com:5601

2、指定一个索引模式来匹配一个或多个你的 Elasticsearch 索引。当你指定了你的索引模式当前,任何匹配到的索引都将被展现进去。画外音:* 匹配 0 个或多个字符;指定索引默认是为了匹配索引,确切的说是匹配索引名字)

3、点击“Next Step”以抉择你想要用来执行基于工夫比拟的蕴含 timestamp 字段的索引。如果你的索引没有基于工夫的数据,那么抉择“I don’t want to use the Time Filter”选项。

4、点击“Create index pattern”按钮来增加索引模式。第一个索引模式主动配置为默认的索引默认,当前当你有多个索引模式的时候,你就能够抉择将哪一个设为默认。(提醒:Management > Index Patterns)

当初,Kibana 曾经连贯到你的 Elasticsearch 数据。Kibana 展现了一个只读的字段列表,这些字段是匹配到的这个索引配置的字段。

5. Discover


你能够从 Discover 页面交互式的摸索你的数据。你能够拜访与所抉择的索引默认匹配的每个索引中的每个文档。你能够提交查问申请,过滤搜寻构造,并查看文档数据。

你也能够看到匹配查问申请的文档数量,以及字段值统计信息。如果你抉择的索引模式配置了 time 字段,则文档随工夫的散布将显示在页面顶部的直方图中。

5.1. 设置工夫过滤

5.2. 搜寻数据

你能够在搜寻框中输出查问条件来查问以后索引模式匹配的索引。在查问的时候,你能够应用 Kibana 规范的查询语言(基于 Lucene 的查问语法)或者齐全基于 JSON 的 Elasticsearch 查询语言 DSL。Kibana 查询语言能够应用主动实现和简化的查问语法作为试验个性,您能够在查问栏的“选项”菜单下进行抉择。

当你提交一个查问申请时,直方图、文档表和字段列表都会更新,以反映搜寻后果。命中(匹配到的文档)总数会显示在工具栏中。文档表格中显示了前 500 个命中。默认状况下,按工夫倒序排列,首先显示最新的文档。你能够通过点击“Time”列来逆转排序程序。

5.2.1. Lucene 查问语法

Kibana 查询语言基于 Lucene 查问语法。上面是一些提醒,可能会帮到你:

  • 为了执行一个文本搜寻,能够简略的输出一个文本字符串。例如,如果你想搜寻 web 服务器的日志,你能够输出关键字 ”safari“,这样你就能够搜寻到所有无关 ”safari” 的字段
  • 为了搜寻一个特定字段的特定值,能够用字段的名称作为前缀。例如,你输出 ”status:200“,将会找到所有 status 字段的值是 200 的文档
  • 为了搜寻一个范畴值,你能够用括号范畴语法,[START_VALUE TO END_VALUE]。例如,为了找到状态码是 4xx 的文档,你能够输出status:[400 TO 499]
  • 为了指定更改简单的查问条件,你能够用布尔操作符 AND , OR , 和 NOT。例如,为了找到状态码是 4xx 并且 extension 字段是 php 或者 html 的文档,你能够输出status:[400 TO 499] AND (extension:php OR extension:html)

5.2.2. Kibana 查问语法加强

新的更简略的语法

如果你相熟 Kibana 的旧 Lucene 查问语法,那么你应该对这种新的语法也不会生疏。基本原理放弃不变,咱们只是简略地改良了一些货色,使查询语言更易于应用。

response:200 将匹配 response 字段的值是 200 的文档

用引号引起来的一段字符串叫短语搜寻。例如,message:”Quick brown fox” 将在 message 字段中搜寻 ”quick brown fox” 这个短语。如果没有引号,将会匹配到蕴含这些词的所有文档,而不论它们的程序如何。这就意味着,会匹配到 ”Quick brown fox”,而不会匹配 ”quick fox brown”。(画外音:引号引起来作为一个整体)

查问解析器将不再基于空格进行宰割。多个搜寻项必须由明确的布尔运算符分隔。留神,布尔运算符不辨别大小写。

在 Lucene 中,response:200 extension:php 等价于 response:200 and extension:php。这将匹配 response 字段值匹配 200 并且 extenion 字段值匹配 php 的文档。

如果咱们把两头换成 or,那么 response:200 or extension:php 将匹配 response 字段匹配 200 或者 extension 字段匹配 php 的文档。

默认状况下,and 比 or 具备更高优先级。

response:200 and extension:php or extension:css 将匹配 response 是 200 并且 extension 是 php,或者匹配 extension 是 css 而 response 任意

括号能够扭转这种优先级

response:200 and (extension:php or extension:css) 将匹配 response 是 200 并且 extension 是 php 或者 css 的文档

还有一种简写的形式:

response:(200 or 404) 将匹配 response 字段是 200 或 404 的文档。字符值也能够是多个,比方:tags:(success and info and security)

还能够用 not

not response:200 将匹配 response 不是 200 的文档

response:200 and not (extension:php or extension:css) 将匹配 response 是 200 并且 extension 不是 php 也不是 css 的文档

范畴检索和 Lucene 有一点点不同

代替 byte:>1000,咱们用 byte > 1000

\>, >=, <, <= 都是无效的操作符

response:* 将匹配所有存在 response 字段的文档

通配符查问也是能够的。machine.os:win* 将匹配 machine.os 字段以 win 结尾的文档,像 ”windows 7″ 和 ”windows 10″ 这样的值都会被匹配到。

通配符也容许咱们一次搜寻多个字段,例如,假如咱们有 machine.os 和 machine.os.keyword 两个字段,咱们想要搜寻这两个字段都有 ”windows 10″,那么咱们能够这样写 ”machine.os*:windows 10″

5.2.3. 刷新搜寻后果

5.3. 按字段过滤

以上是管制列表显示哪些字段,还有一种形式是在查看文档数据的时候点那个像书一样的小图标

删除也是能够的

咱们还能够编辑一个 DSL 查问语句,用于过滤筛选,例如:

5.4. 查看文档数据

5.5. 查看文档上下文

5.6. 查看字段数据统计

6. Visualize


Visualize 使得你能够创立在你的 Elasticsearch 索引中的数据的可视化成果。而后,你能够构建 dashboard 来展现相干可视化。

Kibana 可视化是基于 Elasticsearch 查问的。通过用一系列的 Elasticsearch 汇集来提取并解决你的数据,你能够创立图片来线上你须要理解的趋势、峰值和低点。

6.1. 创立一个可视化

为了创立一个可视化的视图:

第 1 步:点击左侧导航条中的“Visualize”按钮

第 2 步:点击“Create new visualization”按钮或者 加号 (+) 按钮

第 3 步:抉择一个可视化类型

第 4 步:指定一个搜寻查问来检索可视化数据

第 5 步:在可视化的构建器中抉择 Y 轴的聚合操作。例如,sum,average,count 等等

第 6 步:设置 X 轴

例如:

更多请看这里:

https://www.elastic.co/guide/…

https://www.elastic.co/guide/…

https://www.elastic.co/guide/…

7. Dashboard


Kibana 仪表板显示可视化和搜寻的汇合。

你能够安顿、调整和编辑仪表板内容,而后保留仪表板以便共享它。

7.1. 构建一个 Dashboard

第 1 步:在导航条上点击“Dashboard

第 2 步:点击“Create new dashboard”或者“加号(+)”按钮

第 3 步:点击“Add”按钮

第 4 步:为了增加一个可视化,从可视化列表中抉择一个,或者点击“Add new visualization”按钮新创建一个

第 5 步:为了增加一个已保留的查问,点击“Saved Search”选项卡,而后从列表中抉择一个

第 6 步:当你实现增加并且调整了 dashboard 的内容后,去顶部菜单栏,点击“Save”,而后输出一个名字。

默认状况下,Kibana 仪表板应用浅色主题。要应用深色主题,单击“选项”并抉择“应用深色主题”。要将 dark 主题设置为默认,请转到治理 >Management > Advanced,并将 dashboard:defaultDarkTheme 设置为 On。

8. Monitoring


Elasticsearch 控制台打印日志:

[2018-08-15T14:48:26,874][INFO][o.e.c.m.MetaDataCreateIndexService] [Px524Ts] [.monitoring-kibana-6-2018.08.15] creating index, cause [auto(bulk api)], templates [.monitoring-kibana], shards [1]/[0], mappings [doc]

Kibana 控制台打印日志:

log   [03:26:53.605] [info][license][xpack] Imported license information from Elasticsearch for the [monitoring] cluster: mode: basic | status: active

近期热文举荐:

1.600+ 道 Java 面试题及答案整顿(2021 最新版)

2. 终于靠开源我的项目弄到 IntelliJ IDEA 激活码了,真香!

3. 阿里 Mock 工具正式开源,干掉市面上所有 Mock 工具!

4.Spring Cloud 2020.0.0 正式公布,全新颠覆性版本!

5.《Java 开发手册(嵩山版)》最新公布,速速下载!

感觉不错,别忘了顺手点赞 + 转发哦!

正文完
 0