关于java:我试了试用-SQL查-Linux日志好用到飞起

大家好，我是小富~

最近发现点好玩的工具，急不可待的想跟大家分享一下。

大家平时都怎么查Linux日志呢？
像我平时会用tail、head、cat、sed、more、less这些经典系统命令，或者awk这类三方数据过滤工具，配合起来查问效率很高。但在应用过程中有一点让我比拟头疼，那就是命令参数规定太多了，记的人脑壳疼。

那查日志有没有一种通用的形式，比方用SQL查问，毕竟这是程序员都比拟相熟的表达式。

明天分享的工具q，就实现了以写SQL的形式来查问、统计文本内容，一起看看这货到底有什么神奇之处。

搭个环境

q是一个命令行工具，容许咱们在任意文件或者查问后果，比方能够在ps -ef查问过程命令的后果集上，间接执行SQL语句查问。

主旨就是文本即数据库表，额～，当然这句话是我本人了解的，哈哈哈

它将一般文件或者后果集当作数据库表，简直反对所有的SQL构造，如WHERE、GROUP BY、JOINS等，反对主动列名和列类型检测，反对跨文件连贯查问，这两个后边具体介绍，反对多种编码。

装置比较简单，在Linux CentOS环境，只有如下三步搞定，Windows环境更是只需装置个exe就能够用了。

wget https://github.com/harelba/q/releases/download/1.7.1/q-text-as-data-1.7.1-1.noarch.rpm #下载版本sudo rpm -ivh q-text-as-data-1.7.1-1.noarch.rpm # 装置q --version  #查看装置版本

官网文档：https://harelba.github.io/q

语法

q反对所有SQLiteSQL语法，规范命令行格局q + 参数命令 + "SQL"

q <命令> "<SQL>"

我要查问myfile.log文件的内容，间接q "SELECT * FROM myfile.log"。

q "SELECT * FROM myfile.log"

q不附加参数应用是齐全没有问题的，但利用参数会让显示后果更加好看，所以这里简略理解一下，它的参数分为 2种。

input输出命令：指的是对要查问的文件或后果集进行操作，比方：-H命令，示意输出的数据蕴含题目行。

q -H "SELECT * FROM myfile.log"

在这种状况下，将自动检测列名，并可在查问语句中应用。如果未提供此选项，则列将主动命名为cX，以c1起始以此类推。

q  "select c1，c2 from ..."

• output输入命令：作用在查问输入的后果集，比方：-O，让查问进去的结果显示列名。

[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H "select count(UID) from - where UID='root'"104[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H -O "select count(UID) from - where UID='root'"count(UID)104

还有很多参数就不一一列举了，感兴趣的同学在官网上看下，接下来咱们重点演示一下应用SQL如何应答各种查问日志的场景。

玩法贼多

下边咱们一起看几个查问日志的常常场景中，这个SQL该如何写。

1、关键字查问

关键字检索，应该是日常开发应用最频繁的操作，不过我集体认为这一点q并没有什么劣势，因为它查问时必须指定某一列。

[root@iZ2zebfzaequ90bdlz820sZ software]# q "select * from douyin.log where c9 like '%待解析%'"2021-06-11 14:46:49.323 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9g9uJ6%2F                                             2021-06-11 14:57:31.938 INFO 22790 --- [nio-8888-exec-5] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pdhGP%2F                                             2021-06-11 15:23:48.004 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pQjBR%2F                                             2021-06-11 2

而用grep命令则是全文检索。

[root@iZ2zebfzaequ90bdlz820sZ software]# cat douyin.log | grep '待解析URL'2021-06-11 14:46:49.323  INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController   : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9g9uJ6%2F2021-06-11 14:57:31.938  INFO 22790 --- [nio-8888-exec-5] c.x.douyin.controller.ParserController   : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pdhGP%2F

2、含糊查问

like含糊搜寻，如果文本内容列有名字间接用列名检索，没有则间接依据列号c1、c2、cN。

[root@iZ2zebfzaequ90bdlz820sZ software]# cat test.log abc2345232425[root@iZ2zebfzaequ90bdlz820sZ software]# q -H -t "select * from test.log where abc like '%2%'"Warning: column count is one - did you provide the correct delimiter?2232425

3、交加并集

反对UNION和UNION ALL操作符对多个文件取交加或者并集。

如下建了test.log和test1.log两个文件，里边的内容有重叠，用union进行去重。

q -H -t "select * from test.log union select * from test1.log"[root@iZ2zebfzaequ90bdlz820sZ software]# cat test.log abc2345[root@iZ2zebfzaequ90bdlz820sZ software]# cat test1.log abc3456[root@iZ2zebfzaequ90bdlz820sZ software]# q -H -t "select * from test.log union select * from test1.log"Warning: column count is one - did you provide the correct delimiter?Warning: column count is one - did you provide the correct delimiter?23456

4、内容去重

比方统计某个门路下的./clicks.csv文件中，uuid字段去重后呈现的总个数。

q -H -t "SELECT COUNT(DISTINCT(uuid)) FROM ./clicks.csv"

5、列类型自动检测

留神：q会了解每列是数字还是字符串，判断是依据实数值比拟，还是字符串比拟进行过滤，这里会用到-t命令。

q -H -t "SELECT request_id,score FROM ./clicks.csv WHERE score > 0.7 ORDER BY score DESC LIMIT 5"

6、字段运算

读取系统命令查问后果，计算/tmp目录中每个用户和组的总值。能够对字段进行运算解决。

sudo find /tmp -ls | q "SELECT c5,c6,sum(c7)/1024.0/1024 AS total FROM - GROUP BY c5,c6 ORDER BY total desc"[root@iZ2zebfzaequ90bdlz820sZ software]# sudo find /tmp -ls | q "SELECT c5,c6,sum(c7)/1024.0/1024 AS total FROM - GROUP BY c5,c6 ORDER BY total desc"www www 8.86311340332root root 0.207922935486mysql mysql 4.76837158203e-06

7、数据统计

统计零碎领有最多过程数的前 3个用户ID，按降序排序，这就须要和系统命令配合应用了，先查问所有过程再利用SQL筛选，这里的q命令就相当grep命令。

ps -ef | q -H "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"root 104www 16rabbitmq 4[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H -O "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"UID cntroot 110www 16rabbitmq 4

咱们看到加与不加-O命令的区别就是否显示查问后果的题目。

8，连文件查

个别状况下，咱们的日志文件会按天宰割成很多个固定容量的子文件，在没有对立的日志收集服务器的状况下，如果不给个报错工夫区间去查一个关键词，那么无异于海底捞针。

如果能够将所有文件内容合并后在查就会省事很多，q反对将文件像数据库表那样联结查问。

q -H "select * from douyin.log a join douyin-2021-06-18.0.log b on (a.c2=b.c3) where b.c1='root'"

总结

看完可能会有人抬杠：q写这么多代码间接用awk不香吗？额～ 介绍这个工具的初衷并不是说要替换现有哪种工具，而是多提供一种更为便捷的查日志办法。

我也有在用awk的确很弱小没得说，但这里边波及到一个学习老本的问题，目不暇接的命令、匹配规定想玩转还是要下点功夫的。而对于老手程序员略微有点数据库教训，写SQL问题都不大，上手q则会容易的多。

整顿了几百本各类技术电子书，送给小伙伴们。关注公号回复【666】自行支付。和一些小伙伴们建了一个技术交换群，一起探讨技术、分享技术材料，旨在独特学习提高，如果感兴趣就退出咱们吧！

电子书地址