共计 6418 个字符，预计需要花费 17 分钟才能阅读完成。
编辑
提起正则表达式，可能大家的第一印象是：既弱小好用但也艰涩难懂。正则表达式在文本处理中相当重要，各大编程语言中均有反对（跟 Linux 三剑客联合更是神兵利器）。正则表达式是对字符串操作的一种逻辑公式，就是用当时定义好的一些特定字符、及这些特定字符的组合，组成一个“规定字符串”，这个“规定字符串”用来表白对字符串的一种过滤逻辑。（来自百度百科）集体了解如下：某个大佬为了从字符串中匹配或找出合乎特定法则（如手机号、身份证号）的子字符串，先定义了一些通用符号来示意字符串中各个类型的元素（如数字用 \d 示意），再将它们组合起来失去了一个模板（如：\d\d 模板就是指代两个数字），拿这个模板去字符串中比对，找出合乎该模板的子字符串。由几个例子去进一步了解，比方当初有一个字符串为：1.test 是一个正则表达式，它的匹配状况：I am a tester, and My job is to test some software. 它既能够匹配 tester 中的 test，又能够匹配第二个 test。正则表达式中的 test 就代表 test 这个单词自身。2.\btest\b 是一个正则表达式，它的匹配状况：I am a tester, and My job is to test some software. 它只能匹配第二个 test。因为 \b 具备非凡意义，指代的是单词的结尾或结尾。故 tester 中的 test 就不合乎该模式。3.test\w是一个正则表达式，它的匹配状况：I am a tester, and My job is to test some software. 它匹配出了 tester，也匹配出了第二个 test。其中 \w 的意思是匹配字母数字下划线，示意的是数量，指有 0 个或多个 \w。所以这个正则表白是的意思就是匹配结尾为 test，后续跟着 0 个及以上字母数字下划线的子字符串 4.test\w+ 是一个正则表达式，它的匹配状况：I am a tester, and My job is to test some software. 它只匹配了 tester。因为 + 与不同，+ 的意思是 1 个或多个，所以该正则表达式匹配的是结尾为 test，后续跟着 1 个及以上字母数字下划线的字符串。通过上述几个例子，应该能够看出正则表达式的工作形式，正则表达式由个别字符和元字符组成，个别字符就是例子中的‘test’，其指代的意思就是字符自身，t 匹配的就是字母 t；元字符就是例子中有非凡含意的字符，如 \w, \b, , + 等。后续介绍一些根底的元字符。元字符有很多，不同元字符有不同的作用，大抵能够分为如下几类。有些元字符专门用来指代字符串中的元素类型，罕用的如下：
编辑
通过上述表格中的数据能够发现，\w,\d,\s 都有一个与之相同的元字符（将对应字母大写后就是了）。\w 匹配所有字母数字下划线，那么 \W 就是匹配所有不是字母数字下划线的字符。只有记住其中 3 个，另外 3 个就很好记了。乍一看这几个元字符挺简略的，然而常常不必的话保不准会遗记，此处分享一下我的记忆办法。我把这几个元字符都当作是某一个单词的缩写（尽管可能就是某个单词的缩写，然而没有找到精确的材料去印证）：
\s 是 space（空间）的缩写
\d 是 digit（数字）的缩写
\w 是 word（能够了解成不是传统意义上的单词而是代码中的变量名，变量名可蕴含的元素就是字母数字下划线）的缩写
好了，看到此处你应该曾经熟记了 6 个元字符了。接下来，\n 和 \t 平时会常常用到，这个必定比拟熟了，最初一个元字符‘.’能够了解它匹配一行中的所有元素，因为遇到换行符后就不再进行匹配了（万事万物源于一点）。有些元字符用于示意某种元素的数量，如 \d 示意一个数字，当你想示意 6 位数字怎么办？当然能够 \d\d\d\d\d\d，但的确太麻烦了，为了简便就须要一些示意数量的元字符，上述能够写成 \d{6}，元字符详情如下:
编辑
这几个元字符还算比拟好记。示意 0 个或多个 + 示意 1 个或多个（这个可能会混同，或者你能够这么记，示意 10= 0 或多个，+ 示意 1 +0= 1 或多个）? 示意 0 或 1 个，能够了解成某个人在问你这个类型的元素有还是没有呀？你答复可能有（1）也可能没有（0）。剩下的三个只有记住大括号是用来示意数量，后续咱们还会看到除了 {} 外，还有 [] 和()。它们各有各的作用。有些元字符没有具体的的匹配项，它只是一个形象的地位概念，它用来示意字符串中的各个地位。一个字符串的地位能够分成：字符串的结尾或结尾、单词的结尾或结尾。如字符串‘I am a tester_.’，I 后面是字符串的结尾地位，英文句号前面为字符串的结尾地位，每一个 word(留神此处指的不是传统意义上的单词)前后的地位即为单词的结尾或结尾，对于‘tester_’来说 t 后面是单词结尾，下划线是单词结尾。
编辑
其中 \b 在后面的例子中有说过，此处能够以这种形式记忆：\b 是 block（块）的缩写，即一个单词是一块内容，\b 是这一块的边界。至于另外两个元字符，临时没找到很好的记忆办法（^ 一个尖角，小荷才露尖尖角？），但应该也不难记。此处有个中央要提及一下，所有示意地位的不会理论占用字符。为了了解能够持续看最下面的第二个例子，\btest\b 最终匹配进去了子字符串“test”，而不是“test”。大家根据目前理解的元字符概念，能够思考一下这个正则表达式 ^\d{6,10}$，和 \d{6,10}的区别。针对字符串‘12345678‘，第一个和第二个都能够匹配出’12345678‘。然而针对字符串’W12345678‘，只有第二个能够正确匹配出’12345678‘，起因在于第一个正则表达式的意思匹配一个字符串只有 6 -10 个数字组成，而第二个正则表达式意思是匹配字符串中的 6 -10 个间断数字。除了这三个元字符示意地位外，还有零宽断言、负向零宽断言也示意地位，后续会具体介绍。字符本义的概念大家必定不生疏，对于, + 等有非凡意义的元字符，如果你想匹配 5 个号应该怎么写，{5}吗？必定不是，这样写是语法错误，应该应用 \ 将其本义：*{5}。这样一来 * 的非凡意义就被 \ 给勾销了，想要匹配 \ 的话，也是一样，再用一个 \ 把非凡意义勾销掉就好了。后面列出了局部用于示意意义的元字符，然而可能这几个元字符笼罩的都太宽泛了，想要具体的匹配某一类字符。比方就是想匹配 abcd 这四个字符中的某一个，正则表达式当然也是反对的。这时候就须要用到第二种括号，中括号。匹配 abcd 中的某一个能够写成 [abcd] 或者[a-d]，意思是匹配一个 a - d 中的任意字符。相同若匹配非 abcd 的任意字符，能够写成[^abcd]，意思是匹配一个不是 abcd 的字符。括号内也能够写入不同类型的元素，如 [a-d1-7@]，示意的是匹配一个 a - d 或 1 - 7 或 @中的任意字符，[^a-d1-7@] 则与之相同
讲完中括号后咱们能够看一下小括号()，小括号的意思是分组，即小括号外部的所有元字符是一个整体。之前有学过示意数量的元字符，然而那个示意的数量都是针对于一个元字符来说的，比方 ab+ 示意的是匹配一个 a 前面跟着 1 个或多个 b 的子字符串。假使咱们想要匹配的是 1 个或多个 ab（如：abababab），此时分组就派上作用了，能够这么写：(ab)+。此时 ab 被绑定为一个整体，前面的数量元字符对这个整体起作用。元字符中有一个或运算符，它与大多数编程语言相似都是用 | 来示意。它的作用为：Ab|aB 示意的是匹配 Ab 或者 aB。通过这个例子能够很直观的了解该元字符的作用。当然它也常常和分组一起应用：(Ab|aB)+c，该正则匹配开始为 1 - N 个 Ab 或 aB 之后是 c 的子字符串，如：AbaBc, AbAbAbaBc。后向援用的应用是依附于分组的，分组的概念之前讲过了。首先，咱们先看一下正则表达式中组号的调配形式，此时先看一个用到分组的正则表达式：(ab)?(c|C)d。这个正则的意思大家当初必定都分明了。这个正则表达式外面用到了两个分组别离是 (ab) 和(c|C)。正则外部会对所有分组进行组号调配，从左向右，第一个分组 (ab) 的组号是 1，第二个分组 (c|C) 的组号是 2。而组号 0 代表的是整个正则表达式。尝试过 python 正则的此处应该有印象，匹配对象的 group 办法传参为 0 或不传则返回整个正则所匹配的后果，传参为 1 为第一个分组匹配的后果。理解了组号调配形式后，能够开始解释后向援用了。后向援用就是将后面某个分组曾经匹配的数据拿过去用，第一个分组匹配的数据用 \1 代替，第二个分组匹配的数据用 \2 代替，顺次类推。仿佛不是特地好了解，间接看例子吧，(ab)?(c|C)d\2D 该正则中 \2 示意的是第二个分组匹配到的数据，若第二个分组匹配到了 c 那么 \2 就是 c，反之亦然。所以它能匹配到：abcdcD, abCdCD。不能匹配：abcdCD, abCdcD。通过这个例子能够了解它的作用了吧。当然分组除了有本人的组号外，还能够给它自定义组名。不同编程语言中的形式不同，Python 中自定义组名的格局为：(?Pexp)，Name 为你自定义的组名，exp 代表任意元字符的组合。前面援用的办法为(?P=name)。所以下面例子能够批改成：(ab)?(?Pc|C)d(?P=CWord)D。上一节简略的讲了一下正则表达式是如何调配组号的，但其实还有几个须要留神的中央。尽管组号是从左向右进行调配，然而扫描两遍，第一遍先调配给未命名的分组，第二遍再调配给命名的分组。所以命名后的分组组号会更大
应用 (?:exp) 能够使一个分组不调配组号，如 (?:ab)?(c|C)d\2D 中(ab) 就没有调配到组号，而 (c|C) 组号为 1
兽性是贪心的，正则表达式与人一样也是贪心的。一个正则表达式会尽量多的去匹配字符串，如：ab.+ c 去匹配’abccccc’是会将该字符串全副匹配进去。但有时候咱们只想要其匹配’abcc’，此时怎么办呢？须要给正则表达式中示意数量的元字符加一个? 变成 ab.+?c。此时该正则表达式就变懒了，不会再去匹配那么多，匹配到‘abcc’就完事了。编辑
这两个个概念有些不太好了解。正如后面所说这两个也是示意地位的元字符。从字面意思上了解，零宽代表其没有宽度，即如之前介绍示意地位的元字符中提到的一样，不会理论占用字符。断言是什么？是 assert，是用来判断条件是 True 还是 False。了解完这两个词语的意思后，零宽断言的概念应该也就能了解了。那么负向无非就是它的反义词。
编辑
下面的表格次要看第一列它是什么格局就好，反正前面的名称和阐明也很难看懂。接下来我来用本人的了解艰深的解释一下这些概念。首先字符串中能够有四种形式确认某个子字符串的地位，如字符串‘BACAB’中有两个 A，A 后面是 B、A 后面不是 B、A 前面是 C、A 前面不是 C。上述四种条件都可能匹配出惟一一个子字符串 A。这个例子大略了解的话就能够往后看了。(?=exp)中 exp 指代的是任意元字符的组合，联合具体的例子来了解该元字符的用法，一个正则表达式为 A(?=C)，它代表的状况就是 A 前面是 C 的状况。所以匹配出了第一个 A，因为该元字符是零宽所以它只能匹配出 A 而不是 AC。(?<=exp)与下面用法相同，一个正则表达式为(?<=B)A，它代表的状况就是 A 后面是 B 的状况。所以匹配出了第一个 A。如果改成(?<=C)A，则能匹配出第二个 A。(?!exp)的例子为：A(?!C)，它代表的状况为 A 前面不是 C，所以匹配出第二个 A。(?<!exp)的例子为：(?<!B)A，它代表的状况为 A 后面不是 B，所以匹配出第二个 A。通过下面四个例子的介绍，应该对于这两个概念、四个元字符有了理解。了解是重点，记下来也是重点。自己是这样记下来的，四个元字符的根本格局都是(?)，只不过问号前面的不一样。分上面两种状况：XXX 前 / 后是 XXX 的话就写一个 =，XXX 前 / 后不是 XXX 的话就写一个!。这个和日常用的 = 和!= 差不多。如果示意的意思是前的话，这个元字符就须要呈现在后面且要加一个相似于向前指的箭头 <。如果示意的意思是后的话，就什么都不须要加。通过下面两个状况的演绎，是不是这四个元字符就都记下来了？到目前为止，正则表达式的根本内容都介绍完了。然而文中用的例子都比较简单，只能帮忙你了解概念。如果感兴趣或者工作中能用到的话，还须要后续勤加练习。你认为文章到总结就完结了？So naive，我再来列举一个测试日常工作中的案例，将实践利用到实际（编程语言抉择 Python，因为我目前只会这个）。构想这么一个场景，在测试过程中须要获取某个时间段内某个程序的运行状况，从而剖析出该程序的稳定性或应用频率等指标，该程序的日志记录齐备，日志格局固定且已知。这时候最佳的方法就是从该程序日志中进行相干信息的获取。如果该日志内容格局大略如下（注：该日志样例不是理论我的项目中的日志文件，为集体举例）:
从这个日志中能够看到拜访胜利的 IP 及其认证账号、拜访失败的 IP、程序的错误信息。那么咱们怎么把这些数据给抓取进去呢？抓取的办法必定有很多，如果此时你第一工夫想到了正则表达式，那么祝贺你，通过浏览后面的文章，正则曾经在你心中留下了痕迹，或者它原本就留有痕迹。咱们先来剖析一下第一条日志，其余的与此相似，有用的信息能够分成如下几个片段:
工夫字符串：2020-02-17 11:04:34
日志级别：INFO
IP：182.168.3.111
认证邮箱：110232123@qq.com
状态码：1
客户端获取到的数据大小：12931KB
下面几个片段对应的正则为：工夫字符串：\d{4}-\d{2}-\d{2}\s*\d{2}:\d{2}:\d{2}
日志级别：[INFO]
IP：(\d{1,3}.){3}\d{1,3}
认证邮箱：\w+@\w+.\w+
状态码：\d+
客户端获取到的数据大小：\d+KB
上述中某几个正则其实并不谨严，比方 IP 对应的正则还能够匹配出 999.999.999.999。谨严的正则表达式是((25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).){3}(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)。因为该正则太长，加之此处重点在于如何利用，故暂用其宽松版的正则表达式。晓得了各个字段的正则后，咱们能够将它们各自写成一个分组，分组之间填充上其余元字符，把匹配整行日志的正则表达式写进去，如下：当初咱们通过这个正则表达式能够抓取出日志文件中这种格局的日志字符串，再依据组号就能够拿进去对应的数据了。不过依据组号取数据可能会有些含糊不清，或者咱们能够给每个分组进行命名（应用 python 反对的形式），造成如下正则表达式：好了当初咱们能够很分明的看到，示意工夫的分组命名为 Time，顺次类推。接下来，咱们能够应用上述正则表达式去抓取一行日志，再通过分组的名称拿到对于的字符串数据了。具体的代码能够参考上面的样例:
代码中实现了一个函数 reg_deal，前面代码都是对于这个函数的理论利用，该函数入参为：正则表达式组成的列表、待匹配的字符串、非凡函数组成的字典。其先循环将字符串与列表中各个正则表达式进行匹配，匹配胜利后失去一个匹配对象，调用该匹配对象的 groupdict 函数能够返回一个后果字典，该后果字典的键为分组的名称，值为分组匹配到的值。针对这一后果字典再进行一步非凡函数解决，如上述中的 status 字段日志中是码值，但输入后果须要是具体的汉字。故对其进行了一步码值转换操作，对与数据大小将 KB 转化成了 MB。若应用该函数，需本人将正则表达式写进去并对正则表达式中的分组进行命名，若有些分组数据须要非凡解决，则保护一个非凡函数字典，键为分组名，值为函数（匿名函数或者是函数名称）。将参数传入后即可取得后果字典或者 None。失去后果字典后具体怎么解决就看你接下来的施展啦。以上，仅供大家参考，期待多交换斧正。
