关于python:比正则快-M-倍以上Python-替换字符串的新姿势

3次阅读

共计 4663 个字符，预计需要花费 12 分钟才能阅读完成。

FlashText 算法是由 Vikash Singh 于 2017 年发表的大规模关键词替换算法，这个算法的工夫复杂度仅由文本长度（N）决定，算法工夫复杂度为 O（N）

而对于正则表达式的替换，算法工夫复杂度还须要思考被替换的关键词数量（M），因而工夫复杂度为 O（MxN）

简而言之，基于 FlashText 算法的字符串替换比正则表达式替换快 M 倍以上，这个 M 是须要替换的关键词数量，关键词越多，FlashText 算法的劣势就越显著

上面就给大家介绍如何在 Python 中基于 flashtext 模块应用 FlashText 算法进行字符串查找和替换，如果感觉对你的我的项目团队很有帮忙，请记得帮作者转发一下哦

1. 筹备

请抉择以下任一种形式输出命令装置依赖：

Windows 环境关上 Cmd (开始 - 运行 -CMD)。
MacOS 环境关上 Terminal (command+ 空格输出 Terminal.
如果你用的是 VSCode 编辑器或 Pycharm，能够间接应用界面下方的 Terminal。

pip install flashtext

2. 根本应用

提取关键词

一个最根本的提取关键词的例子如下：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 增加关键词
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 解决指标句子并提取相应关键词
keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')
# 4. 后果
print(keywords_found)
# ['New York', 'Bay Area']

其中 add_keyword 的第一个参数代表须要被查找的关键词，第二个参数是给这个关键词一个别名，如果找到了则以别名显示。

替换关键词

如果你想要替换关键词，只须要调用处理器的 replace_keywords 函数：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 增加关键词
keyword_processor.add_keyword('New Delhi', 'NCR region')
# 3. 替换关键词
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
# 4. 后果
print(new_sentence)
# 'I love New York and NCR region.'

关键词大小写敏感

如果你须要准确提取，辨认大小写字母，那么你能够在处理器初始化的时候设定 sensitive 参数:

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器, 留神设置大小写敏感 (case_sensitive) 为 TRUE
keyword_processor = KeywordProcessor(case_sensitive=True)
# 2. 增加关键词
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 解决指标句子并提取相应关键词
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.')
# 4. 后果
print(keywords_found)
# ['Bay Area']

标记关键词地位

如果你须要获取关键词在句子中的地位，在 extract_keywords 的时候增加 span_info=True 参数即可：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 增加关键词
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 解决指标句子并提取相应关键词, 并标记关键词的起始、终止地位
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True)
# 4. 后果
print(keywords_found)
# [('New York', 7, 16), ('Bay Area', 21, 29)]

获取目前所有的关键词

如果你须要获取以后曾经增加的所有关键词，只须要调用处理器的 get_all_keywords 函数：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 增加关键词
keyword_processor.add_keyword('j2ee', 'Java')
keyword_processor.add_keyword('colour', 'color')
# 3. 获取所有关键词
keyword_processor.get_all_keywords()
# output: {'colour': 'color', 'j2ee': 'Java'}

批量增加关键词

批量增加关键词有两种办法，一种是通过词典，一种是通过数组：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2.（第一种）通过字典批量增加关键词
keyword_dict = {"java": ["java_2e", "java programing"],
    "product management": ["PM", "product manager"]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 2.（第二种）通过数组批量增加关键词
keyword_processor.add_keywords_from_list(["java", "python"])
# 3. 第一种的提取成果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# output ['product management', 'java']

繁多或批量删除关键词

删除关键词也非常简单，和增加相似：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 通过字典批量增加关键词
keyword_dict = {"java": ["java_2e", "java programing"],
    "product management": ["PM", "product manager"]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 3. 提取成果如下
print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))
# ['product management', 'java']
# 4. 单个删除关键词
keyword_processor.remove_keyword('java_2e')
# 5. 批量删除关键词，也是能够通过词典或者数组的模式
keyword_processor.remove_keywords_from_dict({"product management": ["PM"]})
keyword_processor.remove_keywords_from_list(["java programing"])
# 6. 删除了 java programing 关键词后的成果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# ['product management']

3. 高级应用

反对额定信息

后面提到在增加关键词的时候第二个参数为其别名，其实你不仅能够批示别名，还能够将额定信息放到第二个参数中：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
kp = KeywordProcessor()
# 2. 增加关键词并附带额定信息
kp.add_keyword('Taj Mahal', ('Monument', 'Taj Mahal'))
kp.add_keyword('Delhi', ('Location', 'Delhi'))
# 3. 成果如下
kp.extract_keywords('Taj Mahal is in Delhi.')
# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]

这样，在提取关键词的时候，你还能拿到其余一些你想要在失去此关键词时输入的信息。

反对非凡单词边界

Flashtext 检测的单词边界个别局限于 \w [A-Za-z0-9_] 外的任意字符，然而如果你想增加某些特殊字符作为单词的一部分也是能够实现的：

from flashtext import KeywordProcessor
# 1. 初始化关键字处理器
keyword_processor = KeywordProcessor()
# 2. 增加关键词
keyword_processor.add_keyword('Big Apple')
# 3. 失常成果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# ['Big Apple']
# 4. 将 '/' 作为单词一部分
keyword_processor.add_non_word_boundary('/')
# 5. 优化后的成果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# []

4. 结尾

集体认为这个模块曾经满足咱们的根本应用了，如果你有一些该模块提供的性能之外的应用需要，能够给 flashtext 奉献代码,

附 FlashText 与正则相比 查问关键词 所破费的工夫之比：

附 FlashText 与正则相比 替换关键词 所破费的工夫之比：

以上就是本次分享的所有内容，如果你感觉文章还不错，欢送关注公众号：Python 编程学习圈，每日干货分享，发送“J”还可支付大量学习材料。或是返回编程学习网，理解更多编程技术常识。

正文完