共计 3374 个字符，预计需要花费 9 分钟才能阅读完成。
SpaCy 是一个收费的开源库，用于 Python 中的高级自然语言解决包含但不限于词性标注、dependency parsing、NER 和类似度计算。它可帮忙构建解决和了解大量文本的应用程序可用于多种方向，例如信息提取、自然语言了解或为深度学习提供文本预处理。
SpaCy 诞生于 2014 年年中（并且到当初这么多年了，它仍然放弃着继续的更新），号称“Industrial-Strength Natural Language Processing in Python”，spaCy 里大量应用了 Cython 来进步相干模块的性能，这个区别于学术性质更浓的 Python NLTK，因而具备了业界利用的理论价值。
spaCy 简介
SpaCy 目前为各种语言提供与训练的模型和解决流程，并能够作为独自的 Python 模块装置。例如上面就是下载与训练的 en_core_web_sm 的示例。
python -m spacy download en_core_web_sm请依据工作和你的文原本抉择与训练的模型。小的默认流程（即以 sm 结尾的流程）总是一个好的开始。
标记化
标记化包含将文本宰割成单词、标点符号等。这是通过利用特定于每种语言的规定来实现的。
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cat is on the table")
for token in doc:
print(token.text)
# The
# cat
# is
# on
# the
# table词性标注
POS（词性）标记是指依据词的定义及其上下文对文本中的词进行分类，使其与特定的词性绝对应。
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cat is on the table")
for token in doc:
print(f"{token.text} --- POS: {token.pos_}, {token.tag_}")
# The --- POS: DET, DT
# cat --- POS: NOUN, NN
# is --- POS: AUX, VBZ
# on --- POS: ADP, IN
# the --- POS: DET, DT
# table --- POS: NOUN, NNpos_ 属性蕴含简略的 UPOS 词性标记，而 tag_ 属性蕴含具体的 POS 标记。
dependency parsing
dependency parsing（依赖解析）包含调配句法依赖标签，形容各个标记之间的关系，如主题或对象。
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cat is on the table")
for token in doc:
print(f"{token.text} --- dependency label: {token.dep_}")
# The --- dependency label: det
# cat --- dependency label: nsubj
# is --- dependency label: ROOT
# on --- dependency label: prep
# the --- dependency label: det
# table --- dependency label: pobj停用词
停用词是一种语言中最常见的词，在 NLP 工作中常常被疏忽，因为它们通常对句子没有什么意义。
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cat is on the table")
for token in doc:
print(f"{token.text} --- is stopword: {token.is_stop}")
# The --- is stopword: True
# cat --- is stopword: False
# is --- is stopword: True
# on --- is stopword: True
# the --- is stopword: True
# table --- is stopword: False词形还原
词形还原 (Lemmatization) 指定单词的根本模式。例如，“was”的词根是“be”，“dogs”的词根是“dog”。
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cat is on the table")
for token in doc:
print(f"{token.text} --- lemma: {token.lemma_}")
# The --- lemma: the
# cat --- lemma: cat
# is --- lemma: be
# on --- lemma: on
# the --- lemma: the
# table --- lemma: table命名实体辨认 (NER)
命名实体辨认是指在文本中标记命名的“真实世界”对象，例如人、公司或地位。
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Elon Musk cofounded the electronic-payment firm PayPal and formed SpaceX.")
for ent in doc.ents:
print(ent.text, ent.start_char, ent.end_char, ent.label_)
# Elon Musk 0 9 PERSON
# PayPal 48 54 ORG词嵌入
词嵌入是文本的学习示意（通常是数字向量），其中具备雷同含意的词具备类似的示意。
为了使它们紧凑和疾速，spaCy 的小型解决管道包（所有以 sm 结尾的包）不附带词向量，只蕴含上下文敏感的张量。这意味着只能能够应用 similarity() 办法来比拟句子和单词，并且后果不会那么好，并且单个标记不会调配任何向量。所以为了应用实在的词向量，你须要下载一个更大的管道包。
python -m spacy download en_core_web_md上面就能够应用 spaCy 取得词嵌入。
import spacy
nlp = spacy.load("en_core_web_md")
tokens = nlp("The cat is on the aofafgag")
vectors = []
for token in tokens:
print(token.text, token.has_vector, token.is_oov)
vectors.append(token.vector)
# The True False
# cat True False
# is True False
# on True False
# the True False
# aofafgag False True
print(vectors[0])
# [ 2.7204e-01 -6.2030e-02 -1.8840e-01 2.3225e-02 -1.8158e-02 6.7192e-03
# -1.3877e-01 1.7708e-01 1.7709e-01 2.5882e+00 -3.5179e-01 -1.7312e-01
# 4.3285e-01 -1.0708e-01 1.5006e-01 -1.9982e-01 -1.9093e-01 1.1871e+00
# ...句子类似度
spaCy 能够计算句子之间的相似性。这是通过对每个句子中单词的词嵌入进行均匀，而后应用类似度度量计算类似度来实现的。
import spacy
nlp = spacy.load("en_core_web_md") # make sure to use larger package!
doc1 = nlp("I like salty fries and hamburgers.")
doc2 = nlp("Fast food tastes very good.")
doc3 = nlp("Where is the cat.")
# Similarity of doc1 and doc2
print(doc1.similarity(doc2))
# 0.7799485853415737
# Similarity of doc1 and doc3
print(doc1.similarity(doc3))
# 0.6210606690259671https://www.overfit.cn/post/61a6c8dc080c4249917a44921923b6f2
以上就是 spaCy 的次要性能，心愿对你有所帮忙
