导读 通过近几年的技术演进，语义模型在百度搜寻场景中被宽泛地利用，耗费了大量的GPU资源，模型压缩技术也随之失去大量钻研和实际。通过兼顾推理性能、业务…

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：[链接] 】或者公众号【AIShareLab】回复 信…

计算汉字类似度情景有时候咱们心愿计算两个汉字的类似度，比方文本的 OCR 等场景。用于辨认纠正。实现引入 maven {代码…} java 实现 {代码…} 返回对应的…

创作目标国内对于文本的类似度计算，开源的工具是比拟丰盛的。然而对于两个汉字之间的类似度计算，国内根本一片空白。国内的参考的材料少的可怜，国外相干文…

Opencc4jOpencc4j 反对中文繁简体转换，思考到词组级别。在线体验Features 特点严格辨别「一简对多繁」和「一简对多异」。齐全兼容异体字，能够实现动静替换…

日志在IT行业中被宽泛应用，日志的异样检测对于识别系统的运行状态至关重要。解决这一问题的传统办法须要简单的基于规定的有监督办法和大量的人工工夫老本。…

前言官网文档：[链接]spaCy GitHub：[链接]本文环境 {代码…} spcCy 的组件很多，有时咱们并不需要全副组件，能够排除掉一些办法spaCy 内置组件清单：[链接]…

说道机翻显然就想到transformer，其encoder-decoder构造其实即使是在应用了lstm等模型上也是这样的，附丽在NMT的word alignment工作就能够间接应用seq2seq的…

gram指句子中的间断的一小部分。you are my ex-girlfriend. 外面，you are my就可以看做是gram。gram中几个单词就说是几gram，you are my是3-gram。n gram指…

随着BERT、Megatron、GPT-3等预训练模型在NLP畛域获得注目的成绩，越来越多团队投身到超大规模训练中，这使得训练模型的规模从亿级别倒退到了千亿甚至万亿的…