常识图谱内容调研

是什么

​ 常识图谱的实质是揭示实体之间关系的语义网络。利用实体和关系来表白主观世界的对象以及不同对象之间存在的关系，提供了组织、治理和了解海量非结构化信息的能力，且对信息的刻画形式更靠近于人类认知世界的模式。例如，实体“《静夜思》”和实体“李白”之间存在关系“创作者”，其结点代表实体（Entity）或者概念（Concept），边代表实体或概念之间的各种语义关系。

解决什么问题

​ 因为互联网数据存在着多元异构性和高度动态性，并且内容丰盛波及范围广，不同的数据之间存在简单的关联性。因而传统的数据存储、治理和查问模式曾经无奈满足当今人们对常识的需要。开发者心愿可能从海量互联网数据中获取并治理无效的信息，同时让计算机主动了解并剖析网络数据中的内容，从而精确、高效的开掘数据资源中所蕴含的价值信息。常识图谱技术的提出为更好地组织、治理和了解互联网中的海量信息提供了一种卓有成效的解决方案，其常识表白的办法也更靠近人类认知世界的模式。

​ 现有的视频指标信息开掘次要还是人工操作，大部分摄像头所录制的视频只有通过人眼查看能力发现视频中的无效监控信息，面对海量的视频，无限的人力很难防止脱漏视频中的一些重要信息，且消耗了大量的人力，没有展现出很好的智能性。如何 基于海量的视频，构建一套自动化办法，对视频进行信息提取，开掘视频中潜在的无效信息，是当今智能化时代的趋势。

​ 基于视频知识库的构建是一个创新性的办法，可能 对大量的视频自动化地提取无效信息，常识图谱是基于文本的知识库的构建，视频图谱在监控视频上构建语义信息。视频图谱有很高的理论利用价值，比方在公安畛域，通过构建视频图谱，可能挖掘出频繁同行的犯罪团伙；在住宅小区或者工厂等小型区域，能够区别常驻人员和外来人员。视频图谱的构建和开掘钻研大大降低了人力老本，系统性地构建了监控视频中的行人、车辆、物品等关系模型，可用于疾速信息检索等方面。因而，钻研一种基于监控视频的视频图谱构建和开掘办法具备很高的价值。

钻研现状及发展趋势

常识图谱构建利用实际

​ 在常识图谱倒退的晚期阶段，常识的起源次要依赖于各种百科全书、网络词典文集和百科网站等结构化数据，并且通过人工合作的形式构建实现，期间具备代表性的工作包含 YAGO，DBpedia 和 Freebase 等知识库。因为常识图谱技术的疾速遍及与利用，大量的结构化数据已无奈满足人们的需要，因而现阶段常识图谱中的数据起源次要是互联网海量纯文本等非结构化信息，并采纳凋谢域信息抽取技术主动构建，代表性成绩包含谷歌公司的 KnowledgeVault 和卡耐基梅隆大学的 NELL（Never-EndingLanguageLearning）我的项目等，相干成绩如下图

​ 国外在常识图谱的构建方面取得的重要停顿次要为谷歌公司所开发的 Knowledgevault，将维基百科作为根底的 Freebase 以及 DBpedia，其中 Freebase 将维基百科作为数据起源，并从中抽提结构化数据，借助人工编制的模式实现了 2000 余万条实体的结构，逐步成为了 Google 常识图谱重要形成内容。DBpedia 则是由莱比锡大学与曼海姆大学共同开发的跨语言知识库，同样将维基百科作为根本数据起源，应用固定模式将结构化信息抽提进去，采纳关联的模式公布信息。DBpedia 具备了 4000 余万条实体和 5 亿件事实信息。国内以后所公布常识图谱产品蕴含了百度知心、搜狗知立方以及清华大学所开发的 XLore、上海交大开发的 Zhishi.me 等。

​ 以上这些知识库都是基于网页中的文本数据构建而成的，只可能答复对于文本中的一些相干问题。一些学者也尝试为图像构建知识库，如斯坦福大学李菲菲团队构建的 VisualGenome 知识库，其应用“众包”形式对 108249 个图像进行解析，提取了 420 万个区域描述、170 万个可视问答、210 万个对象实例、180 万个属性和 180 万个关系。基于该知识库，构建一系列的智能检索和剖析利用，如基于场景图（SceneGraph）的图像检索、可视主动问答。和图像题目主动生成等。

​ 现有的知识库次要面向文本数据，面向图像的只有 VisualGenome，而面向监控视频数据的知识库依然空缺。知识库是对原始数据进行语义了解和剖析之后的两头后果，相对来说，面向文本的知识库构建更为容易，而图像和视频数据的知识库构建难度更大。鉴于监控视频大数据的数据量之大，很难像 VisualGenome 一样用“众包”形式构建，因此须要用自动化形式对监控视频进行解析。此外，知识库是为下层智能剖析和查问服务，因而面向监控视频大数据的知识库须要紧扣监控视频剖析利用需要。

常识图谱构建技术

目前常识图谱的构建技术钻研根本还是针对文本信息，自然语言的钻研。

命名实体辨认技术

​ 在进行文本处理之前，须要进行命名实体辨认，此时要用到命名实体辨认技术，这是自然语言解决的前置工作。随同着大数据技术以及人工智能技术的继续倒退，研究者对于命名实体辨认工作所发展的钻研工作日益增多，相干技术取得了继续倒退，并获得了突出成绩。在利用不断深入的背景下，命名实体辨认缓缓成为情感剖析、语义检索、主动问答以及机器翻译等钻研工作的前提和根底。比方如何从大量非结构化语料文本中自主、准确的将命名实体抽提进去，曾经成为了国内外学术界关注的焦点。国外在很早之前就开始了对命名实体辨认的钻研，并不断深入。目前，国外学者所发展的钻研工作更加偏向于采纳监督、半监督机械学习办法辨认用英文语料文本，针对规定、办法所发展的钻研工作曾经十分少见。在英文语料文本的辨认中常常采纳的模型、办法包含了最大熵模型、隐马尔可夫模型、决策树、条件随机等。不同于英文语料文本，中文辨认难度较大，国内学者从国外研究成果中抽提出了无效的办法，联合中文的理论状况，对其开展了无效地摸索。常常应用的办法通常是人工从语料当中抽提出特色，联合数学模型对其命名实体辨认。从研究成果上看，俞鸿魁等人创造性的给出层叠隐马尔可夫模型，把多种实体类型辨认融入到了具体的数学模型中，最终结果表明其可能更加容易的发现未登录实体，同时对于复合实体的辨认也有肯定的促进作用。周俊生将中文实体前后缀作为特色，将条件随机场办法作为根底，对人民日报语料开展了剖析，并取得了良好的后果。随着钻研的不断深入，更多试验结果表明，条件随机场也可能用于辨认中文命名实体，把条件随机场作为前提与根底的命名实体辨认技术开始受到了学术界的广泛必定。

关系抽提技术

​ 在上世纪九十年代，MUC- 7 率先颁布了实体关系抽提相干钻研工作，其被看做是信息抽取子工作。随同着 MUC 停办，ACE 会议齐全接替了 MUC 内容，持续钻研以意料文本作为根本内容的主动抽取办法。ACE 工作外围为信息抽取，在理论工作的发展过程中须要一直地拓展工作牵涉到的各个领域及不同的语言。这两个会议对于自然语言解决工作中信息抽提的进一步倒退有着踊跃的推动作用。在人工智能、大数据等相干技术的倒退背景下，人们将更多的关注点集中在信息抽提技术层面，并且将其看做是信息抽取工作的前置工作，关系抽取也开始失去了诸多学者的宽泛关注，他们为了欠缺与健全关系抽取实践而源源不断地投入精力，独特推动抽提技术的有序倒退，在理论利用中广泛应用关系抽取研究成果。关系抽取的对象为非结构化语料文本，目前钻研办法蕴含了基于模型匹配、机器语言以及语义网络等诸多内容。ChinatsuAone 等人借助模式匹配思维构建了关系抽提零碎，通过人工编写关系抽取规定，保障了文本和抽取规定之间的匹配度，失去了实体关系实例。该零碎采纳了绝对灵便的架构模块，利用规定、模块一直地批改、欠缺该零碎。RomanY 结构了 Proteus 零碎，其是一种基于样本泛化的关系抽取模式，用户能够对存在特定类型关系 demo 开展剖析，总结关系特色，并且把关系特色形象为特定的模型，该零碎能够取得良好试验成果。

现有计划

调研基于常识图谱的视觉指标关系建模的利用

一、针对于罪犯的常识图谱构建与利用

关键词：开掘视觉指标潜在语义关联，建设多元化的指标关系图谱，基于常识图谱实现对指标的更高效了解与表白。

1. 涉案实体辨认

​ 先将监控视频中辨认到的罪犯主体的信息标注为词汇，将监控图像中的罪犯信息细分为人名、机构名、地名、工夫、日期、货币、交通工具和武器等实体。实体辨认分人工辨认和自动识别。人工辨认绝对精确，但效率低，仅实用大量样本的解决。自动识别分为两大类：基于规定的实体辨认和基于机器学习的实体辨认，机器学习辨认又分为基于特色和基于神经网络。基于规定的办法实用于英文环境，国外晚期零碎均采纳此法。基于词典办法依附匹配规定简略无效，对中文反对较好，但构建词典耗时耗力。机器学习办法则利用已标注的语料库训练模型，应用特定字或词命名实体整体或局部。其后，基于 LSTMCRF 的深度学习被用于实体辨认。因为工作和需要不同，实体辨认的粒度也不同。实体辨认粒度越小则难度和开销越大，但指导意义更大。以后，困扰实体辨认的因素包含实体命名模式多变、语言环境简单和实体存在歧义等。

2. 实体消歧

​ 因为模式和语义简单，实体辨认后需进行一致性校验，即实体消歧。其起因在于：同一实体可能有不同的称呼，同一名称可能示意不同的实体。消歧的个别办法为有监督的机器学习。分类办法通过构建正负实例、指称 - 实体对等模式通过有监督形式进行学习，获取二元分类模型以实现实体消歧。机器学习排序办法分三类，PointWise 应用近似回归模型计算候选匹配实体的得分并排序，得分越高则越偏向为同一实体；PairWise 将候选项匹配成对，利用项与项间的绝对地位关系构建训练样本，采纳分类办法训练排序感知机实现消歧；ListWise 则将査询后果排序列表视为训练实例，利用 ListNet 算法训练排序模型进行消歧。基于图的办法将情报中的实体指称及其候选实体形成图构造，利用两者的关联实现协同消歧。混合模型综合使用多种模型取得各自消歧后果，最初通过比拟失去最优后果，成果好于单模型。实体消歧过程要防止实体的脱漏和散失，免得数据失真。

3. 实体关联提取

​ 实体关联是构建立功常识图谱的外围环节，将监控信息从画面和文字层面回升到内容层面。在立功情报方面，实体关系次要体现人(组织)、物或事为核心的两方或多方关联，须要时还可退出工夫或地点。其难点在于同一关系表述不同、关系波及实体多、同一词汇标注表白不同关系和存在隐性关联等。基于模板的办法是关系抽取的传统办法，依据实体指称的画面上下文关系参照模板提取关系。基于机器学习的办法分为有监督学习和弱监督学习两类。有监督学习办法通过分类算法学习人工标注的实体指称关联样本进行模型训练，造成语义关系分类器用于关系提取。基于弱监督学习办法以间隔监督为假如，对人工标注的局部图谱三元组样本进行学习以造成分类器，进而主动实现其余内容的关系抽取。Hasegawa 等提出基于无监督技术的关系抽取，按实体特色进行全连通聚类，通过关系相似性确定实体关系的类型。视频、图片、语言等类型的情报信息间接进行关系抽取将是今后的倒退方向。

4. 利用常识图谱剖析开掘立功情报

1. 基于图谱的立功信息搜寻传统的信息检索通过关键字匹配形式实现查找，未思考关键字的语义和上下文关系，检索品质不高。基于常识图谱的实体检索同时思考语义相似性和构造相似性，计算每个实体相干的三元组与用户查问之间的相关度，排序后失去候选实体。此外，常识图谱作为一种存在逻辑构造的有向连通图，可通过图模型进行建模检索，用检索对象的特色建设子图并构建图谱的图索引，通过子图筛选技术实现立功信息检索。当检索指标较简单时可综合多个图谱进行搜寻，基于图谱的问答技术用于进步搜寻成果。基于词典 - 文法的语义解析办法通过剖析问句，构建由节点、边和操作符组成的语义图，视其为图谱子图并映射到图谱中，通过图匹配实现检索。目前，基于常识图谱的简略问题检索根本成熟，但深层开掘问题、大规模搜寻和长尾问题等仍待钻研。
2. 基于图谱的案件推理常识图谱的结构化模式是其强于数据库的最大劣势，反对信息推理，可用于情报的补齐、质检和开掘，辅助研判。常识图谱推理着眼实体和关系，进行演绎推理和基于演绎的推理，由已有信息推断未知信息。归纳推理用于推理具体事实，利用逻辑规定取得某个事件的过程；演绎推理则着重提取常识图谱中的逻辑规定。演绎推理包含基于谓词逻辑的关系推理、基于概率逻辑的规定提取和基于随机游走的规定开掘等。归纳推理包含基于相信规定推理的关系预测，基于门路的关系推理等。常识图谱推理技术可辅助事件法则开掘、人员画像构建、特定群体发现、人物关系梳理等立功情报分析。

二、基于监控视频的视频图谱构建与开掘

1. 视频图谱的设计与实现

​ 常识图谱构建过程蕴含信息抽取、常识交融、常识加工。信息抽取从非结构化和半结构化数据中抽取实体、关系、实体属性，常识交融和常识加工对已有的信息进行语义消歧和常识推理等。视频图谱的构建与常识图谱相似，也是一个迭代的过程，采纳自底向上的构建形式，为了实现摄像头下的行人人脸特色的疾速提取，采纳深度卷积神经网络，对提取后的特色进行聚类，就能失去每个行人惟一的身份。为了存储主动提取的信息，须要设计一个联合图数据库的存储形式，采纳图数据库 Neo4j 进行实体、属性和关系数据的存储。节点作为实体，示意行人或者摄像头，边作为关系，示意行人之间、行人与摄像头之间的关系，属性作为实体的属性信息。

（1）图谱整体框架

​ 视频图谱蕴含三个基本要素：节点、边和属性，其中节点能够示意对象（如视频文档、视频中的人、车和物品），边示意对象间的关系，节点和边均能够有多个属性。以行人为例，行人能够通过多个摄像头，对行人呈现的工夫、行人的特色信息进行记录，能够开掘行人之间的共现关系。视频图谱整体框架如下图所示。

​ 视频图谱由多个视频对象组成，也能够用摄像头示意，示意一段监控视频或者一个摄像头。视频中呈现的行人、车辆等信息通过自动化提取办法提取进去，并且极记录行人、车辆的相干信息，例如行人编号信息、呈现的工夫信息，作为行人的属性信息示意在图谱中。通过共现关系剖析，找到图谱中具备共现关系的行人，也能够进而通过关系的连贯，找出对应的团伙。

（2）图谱构建的实现

​ 基于监控视频的视频图谱的构建总体流程如下图所示。总共分为以下几个模块：人脸检测及特征提取、人脸聚类、实体关系存储、共现关系发现、图谱展现。

（1）人脸检测及特征提取模块包含：应用深度学习的办法检测摄像头视频流中的行人，提取行人的人脸特色等；

（2）人脸聚类模块包含：应用基于密度的 DBSCAN 算法将检测到的人脸聚成不同的类别，调配不同的 cluster_id 等；

（3）数据存储模块包含：应用图数据库 Neo4j 存储监控视频中呈现行人实体的信息，以及和摄像头之间的呈现关系等；

（4）共现关系发现模块包含：计算给定摄像头范畴、给定工夫阈值条件下的行人之间的共现关系等；

（5）图谱展现模块包含：应用前端展现框架展现视频图谱的样貌，提供交互式检索框等。

（3）行人人脸特征提取和聚类

​ 视频图谱的自动化构建的根底是行人人脸检测和人脸特征提取，对于海量监控视频，将视频中呈现的行人自动检测并提取进去，作为视频图谱的行人实体。如下图所示，从监控摄像头中读取视频流并提取视频的关键帧，只关注关键帧是为了防止不必要的检测，可能视频中缩小人脸检测的次数，进步零碎的运行效率，距离几帧进行人脸检测即可。人脸检测和对齐应用 MTCNN 网络，网络的输出是视频帧，输入为蕴含人脸框和人脸关键点的图像。应用 MTCNN 网络检测人脸包含图像金字塔、P 网络、R 网络、O 网络四个步骤。图像金字塔的作用是失去不同尺寸的输出图像，剩下的三个网络顺次串联，上一个网络的输入作为下一个网络的输出。对于检测后的人脸应用残差网络模型提取人脸的深度特色，残差网络的输出为上一步失去的对齐后人脸图像，输入为高维人脸特色。最初对特色进行聚类，将同一个人的不同人脸样本聚到雷同的类，聚类办法采纳基于密度的 DBSCAN 办法，类外部的间隔较为严密，类之间间隔较远，同一个类中的人脸示意同一个身份的行人的不同工夫被抓拍到的快照，不同类示意不同身份的行人，对每一个聚类进行编号，用来示意监控视频中行人的身份。

（4）实体与关系的存储

​ 节点贮存，图数据库中节点示意实体，在视频图谱中，实体有行人、摄像头等。所以节点分为：行人节点和摄像头节点。基于 Neo4j 的标签规定，指定行人节点的标签为 Person，摄像头节点的标签为 Camera。标签是 Neo4j 数据库的分类信息，通过标签能够不便疾速进行匹配。

​ 关系存储，图数据库中关系示意分割，视频图谱中，实体之间的分割是要害信息。关系建设在两个已知节点的根底上，关系分为单向关系和双向关系。在视频图谱中，有多种关系，例如行人和摄像头的关系，为呈现关系，能够指定为单向关系，开始节点为摄像头节点，完结节点为行人节点；摄像头之间的关系为连通关系，指定为双向关系。

​ 属性存储，图数据库中不仅实体蕴含属性，关系也有属性信息。属性既存在于节点中，也存在于关系中。Person 节点中能够存储行人呈现的工夫、行人的快照、行人的人脸特色等信息，Camera 节点中能够存储摄像头的一些动态信息，例如摄像头的编号、地位形容、经纬度等信息；对于关系，以行人和摄像头之间的关系为例，一个关系对应于行人呈现在摄像头下的一次状况，存储工夫、快照等信息。

2. 视频图谱的数据挖掘

（1）共现关系的发现

​ 在文献计量钻研畛域中，独特呈现的特色项之间存在着某种关联，关联水平能够应用共现频次来评估。例如，通过剖析一篇文章，要找到文章中两个人物之间的关系，个别认为，在同一篇文章中呈现的两个人物的名字有肯定的关联，统计全文呈现的关联次数，能够结构任何两个人物之间的共现关系。视频图谱中，共现关系与上述形容相似，场景和实体有所不同，在多个理论场景中，肯定范畴的时间跨度内，不同行人被摄像头一起抓拍到，则认为他们之间有肯定的分割。如下图所示，两人行人别离在工夫上被雷同的摄像头拍摄到，那么认为他们之间存在共现关系。

（2）共现关系的预测

​ 关联规定剖析的目标是找出数据集之间各项之间的分割，常被称为购物篮剖析。在监控视频图谱的场景中，如果依据大量的历史数据，剖析出某个立功嫌疑人呈现的状况下，其余立功同伙呈现的概率，那么将施展出视频图谱更深层次的作用，基于共现关系发现算法，进一步采纳关联规定算法预测某一个行人呈现的条件下，与之有关联的人呈现的概率。关联规定剖析的后果是规定的预测，规定是“如果…那么…”的模式，“如果”是条件，“那么”是后果。
​ 关联规定剖析首先被提出就是为了解决购物篮的问题，旨在找出大量商品购物之间的关联，起初被广泛应用与信息畛域，而在现在的应用情境下，依据监控视频图谱的环境，应用关联规定的外围思路，找出实用于此环境的关联规定剖析后果。Apriori 算法作为关联规定剖析的经典算法被宽泛探讨，也是最早应用的关联规定算法；FP-Growth 算法基于 Apriori 做了优化解决，通过构建一个 FP-Tree 来生成频繁项集，缩小了磁盘的 IO 次数，晋升算法的性能；当数据一直增长时，应用单机解决容易达到瓶颈，应用基于分布式的 FP-Growth 算法是天经地义的抉择。

三、基于常识图谱的预测

案例一、城市交通拥堵区域预测钻研

​ 智能交通系统是一种先进的应用程序，指将各种先进的技术如大数据，信息通信技术，电子控制技术等各种集成到整个运输管理系统中，旨在提供与不同交通形式和交通管理相干的翻新服务。随着电子器件、大数据和人工智能的倒退，通过智能化技术来缓解交通拥堵状况曾经是交通管理的趋势，同时传感器技术的提高产生了更高精度且可实时获取的交通数据，为交通状况的剖析与预测提供了海量的数据反对。因而，如何针对多源异构的交通大数据，摸索更加先进的办法对钻研城市交通拥堵预测具备重要意义。

交通拥堵预测钻研现状

​ Ryo 提出了一种基于信息科学中的频繁模式开掘算法，从交通传感器数据中列举交通拥堵模式的办法，来理解城市以后的交通拥堵状况。该办法改良了频繁模式开掘算法从而无效地开掘时空相干的拥挤模式并预测拥挤。

​ Li 提出了一种自适应数据驱动的实时拥挤预测办法。该办法包含基于自适应 K 均值聚类的交通模式识别算法，二维速度预测模型和自适应阈值校准办法。在主成分剖析之后，进行自适应 K 均值聚类算法以取得不同的流量模式。利用自适应阈值校准办法实现拥挤辨认，而后依据不同的流量模式提出拥挤预测。OnievaTM 提出了一个试验钻研，将机器学习办法利用于预测路线的拥挤水平。该钻研旨在找出相干论断以及产生蕴含一组规定的模型，同时思考清晰和含糊变体。所应用的办法显示出良好的性能，模型可能精确批示出拥挤的水平。

​ Wan 设计了一种基于深度学习实践的拥挤预测模型来预测交通拥堵，剖析了不同迭代次数和学习率对模型预测精度的影响。文章在现有钻研的根底上，提取了交通拥堵的影响因素，如交通流量，天气和光线，并构建状态矩阵来示意交通流的状态，提出了基于 CNN 预测的交通拥堵模型，应用状态矩阵作为输出变量。

​ 在国内钻研方面，姚智胜和邵春福使用状态空间模型将拥挤问题转化为多点工夫序列预测，构建多维自回归模型，模型参数应用 EM 算法预计，将路线多点的交通状态作为钻研对象，并利用卡尔曼滤波进一步预测零碎状态，在疾速路上 6 个采样点的实在数据进行验证，自回归模型预测成果比卡尔曼滤波单点预测办法更好。

城市常识图谱的意义

​ 现在，城市交通方面的利用通常依赖于手动特色工程，这可能导致一些隐特色被忽视。例如，通常须要为城市计算中的机器学习工作构建和组合一些简单的特色。然而，城市交通利用的复杂性和交通数据的多源异构模式使得特色构建工作极具挑战性。此外，大多数基于学习 (机器学习、深度学习) 的办法不能对提供预测后果的解释。从城市中的传感器和社交媒体中取得的数据里蕴含数百种可能被人类了解的概念。大城市中的每个区域都蕴含一些暗藏和固有的常识(例如，人口统计，趣味点等)。

​ 当仅仅只提供与区域无关的多数城市常识时，人类就能够对该区域进行评估并失去令人满意的后果。与此相反的是，基于学习的办法例如机器学习或者深度学习通常须要数干个具备简单特色工程的标记实例能力达到相似的成果。所以组合城市常识和基于深度学习的办法来独特解决某些城市利用问题例如城市交通拥堵预测问题。

​ 常识图谱这种结构化常识示意办法曾经在搜索引擎中施展了重要作用，并逐步延长到电商和医疗畛域，电商常识图谱用于晋升个性化举荐成果，医疗常识图谱用于辅助医疗和智能问诊。浙江大学的马晓蕾等人首次将常识图谱利用于商铺选址和交通事故推理问题中。从历史教训、地理知识和常识中失去的城市常识图谱在理论利用中起着意想不到的作用。

城市常识图谱的构建

​ 次要有两种办法构建常识图谱: 一个是自上而下的，另一个是自底而上的。自顶而下的办法意味着须要定义本体和模式，并将常识实例增加到知识库中。这种办法强调明确定义的畛域本体来示意常识图谱中的理论实例，从其余常识资源中抽取常识实例。自底而上的常识图谱结构是一个迭代的过程，包含常识获取，常识交融，常识存储和提取等，往往是从互联网多源数据中获取并于已有的结构化数据相交融并提取有用的常识。

案例二、基于常识图谱的人员关系预测办法钻研

​ 近年随着“人工智能”概念的再度沉闷，除了“深度学习”这个煊赫一时的名词以外，“常识图谱”无疑也是研究者、工业界心目中的又一颗“银弹”。简略地说，“常识图谱”就是以图形的形式来展示“实体”、实体“属性”，以及实体之间的“关系”。常识图谱的次要指标是用来形容真实世界中存在的各种实体和概念，以及它们之间的关联关系。

​ 通过对海量数据的感知、认知，搭建残缺的常识体系，在此基础上，论述常识图谱进行关系预测的基本原理和根本办法，发展基于关系的常识推理和预测剖析。以模仿真实世界的人流动要害因素为根据的，构建信息资源模型，将参加的自然人、人通过各种形式社交形成的社交关系及相关联的事件等要害因素，联合相应的算法模型，进行显性关系和暗藏关系的开掘和预测，并对人员实体关系剖析预测进行可视化展现。

常识图谱搭建流程

​ 搭建常识图谱需从多种信息源获取实体或概念，以及他们之间的关联关系。常识图谱构建是否齐备关键在于常识抽取引擎的构建，常识抽取细分为实体、属性、关系、事实、事件、分类等辨认与抽取。常识图谱的数据源是多源异构的数据体系，包含公安外部

数据、其余部委数据、互联网数据等。常识抽取引擎首先须要交融汇聚来自多个起源的异构数据，其中包含数据筹备层，实现非结构化数据的结构化标注和数据格式转换，实现多源异构数据的语义交融，汇聚治理异构数据，优化下层拜访效率。

在数据平台层，常识抽取引擎次要进行数据采集和数据整合工作。数据采集工作次要内容包含以下几个方面:

1. 结构化数据智能抽取: 智能化数据抽取是数据深度利用的前提，基于机器学习技术通过大规模自动化智能化对多源数据进行的采集、荡涤、归类，并关联所有数据，造成对立数据视图给后续的智能化应用服务。针对 RDB、Streaming、Crawler、CSV/Excel/TXT 等数据源，反对传统数据转换和机器学习数据转换。
2. 非结构化特征提取，应用机器学习等伎俩提取非结构化数据的特色作为标注;
3. 数据格式转换，将不合乎预约格局的数据转化为预约格局下的数据。

数据整合工作次要内容包含以下几个方面:

1. 模式对应: 实现在关系数据库模式档次和非结构化数据在概念档次的匹配对应;
2. 实体链接: 利用相似性计算、聚类划分等技术，实现在异构数据在实例档次对应;
3. 冲突检测: 在实现实例对应后，检测是否存在雷同实体的雷同属性值抵触;
4. 抵触打消: 利用机器学习、异样点断定、人工干预等伎俩打消检测到的抵触;
5. 数据融汇: 汇聚异构数据，优化下层拜访效率。

经常识抽取引擎进行数据采集和数据整合工作后，造成数据资源库，包含根底资源库、专题数据库、关联库和全文检索库。为关系预测综合研判提供所需的数据撑持。

​ 在关系抽取层，针对图谱加强的知识化实体了解技术，发展开源辅助信息关联，撑持面向图谱的高效匹配和关联检索利用。实体关系抽取次要关注: 实体对之间的关系的预测，实体对特定关系的开掘，开放式实体关系的抽取。

​ 在常识图谱构建层，包含常识构建、常识更新、常识交融。常识构建次要是基于以上流程将常识收集; 常识更新次要解决常识的动静感知和更新问题，用以体现常识的变动对常识图谱中所存储常识的影响; 常识交融次要是进行实体辨认，即给定不同数据源中的实体，判断其是否指向同一个真实世界实体。常识交融过程中，要精确辨认待合并常识与知识库中已有常识相反复或相矛盾的局部，并对冗余常识和矛盾常识采取适当的措施进行解决，以保障知识库中的常识是一致性，无冗余、无矛盾。

常识图谱关系预测的原理

常识图谱关系预测依据是否和业务相干，次要分为基于规定的预测和基于算法的预测。

1. 基于规定的预测: 次要是通过业务本体框架中的相干束缚来做相干的推理预测，比方类别预测、属性预测等，通过关系的定义域和值域来推理预测。关系的定义域和值域是固定的，实例具备这种关系，则实例就是定义域或值域规定的类别。
2. 基于算法的预测: 基于算法的预测能够分为很多种，基于门路的建模、分布式示意学习、基于神经网络、混合推理等，但推理算法取得的后果具备不确定性，不肯定等取得完全正确的关系，只是一种预测可能性。比方: 通过观察到常识图谱中蕴含这样的一条门路“梅琳达·盖茨 - 配偶 - 比尔·盖茨 - 主席 - 微软 - 总部 - 西雅图”，揣测出梅林达可能寓居在西雅图。

常识图谱关系信息资源模型设计

​ 基于常识图谱的关系预测的外围是建设合乎业务的信息资源模型和算法。信息资源模型的设计是以模仿真实世界的人流动要害因素为根据的。参加的自然人 (外围和边缘份子) 通过各种社交形成的社交关系，人员个体在相干要害事件 (如守法案件、应急突发事件) 过程中，在长时空范畴的系列流动、重点区域 (如案件多发区、重点场合) 等都是流动关系形成的几个要害因素，须要在构建模型时重点关注和钻研，在业务模型的构建后采纳一些图算法来发展关系剖析和研判，从而能发现潜在的关系。

​ 首先，在进行研判的过程中，通过对各类数据依照不同业务类别进行数据分析研判，造成不同主题域组织模式的数据模型库。随着研判的不断深入，公安知识库所产生的主题模型也将一直的扩大，在零碎建设过程中，实现搭建自然人核心主题模型、社交为核心的主题模型、要害事件为核心的主题模型以及重点区域为核心的主题模型。

​ 第二，基于综合图谱模式的匹配技术: 在重要行为记录的事件、组织记录的模式检索中，借助基于关联子结构、子模式的匹配技术，能够构建频繁构造索引，剪枝 - 确认迭代操作等进行高效的综合匹配检索，以实现冲破传统关键字技术的检索模式，反对基于简单工夫，行为轨迹，趣味聚簇的检索工作，撑持多种下层剖析研判利用的发展。

案例三、基于医学知识图谱的疾病诊断与衰弱预测模型钻研

​ 面向医学知识图谱的推理和预测模型是利用常识实现智能化医疗行为的两种重要技术手段，推理是通过演绎、演绎和类比等形式，对患者状态和状况得出认知论断，预测则是依据患者历史性数据作出合理化预计。它们的关联在于，预测是一种基于工夫维度上的演变推理，二者实质上均是使用常识产生合乎逻辑的断定过程。在疾病诊断工作中，分类作为人类推理能力的重要体现，是掂量医疗智能化水平的关键所在。联合用户个性化信息，其钻研意义别离体现在面向医护人员的辅助诊断、查看举荐、病历质检等利用场景，以及面向患者的衰弱信息举荐、适度查看筛查等医疗衰弱服务。
​ 基于医学文本的常识图谱构建是解决医疗决策反对问题的物质基础。目前，常识图谱无论在学术界还是产业界都备受关注，曾经在智能搜寻、主动问答、决策反对等各个相干工作上失去了广泛应用，其劣势次要归纳于以下几点：

1. 常识图谱是人工智能利用不可或缺的根底资源。常识图谱在语义搜寻、问答零碎、个性化举荐等互联网利用中占有重要位置，在智慧医疗、智慧司法等畛域具备广大的发展前景。
2. 语义表达能力丰盛，可能反对多种常识服务类工作。常识图谱源于语义网络，是一阶谓词逻辑的简化模式，通过定义概念、实例、属性以及关系类型，进一步丰盛了对主观常识的形容能力。
3. 形容模式对立，便于常识的集成与交融。常识图谱是常识构建体系和实例数据的对立示意框架，可通过术语对齐、构造匹配等操作对异构数据进行集成和交融，并为更简单、更灵便的常识服务提供反对。
4. 示意办法对人类和计算机敌对，反对高效推理。推理是常识示意的重要指标，常识图谱以图构造为根底，在具备可解释性的同时，联合图论相干钻研能够高效地利用于常识推理技术。

医学知识图谱构建

​ 医学文本通指用于形容医学知识、存储衰弱数据和信息的结构化或非结构化文本，其中蕴含了医生在实践学习和医疗实际中丰盛的常识性医学知识和经验性医学知识。

​ 电子病历和医学书籍是两类最常见的医学文本，通常被作为医学知识的次要数据起源，针对这些半结构化或非结构化的文本数据，研究者们采纳自动化抽取与人工编辑相结合的形式从中开掘常识。鉴于常识之间的高度关联性和复杂性等特点，Google 于 2012 年提出了一种基于网络结构的常识示意模式——常识图谱，其设计初衷是依据对立的示意框架形容事实世界中存在的实体以及实体之间的关系。相比于传统的关系型知识库，常识图谱具备较强的逻辑性、示意能力以及高效的存储和更新形式。随着人工智能技术在医疗畛域的疾速倒退，以医疗本体 Ontology）为根底原型衍生出许多具备代表性的医疗常识图谱，例如对立医学语言零碎 UMLS、本体医疗常识 SNOMED-CT、IBM Watson Health 等。此外，i2b2、N2C2、SemEval 一些评测机构近年来也公布了多个与医学知识图谱构建相干的工作，包含实体辨认、关系抽取、概念标准化等等，这些评测工作不仅为医学知识图谱构建指明了钻研思路，而且提供了丰盛的数据资源。

​ 依据临床指南和电子病历中蕴含的常识模式，咱们依照概念和关系的分类体系进行人工标注医学知识三元组。人工标注流程共分为三个阶段，首先是联合常识图谱的分类体系构建面向医学文本或特定医学知识库的标注标准初稿，在医师的领导下对现有的概念和关系进行合理性论证，对类似或歧义项给出明确的医学界定，同时提供相应的标注提醒。之后进入训练标注人员并更新标注标准阶段，因为标注人员对于标准的了解不尽相同，即便是业余医生也会存在医学认知的差别。因而，咱们每轮随机选取肯定数量的未标注数据集同时分发给多名参加标注的人员，当标注实现后由所有标注人员一起探讨产生不统一的状况并最终达成对立。依照此种培训形式，通过多轮学习标注标准和标注人员对于医学知识的意识曾经趋于成熟，当标注一致性间断三次处于较高水平后，咱们认为能够进行医学知识的正式标注。最初，为达到较高的标注一致性，咱们调配两组人员具备肯定反复的医学文本进行正式标注，并阶段性随机抽样查看，呈现抵触状况随时探讨，直至实现全副医学文本的标注工作。

​ 经上述人工标注过程，咱们初步构建了以三元组关系为结构单元的医学知识图谱，该图谱将常识常识和教训常识相结合，能够无效反对基于常识的推理模型的相干钻研。

基于医学知识图谱的概率推理模型

​ 分类模型在过来一段时间被广泛应用于医疗畛域的多项工作中，其中最为常见的是以症状作为模型的特色输出，对预设疾病进行诊断分类。决策树模仿人在诊断疾病中的断定逻辑，基于信息熵结构特色变量的树状构造，将整体分类过程合成为多个子工作逐渐实现疾病诊断。然而该算法的有余在于对不一致性数据适度敏感，当训练数据集中存在矛盾时无奈失去令人满意的拟合成果。反对向量机模型是另一类具备较强实践根底的分类模型，通过核函数将分类维度晋升进而找到高维度下的最大反对向量面。尽管在多种医学工作中其预测精确
率要优于决策树，但该模型过于依赖无效特色的选取。贝叶斯网络是以贝叶斯实践为根底的概率图模型，以图的模式形容变量之间的依赖关系，在晚期的临床决策零碎中施展了重要作用。近年来，随着大数据时代的到来，深度学习技术失去了疾速倒退，又涌现出以神经网络、含糊逻辑、遗传算法为代表的一大批诊疗推理模型。

​ 人类产生智能的根本原因是常识的一直学习，当常识量达到肯定水平会天然地涌现出较高的认知程度。面向分类工作的深度学习相比于面向常识的概率逻辑推理模型，前者是将符号化常识形象为低维空间向量后，采取反向流传机制训练神经元示意和网络权重，以达到分类和推理的工作指标。而前者更多依赖于符号化常识，在已知相干先验和以后条件下，使用统计学原理能够近似计算特定事件的产生概率。更重要的是，不同于深度学习中常识向量的高度抽象化，概率逻辑模型的推理形式更贴近人类认知，有如贝叶斯实践和马尔科夫实践的推理过程具备显著的可解释性。其中，晚期的代表性钻研包含基于人类总结性规定的专家系统、基于一阶逻辑常识的马尔科夫网、概率软逻辑等等，不过上述模型在适用范围上均存在着局限性，例如基于逻辑常识的推理模型仅能解决二元变量。而在医疗畛域，大多数医疗查看、症状形容均示意为多元数值模式。为解决上述问题，马尔科夫逻辑网的衍生算法——混合马尔科夫逻辑网通过变量近似和抽样评估的统计策略将布尔类型和数值型变量融入概率逻辑框架。

​ 传统的马尔科夫网无奈应答多元变量的推理问题，针对医疗畛域的数据特点，充沛联合了医学知识图谱的网络结构与概率图模型的推理能力，提出了面向常识图谱的准确推理和参数学习对立框架。在该推理框架中引入波尔茨曼机能量函数对马尔科夫网团势能函数进行重定义，使标准化的数值型变量直接参与到推理计算中，解决了传统概率图模型无奈解决多元变量的问题。试验结果表明，在基于“疾病 - 症状”常识网络和“疾病 - 查看”常识网络的多疾病诊断工作中，该推理框架不仅能够应答以不同水平症状为证据的多元离散型变量，而且能够解决以数值型查看后果为代表的连续型变量，并获得了最佳的疾病诊断成果。

基于级联生效实践的衰弱预测模型

​ 级联生效是形容简单网络动静演变过程的一种实践，由初始网络中多数节点生效而引发的蝴蝶效应，最终导致相当一部分节点甚至整个网络的解体。级联行为常见于各类简单零碎中，例如电力网络、金融市场、交通网络，其潜在的微小危险推动着研究者们投入大量精力探索其本质，进而提出躲避危险的预防措施以及升高灾难性结果的新举措。

​ 网络医学作为联合零碎生物学和网络迷信的一类新型学科，旨在提出能够用来分析人类所有疾病成因的钻研思路与策略，对于了解异样体征和疾病之间的关系至关重要。其次要观点认为人体自身是一个高度复杂化的生理零碎，生理状态之间存在相互影响、制约、促成、激发等一系列作用关系，例如由糖尿病诱发的泛滥并发症、由癌症引发的器官衰竭以及由艾滋病病毒导致的免疫系统解体。因而，摸索基于人体功能性零碎的动静演变行为是洞悉疾病倒退法则、开掘异样体征与疾病关联性、预测患病危险的根本性钻研，为早发现、早预防、早医治的良性就医形式提供松软的实践根底。

​ 联合上述级联生效的动静演绎过程和体征之间的主观作用机制，构想通过医学知识网络来刻画人体零碎，一旦某些生理节点出现异常，其负面影响必将通过节点之间的诱发关系传递到街坊节点，并使更多节点出现异常甚至生效（所谓生效是指体征指标超出正常值范畴或体现出某种疾病），经无限次扩散该影响可能会波及整个网络，进而导致大面积节点的生效。受此启发，钻研以疾病和体征组建的医学知识网络为构造，采纳试验伎俩摸索产生在该医学网络中的级联行为。通过量化部分节点的主观作用关系，在流传动力学的驱使下，试图模仿网络结构及节点状态自主更迭的动静演变过程，最终在给定患者初始体征的状况下无效预测其将来可能呈现的异样体征或疾病。同时，对级联过程起到要害推动力的医学节点进行开掘，能够有针对性的提供爱护策略和医治伎俩为疾病预防和疾病晚期发现提供重要的理论依据。