共计 7403 个字符，预计需要花费 19 分钟才能阅读完成。
摘要：本文带来什么是可解释 AI，如何应用可解释 AI 能力来更好了解图片分类模型的预测后果，获取作为分类预测根据的要害特色区域，从而判断失去分类后果的合理性和正确性，减速模型调优。
1. 为什么须要可解释 AI？
在人类历史上，技术提高、生产关系逻辑、伦理法规的倒退是动静演进的。当一种新的技术在实验室取得冲破后，其引发的价值产生形式的变动会顺次对商品状态、生产关系等带来冲击，而同时当新技术带来的价值晋升失去认可后，商业逻辑的组织状态在自发的调整过程中，也会对技术倒退的门路、内容甚至速度提出诉求，并当诉求失去满足时适配以新型的伦理法规。在这样的相互作用中，技术零碎与社会体系会共振实现演进，是谓技术反动。
近 10 年来，籍由算力与数据规模的性价比冲破临界点，以深度神经网络为代表的联结主义模型架构及统计学习范式（当前简称深度学习）在特色表征能力上获得了逾越级别的冲破，大大推动了人工智能的倒退，在很多场景中达到令人难以置信的成果。比方：人脸识别准确率达到 97%以上；谷歌智能语音助手答复正确率，在 2019 年的测试中达到 92.9%。在这些典型场景下，深度学习在智能体现上的性能曾经超过了一般人类（甚至专家），从而到了撬动技术更替的临界点。在过来几年间，在某些商业逻辑对技术敌对或者伦理法规临时稀缺的畛域，如安防、实时调度、流程优化、竞技博弈、信息流散发等，人工智能（暨深度学习）获得了技术和商业上疾速冲破。
食髓知味，技术倒退的苦头天然每个畛域都不愿放过。而当对深度学习商业化使用来到某些对技术敏感、与人的生存或平安关系严密的畛域，如主动驾驶、金融、医疗和司法等高风险利用场景时，原有的商业逻辑在进行技术更替的过程中就会遇到阻力，从而导致商业化（及变现）速度的减缓甚至失败。究其原因，以上场景的商业逻辑及背地伦理法规的中枢之一是稳固的、可追踪的责任清晰与散发；而深度学习失去的模型是个黑盒，无奈从模型的构造或权重中获取模型行为的任何信息，从而使这些场景下责任追踪和散发的中枢无奈复用，导致人工智能在业务利用中遇到技术和构造上的艰难。
举 2 个具体的例子：
例 1，在金融风控场景，通过深度学习模型辨认进去小局部用户有欺诈嫌疑，然而业务部门不敢间接应用这个后果进行解决，因为难以了解后果是如何失去的，从而无奈判断后果是否精确，放心处理错误；而且不足明确的根据，如果解决了，也无奈向监管机构交代；
例 2，在医疗畛域，深度学习模型依据患者的检测数据，判断患者有肺结核，然而医生不晓得诊断后果是怎么来的，不敢间接采纳，而是依据本人的教训，认真查看相干检测数据，而后给出本人的判断。从这 2 个例子能够看出，黑盒模型重大影响模型在理论场景的利用和推广。
要解决模型的这些问题，就须要关上黑盒模型，透明化模型构建过程和推理机理。那么可解释 AI 是实现模型透明化的无效技术。
2. 什么是可解释 AI？
可解释 AI (eXplainable AI(XAI))，不论是学术界还是工业界都没有一个对立的定义。这里列举 3 种典型定义，供大家参考探讨：
①可解释性就是心愿寻求对模型工作机理的间接了解，突破人工智能的黑盒子。
②可解释 AI 是为 AI 算法所做出的决策提供人类可读的以及可了解的解释。
③可解释的 AI 是确保人类能够轻松了解和信赖人工智能代理做出的决策的一组办法。
可见，关注点在于对模型的了解，黑盒模型白盒化以及模型的可信赖。
MindSpore 团队依据本身的实践经验和了解，将可解释 AI 定义为：一套面向机器学习（次要是深度神经网络）的技术合集，包含可视化、数据挖掘、逻辑推理、常识图谱等，目标是通过此技术合集，使深度神经网络出现肯定的可了解性，以满足相干使用者对模型及应用服务产生的信息诉求（如因果或背景信息），从而为使用者对人工智能服务建设认知层面的信赖。
3. 可解释 AI 解决什么问题？
按 DARPA（美国国防部先进钻研我的项目局）的说法，可解释 AI 的目标，就是要解决用户面对模型黑盒遇到问题，从而实现：
①用户晓得 AI 零碎为什么这样做，也晓得 AI 零碎为什么不这样做。
②用户晓得 AI 零碎什么时候能够胜利，也晓得 AI 零碎什么时候失败。
③用户晓得什么时候能够信赖 AI 零碎。
④用户晓得 AI 零碎为什么做错了。
MindSpore 实现的可解释 AI 打算次要解决如下两类问题：
①解决深度学习机制下技术细节不通明的问题，使得开发者能够通过 XAI 工具对开发流程中的细节信息进行获取，并通过获取到的可了解信息，帮忙开发者进行模型故障排除或性能晋升；
②提供深度学习技术与服务对象的敌对的认知接口（cognitive-friendly interface），通过该接口，基于深度学习的服务提供者能够有适合工具对深度学习服务进行商业化逻辑的操作，基于深度学习的人工智能服务的消费者能够取得必要的释疑并建设信赖，也能够为 AI 零碎的审核提供能力反对。
4. 实现可解释 AI 的办法
从后面的介绍，大家能够感觉到可解释 AI 很高大上，那么具体如何实现呢？联合业界的研究成果，咱们认为实现可解释 AI 次要有 3 类办法：
第一类是基于数据的可解释性，通常称为深度模型解释，是最容易想到的一种办法，也是很多论文外面常常波及的一类技术；次要是基于数据分析和可视化技术，实现深度模型可视化，直观展现失去模型后果的要害根据。
第二类是基于模型的可解释性，这类办法也称为可解释模型办法，次要是通过构建可解释的模型，使得模型自身具备可解释性，在输入后果的同时也输入失去该后果的起因。
第三类是基于后果的可解释性，此类办法又称为模型演绎办法，思路是将已有模型作为一个黑盒，依据给定的一批输出和对应的输入，联合察看到模型的行为，推断出产生相应的后果的起因，这类办法的益处是齐全与模型无关，什么模型都能够用。
5. MindSpore1.1 版本的可解释 AI 能力
MindSpore1.1 开源版本，在 MindInsight 部件中集成了的可解释 AI 能力：显著图可视化（Saliency Map Visualization），也称为要害特色区域可视化。这部分归属于第一类基于数据的可解释性办法，后续咱们将陆续开源更多的解释办法，除了第一类，还将包含第二类基于模型的可解释办法和第三类基于后果的可解释办法。
以后显著图可视化次要是 CV 畛域的模型解释，在 1.1 版本中，咱们反对 6 种显著图可视化解释办法：Gradient、Deconvolution、GuidedBackprop、GradCAM、RISE、Occlusion。
其中：Gradient、Deconvolution,、GuidedBackprop 和 GradCAM 等 4 种办法属于基于梯度的解释办法。这种类型的解释办法，次要利用模型的梯度计算，来突显要害特色，效率比拟高，上面简要介绍下这 4 种办法：
·Gradient，是最简略间接的解释办法，通过计算输入对输出的梯度，失去输出对最终输入的“奉献”值；而 Deconvolution 和 GuidedBackprop 是对 Gradient 的延展和优化；
·Deconvolution，对原网络中 ReLU 进行了批改使其成为梯度的 ReLU，从而过滤负向梯度，仅关注对输入起到正向奉献的特色；
·GuidedBackprop，是在原网络 ReLU 根底上对负梯度过滤，仅关注对输入起到正向奉献的且激活了的特色，可能缩小显著图乐音；
·GradCAM，针对两头激活层计算类别权重，生成对类别敏感的显著图，能够失去类别相干的解释。
另外 2 种办法：Occlusion 和 RISE，则属于基于扰动的解释办法，该类型办法的益处是，仅需利用模型的输出和输入，能够做到模型无关，具体阐明下：
·RISE，应用蒙特卡洛办法，对随机掩码进行加权（权重为遮掩后的模型的输入）均匀失去最终显著图；
·Occlusion，通过遮掩特定地位的输出，计算模型输入的扭转量来失去该地位的“奉献”，遍历全副输出，失去显著图。
那么对于具体场景，该如何抉择适合的解释办法来解释对应的模型呢？
为了满足这个诉求，MindSpore1.1 版本提供了可解释 AI 的度量框架，同时还提供了 4 种度量办法：Faithfulness、Localization、Class sensitivity、Robustness，针对不同解释办法的解释成果进行度量，帮忙开发者或用户抉择最合适的解释办法。简略形容下这 4 种度量办法：
·Faithfulness，可信度。依照重要度从大到小移除特色，并记录特定标签概率的缩小量。遍历所有特色之后，比拟置信度缩小量的散布和特色重要性的散布相似性。与黑盒模型越符合的解释，两个散布状况该当越类似，该解释办法具备更好的可信度。
·Localization，定位性。基于显著图的解释具备指标定位的能力（即给定感兴趣的标签，显著图高亮图片中与标签相干的局部），localization 借助指标检测数据集，对于同一图片同一个标签，通过显著图高亮局部和 Ground Truth 的重合度，来度量显著图的定位能力。
·Class sensitivity，分类敏感度，不同分类对应的图中的对象的显著图高亮局部应该显著不同。将概率最大和最小标签的显著图进行比拟，如果两个标签的显著图差别越大，解释办法的分类敏感度越好。
·Robustness，健壮性。该指标反映解释办法在部分范畴的抗扰动能力，Lipschitz 值越小，解释收扰动影响越小，健壮性越强。
上面联合 MindSpore1.1 版本中已反对的显著图可视办法的其中 3 种解释办法：Gradient、GradCAM 和 RISE，介绍如何应用可解释 AI 能力来更好了解图片分类模型的预测后果，获取作为分类预测根据的要害特色区域，从而判断失去分类后果的合理性和正确性，减速模型调优。
6、常见显著图可视解释办法介绍
6.1 Gradient 解释办法
Gradient，是最简略间接的基于梯度的解释办法，通过计算输入对输出的梯度，失去输出对最终输入的“奉献”值，用于解释预测后果的要害特色根据。
对深度神经网络，这个梯度计算可通过后向流传算法取得，如下图所示：
Source：Understanding models via visualizations and attribution
注：Gradient 解释办法会遇到梯度饱和问题，即某个特色的奉献一旦达到饱和后，因为该特色不再对后果的变动产生影响，会导致该特色的梯度为 0 而出错。
Gradient 解释成果如下图所示：
注：所有解释成果图片均来源于 MindInsight 截图
从下面 2 张图中能够看出，Gradient 的解释后果可了解性较差，显著图高亮区域成散点状，没有清晰明确的特色区域定位，很难从中获取到预测后果的具体特色根据。
6.2 GradCAM 解释办法
GradCAM，是 Gradient-weighted Class Activation Mapping 的简写，个别翻译为：加权梯度的类激活映射，是一种基于梯度的解释办法；该解释办法通过对某一层网络各通道激活图进行加权 (权重由梯度计算失去)，失去影响预测分类后果的要害特色区域。
GradCAM 解释后果过程的概览，如下图：
Source：Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
这里给出 2 个理论的例子，来看看 GradCAM 具体的解释成果：
能够看到 GradCAM 的解释后果定位性和可了解性比拟好，高亮区域集中在具体的特色上，用户能够通过高亮区域判断出和预测后果相干的特色。对于标签“路牌”，图像中的路牌被高亮，对于标签“飞机”，图像中的飞机被高亮，即 GradCAM 认为路牌区域和飞机区域是 2 个分类后果的次要根据。
6.3 RISE 解释办法
RISE，是 Randomized Input Sampling for Explanation 的简写，即基于随机输出采样的解释，是一种基于扰动的解释，与模型无关；次要原理：应用蒙特卡洛采样产生多个掩码，而后对随机掩码进行加权（权重为遮掩后的模型的输入）均匀失去最终显著图。
RISE 办法解释过程的概览图，如下：
Source：RISE: Randomized Input Sampling for Explanation of Black-box Models
同样给出 2 个示例，展现下解释成果：
RISE 采纳遮掩的办法失去与分类后果相干的特色区域，解释后果的可了解性和定位性不错，和 GradCAM 相似，RISE 精确地高亮了路牌区域和飞机区域。
7、MindSpore 解释办法如何解释图片分类模型？
在理论利用中，下面介绍的 3 种解释办法的解释成果如何呢？依据预测后果和解释的有效性，咱们将解释后果分为 3 类，并别离找几个典型的例子来看看理论的成果。
阐明：上面所有示例图中的解释后果，都是 MindSpore 的 MindInsight 部件中的模型解释个性展示进去的。
7.1 预测后果正确，根据的要害特色正当的例子
例 7.1.1：上图预测标签是“bird”，左边给出根据的要害特色在鸟身上，阐明这个分类判断根据是正当的。
例 7.1.2：上图预测标签是“bicycle”，左边解释的时候，将自行车车轮高亮，这个要害特色同样较为正当。
7.2 预测后果正确，但给出的要害特色根据可能是谬误的例子
例 7.2.1：原图中，有人，在预测标签中有 1 个标签是“person”，这个后果是对的；然而抉择“person”标签，在查看左边解释的时候，能够看到高亮区域在马头上，那么这个要害特色根据很可能是谬误的。
例 7.2.2：原图中，有一只鸟，预测后果“bird”是对的，然而左边解释的时候，高亮区域在树枝和树叶上，而不是鸟的身上，这个根据也很可能是错的。
例 7.2.3：上图中，有 1 艘小艇，有个标签是“boat”，这个没错。不过在左边针对标签“boat”的解释，高亮区域却在人身上，这个偏差有点大。
仔细分析下面的 3 个例子，这种高亮标识进去作为分类根据的要害特色，呈现谬误的状况，个别呈现在图像中存在多指标的场景中。依据调优教训，往往是因为在训练过程中，这些特色常常与指标对象独特呈现，导致模型在学习过程中，谬误将这些特色辨认为要害特色。
7.3 预测后果谬误，联合根据的要害特征分析错因的例子
例 7.3.1：在上图中，有个预测标签为“boat”，然而原始图像中并没有船只存在，通过图中右侧对于标签“boat”的解释后果能够看到模型将水面作为分类的要害根据，失去预测后果“boat”，这个根据是谬误的。通过对训练数据集中标签为“boat”的数据子集进行剖析，发现绝大部分标签为“boat”的图片中，都有水面，这很可能导致模型训练的时候，误将水面作为“boat”类型的要害根据。基于此，按比例补充有船没有水面的图片集，从而大幅消减模型学习的时候误判要害特色的概率。
例 7.3.2：图中有一个分类预测后果是“aeroplane”，但图中并没有飞机。从标签“aeroplane”的解释后果看，高亮区域在鹰的身上。关上飞机相干的训练数据子集，发现很多状况下训练图片中飞机都是远处指标，与老鹰展翅滑翔很像，猜想可能是这种起因导致模型推理的时候，误将老鹰当做飞机了。模型优化的时候，能够思考减少老鹰滑翔的图片比例，晋升模型的辨别和分别能力，进步分类准确率。
例 7.3.3：这个例子中，有个预测标签是“person”，认真看图中没有人。依据标签“person”的解释后果，高亮区域在摩托车的前部；在原图中，乍一看，还真像一个人趴着；猜想是分类模型推理的时候，误将这部分当做人了。
8、如何部署和应用 MindSpore 解释办法？
在 MindSpore 官网的模型解释教程中，具体介绍了如何部署和应用 MindSpore 提供的解释办法，链接请见：
https://www.mindspore.cn/tutorial/training/zh-CN/r1.1/advanced_use/model_explaination.html
上面，对部署和应用办法，做简要介绍：
先应用脚本调用 MindSpore 提供的 python API 进行解释后果的生成和收集，而后启动 MindInsight 对这些后果进行展现，整体流程如下图：
具体步骤如下：
8.1 筹备脚本
通过调用解释办法 Python API 对模型预测后果进行解释，已提供的解释办法能够在 mindspore.explainer.explanation 包中获取。用户筹备好待解释的黑盒模型和数据，在脚本中依据须要实例化解释办法，调用 API 用于收集解释后果。
MindSpore 还提供 mindspore.explainer.ImageClassificationRunner 接口，反对自动化运行所有解释办法。用户当时将实例化的解释办法进行注册，即可在该接口调用后主动运行解释办法，生成及保留蕴含解释后果的解释日志。
上面以 ResNet50 为例，介绍如何初始化 explanation 中解释办法，调用 ImageClassificationRunner 进行解释。其样例代码如下：
8.2 应用 MindInsight 进行后果展现
8.2.1 启动 MindInsight
启动 MindInsight 零碎，在顶部抉择进入“模型解释”模块。能够看到所有的解释日志门路，当日志满足条件时，操作列会有“显著图可视化”的性能入口。
8.2.2 各项性能介绍
显著图可视化用于展现对模型预测后果影响最为显著的图片区域，通常高亮局部可视为图片被标记为指标分类的要害特色。
进入显著图可视化界面，如上图，会展示：
· 用户通过 Dataset 的 Python API 接口设置的指标数据集。
· 实在标签、预测标签，以及模型对对应标签的预测概率。依据具体情况，零碎会在对应标签的左上角减少 TP，FP，FN（含意见界面提示信息）的旗标。
· 选中的解释办法给出的显著图。
界面操作介绍：
1. 通过界面上方的解释办法勾选须要的解释办法；
2. 通过切换界面右上方的“叠加于原图”按钮，能够抉择让显著图叠加于原图上显示；
3. 点击不同标签，显示对不同标签的显著图剖析后果，对于不同的分类后果，通常根据的要害特色区域也是不同的；
4. 通过界面上方的标签筛选性能，筛选出指定标签图片；
5. 通过界面右上角的图片排序扭转图片显示的程序；
6. 点击图片可查看放大图。
点击关注，第一工夫理解华为云陈腐技术~
