随着人工智能的倒退为了解决具备挑战性的问题，人们发明了更简单、更不通明的模型。AI就像一个黑匣子，能本人做出决定，然而人们并不分明其中原因。建设一个AI模型，输出数据，而后再输入后果，但有一个问题就是咱们不能解释AI为何会得出这样的论断。须要理解AI如何得出某个论断背地的起因，而不是仅仅承受一个在没有上下文或解释的状况下输入的后果。

可解释性旨在帮忙人们了解：

  • 如何学习的?
  • 学到了什么?
  • 针对一个特定输出为什么会做出如此决策?
  • 决策是否牢靠?

在本文中，我将介绍6个用于可解释性的Python框架。

SHAP

SHapley Additive explanation (SHapley Additive explanation)是一种解释任何机器学习模型输入的博弈论办法。它利用博弈论中的经典Shapley值及其相干扩大将最优信贷调配与部分解释分割起来(详见论文的细节和援用)。

数据集中每个特色对模型预测的奉献由Shapley值解释。Lundberg和Lee的SHAP算法最后发表于2017年，这个算法被社区在许多不同的畛域宽泛采纳。

应用pip或conda装置shap库。

# install with pippip install shap# install with condaconda install -c conda-forge shap

应用Shap库构建瀑布图

应用Shap库构建Beeswarm图

应用Shap库构建局部依赖图

LIME

在可解释性畛域，最早闻名的办法之一是LIME。它能够帮忙解释机器学习模型正在学习什么以及为什么他们以某种形式预测。Lime目前反对对表格的数据，文本分类器和图像分类器的解释。

晓得为什么模型会以这种形式进行预测对于调整算法是至关重要的。借助LIME的解释，可能了解为什么模型以这种形式运行。如果模型没有依照打算运行，那么很可能在数据筹备阶段就犯了谬误。

应用pip装置

pip install lime

LIME 构建的部分解释图

LIME构建的Beeswarm 图

Shapash

“ Shapash是一个使机器学习对每个人都能够进行解释和了解Python库。Shapash提供了几种类型的可视化，显示了每个人都能了解的明确标签。数据科学家能够更轻松地了解他们的模型并分享后果。最终用户能够应用最规范的摘要来了解模型是如何做出判断的。”

为了表白数据中蕴含故事、见解和模型的发现，互动性和丑陋的图表必不可少。业务和数据科学家/分析师向AI/ML后果展现和互动的最佳办法是将其可视化并且放到web中。Shapash库能够生成交互式仪表盘，并收集了许多可视化图表。与形状/石灰解释性无关。它能够应用SHAP/Lime作为后端，也就是说他只提供了更好看的图表。

应用Shapash构建特色奉献图

应用Shapash库创立的交互式仪表板

应用Shapash构建的部分解释图

InterpretML

InterpretML是一个开源的Python包，它向钻研人员提供机器学习可解释性算法。InterpretML反对训练可解释模型(glassbox)，以及解释现有的ML管道(blackbox)。

InterpretML展现了两种类型的可解释性：glassbox模型——为可解释性设计的机器学习模型(如:线性模型、规定列表、狭义可加模型)和黑箱可解释性技术——用于解释现有零碎(如:局部依赖，LIME)。应用对立的API并封装多种办法，领有内置的、可扩大的可视化平台，该包使钻研人员可能轻松地比拟可解释性算法。InterpretML还包含了explanation Boosting Machine的第一个实现，这是一个弱小的、可解释的、glassbox模型，能够像许多黑箱模型一样准确。

应用InterpretML构建的部分解释交互式图

应用InterpretML构建的全局解释图

ELI5

ELI5是一个能够帮忙调试机器学习分类器并解释它们的预测的Python库。目前反对以下机器学习框架:

  • scikit-learn
  • XGBoost、LightGBM CatBoost
  • Keras

ELI5有两种次要的办法来解释分类或回归模型:

  • 查看模型参数并阐明模型是如何全局工作的;
  • 查看模型的单个预测并阐明什么模型会做出这样的决定。

应用ELI5库生成全局权值

应用ELI5库生成部分权重

OmniXAI

OmniXAI (Omni explained AI的简称)，是Salesforce最近开发并开源的Python库。它提供全方位可解释的人工智能和可解释的机器学习能力来解决实际中机器学习模型在产生中须要判断的几个问题。对于须要在ML过程的各个阶段解释各种类型的数据、模型和解释技术的数据科学家、ML钻研人员，OmniXAI心愿提供一个一站式的综合库，使可解释的AI变得简略。

以下是OmniXAI提供的与其余相似库的比照

https://avoid.overfit.cn/post/1d08a70ed36a41a481d9f2a66b01971a

作者：Moez Ali