关于人工智能:10个用于可解释AI的Python库

XAI 的指标是为模型的行为和决定提供有意义的解释，本文整顿了目前可能看到的 10 个用于可解释 AI 的 Python 库

XAI，Explainable AI 是指能够为人工智能（AI）决策过程和预测提供清晰易懂的解释的零碎或策略。XAI 的指标是为他们的行为和决策提供有意义的解释，这有助于减少信赖、提供问责制和模型决策的透明度。XAI 不仅限于解释，还以一种使推理更容易为用户提取和解释的形式进行 ML 试验。

在实践中，XAI 能够通过多种办法实现，例如应用特色重要性度量、可视化技术，或者通过构建实质上可解释的模型，例如决策树或线性回归模型。办法的抉择取决于所解决问题的类型和所需的可解释性程度。

AI 零碎被用于越来越多的应用程序，包含医疗保健、金融和刑事司法，在这些应用程序中，AI 对人们生存的潜在影响很大，并且理解做出了决定特定起因至关重要。因为这些畛域的谬误决策老本很高（危险很高），所以 XAI 变得越来越重要，因为即便是 AI 做出的决定也须要仔细检查其有效性和可解释性。

数据筹备：这个阶段包含数据的收集和解决。数据应该是高质量的、均衡的并且代表正在解决的事实问题。领有均衡的、有代表性的、洁净的数据能够缩小将来为放弃 AI 的可解释性而付出的致力。

模型训练：模型在筹备好的数据上进行训练，传统的机器学习模型或深度学习神经网络都能够。模型的抉择取决于要解决的问题和所需的可解释性程度。模型越简略就越容易解释后果，然而简略模型的性能并不会很高。

模型评估：抉择适当的评估办法和性能指标对于放弃模型的可解释性是必要的。在此阶段评估模型的可解释性也很重要，这样确保它可能为其预测提供有意义的解释。

解释生成：这能够应用各种技术来实现，例如特色重要性度量、可视化技术，或通过构建固有的可解释模型。

解释验证：验证模型生成的解释的准确性和完整性。这有助于确保解释是可信的。

部署和监控：XAI 的工作不会在模型创立和验证时完结。它须要在部署后进行继续的可解释性工作。在实在环境中进行监控，定期评估零碎的性能和可解释性十分重要。

SHAP 是一种博弈论办法，可用于解释任何机器学习模型的输入。它应用博弈论中的经典 Shapley 值及其相干扩大将最佳信用调配与本地解释分割起来。

LIME 是一种与模型无关的办法，它通过围绕特定预测在部分近似模型的行为来工作。LIME 试图解释机器学习模型在做什么。LIME 反对解释文本分类器、表格类数据或图像的分类器的个别预测。

ELI5 是一个 Python 包，它能够帮忙调试机器学习分类器并解释它们的预测。它提供了以下机器学习框架和包的反对:

scikit-learn：ELI5 能够解释 scikit-learn 线性分类器和回归器的权重和预测，能够将决策树打印为文本或 SVG，显示特色的重要性，并解释决策树和基于树集成的预测。ELI5 还能够了解 scikit-learn 中的文本处理程序，并相应地突出显示文本数据。
Keras - 通过 Grad-CAM 可视化解释图像分类器的预测。
XGBoost - 显示特色的重要性，解释 XGBClassifier, XGBRegressor 和 XGBoost . booster 的预测。
LightGBM - 显示特色的重要性，解释 LGBMClassifier 和 LGBMRegressor 的预测。
CatBoost：显示 CatBoostClassifier 和 CatBoostRegressor 的特色重要性。
lightning - 解释 lightning 分类器和回归器的权重和预测。
sklearn-crfsuite。ELI5 容许查看 sklearn_crfsuite.CRF 模型的权重。

根本用法：

Show_weights() 显示模型的所有权重，Show_prediction() 可用于查看模型的个体预测

ELI5 还实现了一些查看黑盒模型的算法:

TextExplainer 应用 LIME 算法解释任何文本分类器的预测。排列重要性法可用于计算黑盒预计器的特色重要性。

Shapash 提供了几种类型的可视化，能够更容易地了解模型。通过摘要来了解模型提出的决策。该我的项目由 MAIF 数据科学家开发。Shapash 次要通过一组杰出的可视化来解释模型。

Shapash 通过 web 应用程序机制工作，与 Jupyter/ipython 能够完满的联合。

 fromshapashimportSmartExplainer
 
 xpl=SmartExplainer(
     model=regressor,
     preprocessing=encoder, # Optional: compile step can use inverse_transform method
     features_dict=house_dict  # Optional parameter, dict specifies label for features name
 )
 
 xpl.compile(x=Xtest,
 y_pred=y_pred,
 y_target=ytest, # Optional: allows to display True Values vs Predicted Values
  )
 
 xpl.plot.contribution_plot("OverallQual")

Anchors 应用称为锚点的高精度规定解释简单模型的行为，代表部分的“充沛”预测条件。该算法能够无效地计算任何具备高概率保障的黑盒模型的解释。

Anchors 能够被看作为 LIME v2，其中 LIME 的一些限度 (例如不能为数据的不可见实例拟合模型) 曾经失去纠正。Anchors 应用部分区域，而不是每个独自的观察点。它在计算上比 SHAP 轻量，因而能够用于高维或大数据集。然而有些限度是标签只能是整数。

BreakDown 是一种能够用来解释线性模型预测的工具。它的工作原理是将模型的输入合成为每个输出特色的奉献。这个包中有两个次要办法。Explainer()和 Explanation()

 model=tree.DecisionTreeRegressor()
 model=model.fit(train_data,y=train_labels)
 
 #necessary imports
 frompyBreakDown.explainerimportExplainer
 frompyBreakDown.explanationimportExplanation
 
 #make explainer object
 exp=Explainer(clf=model, data=train_data, colnames=feature_names)
 
 #What do you want to be explained from the data (select an observation)
 explanation=exp.explain(observation=data[302,:],direction="up")

Interpret-Text 联合了社区为 NLP 模型开发的可解释性技术和用于查看后果的可视化面板。能够在多个最先进的解释器上运行试验，并对它们进行比拟剖析。这个工具包能够在每个标签上全局或在每个文档本地解释机器学习模型。

以下是此包中可用的解释器列表：

Classical Text Explainer——（默认：逻辑回归的词袋）
Unified Information Explainer
Introspective Rationale Explainer

它的益处是反对 CUDA，RNN 和 BERT 等模型。并且能够为文档中个性的重要性生成一个面板

 frominterpret_text.widgetimportExplanationDashboard
 frominterpret_text.explanation.explanationimport_create_local_explanation
 
 # create local explanation 
 local_explanantion=_create_local_explanation(
 classification=True,
 text_explanation=True,
 local_importance_values=feature_importance_values,
 method=name_of_model,
 model_task="classification",
 features=parsed_sentence_list,
 classes=list_of_classes,
 )
 # Dash it
 ExplanationDashboard(local_explanantion)

AI Explainbability 360 工具包是一个开源库，这个包是由 IBM 开发的，在他们的平台上宽泛应用。AI Explainability 360 蕴含一套全面的算法，涵盖了不同维度的解释以及代理解释性指标。

工具包联合了以下论文中的算法和指标：

Towards Robust Interpretability with Self-Explaining Neural Networks, 2018. ref
Boolean Decision Rules via Column Generation, 2018. ref
Explanations Based on the Missing: Towards Contrastive Explanations with Pertinent Negatives, 2018. ref
Improving Simple Models with Confidence Profiles, , 2018. ref
Efficient Data Representation by Selecting Prototypes with Importance Weights, 2019. ref
TED: Teaching AI to Explain Its Decisions, 2019. ref
Variational Inference of Disentangled Latent Concepts from Unlabeled Data, 2018. ref
Generating Contrastive Explanations with Monotonic Attribute Functions, 2019. ref
Generalized Linear Rule Models, 2019. ref

OmniXAI (Omni explable AI 的缩写)，解决了在实践中解释机器学习模型产生的判断的几个问题。

它是一个用于可解释 AI (XAI)的 Python 机器学习库，提供全方位的可解释 AI 和可解释机器学习性能，并可能解决实际中解释机器学习模型所做决策的许多痛点。OmniXAI 旨在成为一站式综合库，为数据科学家、ML 钻研人员和从业者提供可解释的 AI。

 fromomnixai.visualization.dashboardimportDashboard
 # Launch a dashboard for visualization
 dashboard=Dashboard(
    instances=test_instances,                        # The instances to explain
    local_explanations=local_explanations,           # Set the local explanations
    global_explanations=global_explanations,         # Set the global explanations
    prediction_explanations=prediction_explanations, # Set the prediction metrics
    class_names=class_names,                         # Set class names
    explainer=explainer                              # The created TabularExplainer for what if analysis
 )
 dashboard.show()

XAI 库由 The Institute for Ethical AI & ML 保护，它是依据 Responsible Machine Learning 的 8 条准则开发的。它仍处于 alpha 阶段因而请不要将其用于生产工作流程。

https://avoid.overfit.cn/post/3215f2fa39554363b983d07f642ce0cb

作者：Mandar Karhade,

关于人工智能:10个用于可解释AI的Python库

什么是 XAI？

可解释性实际的步骤

1、SHAP (SHapley Additive exPlanations)

2、LIME（Local Interpretable Model-agnostic Explanations）

3、Eli5

4、Shapash

5、Anchors

6、BreakDown

7、Interpret-Text

8、aix360 (AI Explainability 360)

9、OmniXAI

10、XAI (eXplainable AI)