原文:
www.kdnuggets.com/2020/11/dalex-explain-tensorflow-model.html
评论
作者 Hubert Baniecki,MI2DataLab 的研究软件工程师。
我将展示如何使用 tensorflow 预测模型,并利用 dalex Python 包进行解释。这一主题的介绍可以在 解释模型分析:探索、解释和检查预测模型 中找到。
对于这个示例,我们将使用 世界幸福报告 的数据,并预测任何给定国家根据经济生产、社会支持等的幸福评分。
数据来源于世界幸福报告 (Kaggle.com)。
首先训练基础的 tensorflow 模型,并加入实验归一化层以获得更好的拟合。
下一步是创建一个 dalex 解释器对象,该对象以模型和数据作为输入。
现在,我们准备通过各种方法来解释模型:模型级别的方法解释全球行为,而预测级别的方法则专注于数据中的单个观察。我们可以从评估模型性能开始。
幸福回归任务的模型性能。
哪些特征最重要?让我们对比两种方法,其中一种在 shap 包中实现。
对比两种特征重要性方法,其中一种在 shap 包中实现。
变量与预测之间的连续关系是什么?我们使用部分依赖分析,指出并非总是越多越好。
部分依赖分析(Partial Dependence profiles)展示了变量与预测之间的连续关系。
残差如何?这些图表对于可视化模型错误的地方非常有用。
残差诊断可以帮助评估我们模型的弱点。
对于特定国家的变量归因,可以更加好奇,
对波兰的变量归因。
或多个国家进行比较结果。
多个国家的变量归因。
如果你对替代逼近感兴趣,可以通过统一接口生成lime包的解释。
替代逼近 - 来自 lime 包的解释。
最后,如果需要一个可解释的模型,我们可以用易于理解的决策树来逼近黑箱模型。
基于黑箱模型预测值训练的决策树。
我希望这段旅程给你带来了一些快乐,因为如今解释预测模型变得更加易于访问和用户友好。当然,在 dalex 工具包中还有更多的解释、结果和图示。我们准备了各种资源,列在 包的 README 中。
这部分的代码可以在 dalex.drwhy.ai/python-dalex-tensorflow.html
找到。
pip install tensorflow dalex shap statsmodels lime scikit-learn
:)
原文。已获许可转载。
简介: Hubert Baniecki 是一名研究软件工程师,开发用于可解释 AI 的 R 和 Python 工具,并在解释性和人机交互的背景下研究机器学习。
相关:
1. 谷歌网络安全证书 - 快速进入网络安全职业轨道
2. 谷歌数据分析专业证书 - 提升你的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持你的组织 IT 方面的工作