写点什么

为什么机器学习模型会失败?

  • 2021-11-24
  • 本文字数:4791 字

    阅读完需:约 16 分钟

为什么机器学习模型会失败?

本文最初发表于 Towards Data Science 博客,经原作者 Delgado Panadero 授权,InfoQ 中文站翻译并分享。


本文通过一个真实的例子,分析了模型选择不当还是训练数据噪声导致了模型性能不佳。

前言

在机器学习中,当你建立和训练一个模型并检验其准确性时,一个最常见的问题就是“准确性是我能从数据中得到的最好的,还是能找到一个更好的模型呢?”


此外,一旦模型被部署,下一个常见的问题就是“为什么模型会失败?”。有时候,这两个问题都无法回答,但有时我们可以通过研究模型误差的统计分布,找出预处理错误、模型偏差,以及数据泄露等。


在本教程中,我们将解释并演示如何统计分析模型结果,以找出示例中错误的原因。

业务案例

在这个案例中,我们将使用来自 Driven Data 竞赛的数据,通过一系列社会经济变量来预测一个民族是否处于贫困状态。


这个业务案例的价值不仅在于能够用机器学习模型来预测贫困状况,而且还在于通过社会经济变量对衡量贫困状态的预测程度,并从特征上分析原因。

模型训练

数据由一组九个描述性变量组成,其中四个是类别变量,另外五个是数值变量(但其中一个似乎是一个 id,所以我们将舍弃它)。


import pandas as pd
pd.set_option('display.max_columns', None)train = pd.read_csv('train.csv', index_col='id')print(train)
复制代码


返回结果如下:


Unnamed: 0 kjkrfgld bpowgknt raksnhjf vwpsxrgk  omtioxzz  yfmzwkruid                                                                          29252  2225    KfoTG    zPfZR    DtMvg      NaN      12.0      -3.0   98286  1598    ljBjd    THHLT    DtMvg    esAQH      21.0      -2.0   49040  7896    Lsuai    zPfZR    zeYAm    ZCIYy      12.0      -3.0   35261  1458    KfoTG    mDadf    zeYAm    ZCIYy      12.0      -1.0   98833  1817    KfoTG    THHLT    DtMvg    ARuYG      21.0      -4.0   
tiwrsloh weioazcf poor id 29252 -1.0 0.5 False 98286 -5.0 -9.5 True 49040 -5.0 -9.5 True 35261 -5.0 -9.5 False 98833 -5.0 -9.5 True
复制代码


数据分布可以在下面看到:



图由作者提供。数据集中所有特征的配对图,以目标为颜色。黄色块代表 False,紫色块表示 True。


通过某些预处理(NaN 值插补、缩放、分类编码等等),我们将对一个支持向量机模型进行训练(通常在独热编码的高维数据中工作良好)。

支持向量机

from sklearn.pipeline import Pipelinefrom sklearn.preprocessing import RobustScalerfrom sklearn.neighbors import KNeighborsClassifier
model = Pipeline(steps=preprocess+[ ('scaler', RobustScaler()), ('estimator', KNeighborsClassifier(n_neighbors=5))])
model.fit(X_train, y_train)y_pred = model.predict(X_test)print(classification_report(y_test,y_pred))`
复制代码


返回结果如下:


precision    recall  f1-score   support
False 0.73 0.77 0.75 891 True 0.70 0.66 0.68 750
accuracy 0.72 1641 macro avg 0.72 0.71 0.71 1641weighted avg 0.72 0.72 0.72 1641
复制代码


就二元分类问题而言,0.72 的准确率并不高。相比之下,召回率和查准率看起来是平衡的,这使得我们认为,这个模型不是一个有利于任何类别的先验偏见。

测试其他模型

想要改进这个模型,下一步就是尝试其他机器学习模型和超参数,看看我们是否找到任何可以提高性能的配置(甚至只是检查性能是否保持稳定)。


在不同的函数族集中,我们将使用另外两个模型。KNN 模型,对于学习局部模型的影响是一个很好的选择,还有梯度提升树,它也是机器学习中容量最大的模型之一。

KNN

from sklearn.pipeline import Pipelinefrom sklearn.preprocessing import RobustScalerfrom sklearn.neighbors import KNeighborsClassifier
model = Pipeline(steps=preprocess+[ ('scaler', RobustScaler()), ('estimator', KNeighborsClassifier(n_neighbors=5))])
model.fit(X_train, y_train)y_pred = model.predict(X_test)print(classification_report(y_test,y_pred))
复制代码


返回结果如下:


precision    recall  f1-score   support
False 0.71 0.74 0.72 891 True 0.67 0.63 0.65 750
accuracy 0.69 1641 macro avg 0.69 0.69 0.69 1641weighted avg 0.69 0.69 0.69 1641
复制代码

梯度提升

from sklearn.pipeline import Pipelinefrom sklearn.ensemble import GradientBoostingClassifier
model = Pipeline(steps=preprocess+[ ('estimator', GradientBoostingClassifier(max_depth=5, n_estimators=100))])
model.fit(X_train, y_train)y_pred = model.predict(X_test)print(classification_report(y_test,y_pred))
复制代码


返回结果如下:


precision    recall  f1-score   support
False 0.76 0.78 0.77 891 True 0.73 0.70 0.72 750
accuracy 0.74 1641 macro avg 0.74 0.74 0.74 1641weighted avg 0.74 0.74 0.74 1641
复制代码


我们可以看到,其他两个模型的表现似乎都非常相似。这就提出了以下问题:


这就是我们用机器学习模型所能预测的最好结果吗?

模型预测分布

除了检查性能的一般指标外,分析模型的输出分布也很重要。不但要检查测试数据集的分布,也要检查训练数据集的分布。这是因为我们不想看到模型的表现,而是想看看它是否也学会了如何分割训练数据。


import matplotlib.pyplot as plt
pd.DataFrame(model.predict_proba(X_train))[1].hist()plt.show()
复制代码



图由作者提供。对训练集进行评估的模型输出分布。


pd.DataFrame(model.predict_proba(X_test))[1].hist()plt.show()
复制代码



图由作者提供。对测试集进行评估的模型输出分布。


可见,预测为 0 的数量具有较高的峰值,这表示存在一个数据子集,模型非常确定它的标签是 0,除此之外,分布看起来比较均匀。


如果模型知道一定要区分这两个标签,分布会有两个峰值,一个在 0 附近,另一个在 1 附近。因此,我们可以看到,模型并没有正确地学习模式来区分数据。

偏差分布

我们已经看到,该模型还没有学会明确地区分这两个类别,但我们还没有看到它是否在不自信的情况下也能猜到预测结果,还是一直失败。


此外,重要的是要检查模型是否更倾向于一类或另一类的失败。为检验这两个方面,我们可以绘制预测值与目标值偏差的分布图:


train_proba = model.predict_proba(X_train)[:,1]pd.DataFrame(train_proba-y_train.astype(int)).hist(bins=50)plt.show()
复制代码



图由作者提供。通过训练集评估的模型置信度输出与基准真相的偏差。


test_proba = model.predict_proba(X_test)[:,1]pd.DataFrame(test_proba-y_test.astype(int)).hist(bins=50)plt.show()
复制代码



图由作者提供。通过测试集评估的模型置信度输出与基准真相的偏差。


从这两张图中,我们可以看到,偏差分布似乎是对称的,并且以零点为中心。差距只是在零点,因为模型从来没有返回 0 和 1 的准确值,所以我们不必担心这个问题。


如果模型的误差来自于训练数据的统计/测量噪声误差,而不是偏置误差,则我们会期望偏差分布遵循高斯分布。


这一分布与高斯分布相似,在零点处有一个较高的峰值,但这个峰值可能是因为模型预测的零点数量较多(也就是说,模型已经学会了一种模式来区分 0 和 1 类别的子集)。

验证正态性

由于训练数据中存在的统计噪声,我们必须确保模型预测的偏差符合高斯分布,然后才能证明其偏差。


import scipy
scipy.stats.normaltest(train_proba-y_train.astype(int))
复制代码


返回结果如下:


NormaltestResult(statistic=15.602215177113427, pvalue=0.00040928141243470884)
复制代码


当 P-value=0.0004 时,我们可以假设预测与目标的偏差遵循高斯分布,这样从训练数据中的噪声导致模型误差的理论是合理的。

模型可解释性

如前所述,这一业务案例的目的不仅仅是要预测模型发生的原因,还包括与之相关的社会经济变量。


可解释的模型不仅能预测未见过的数据,还能让你了解特征如何影响模型(全局可解释性),以及为什么某些预测会如此(局部可解释性)。


尽管如此,一个模型的可解释性仍然可以帮助我们理解为什么它能做出预测,以及为什么它会失败。从梯度提升模型中,我们可以提取全局可解释性如下:


cols = X_train.columnsvals= dict(model.steps)['estimator'].feature_importances_
plt.figure()plt.bar(cols, vals)plt.show()
复制代码



图由作者提供。梯度提升特征输入。


接下来,我们将进行相同的特征重要性分析,但是只对数据的一个子集进行训练。具体地说,我们将只使用明显为零的数据(那些模型之前明确预测为零的数据)来训练模型的零类别。


zero_mask = model.predict_proba(X_train)[:,1]<=0.1one_mask = y_train==1mask = np.logical_or(zero_mask,one_mask)X_train = X_train.loc[mask,:]y_train = y_train.loc[mask]model.fit(X_train,y_train)
复制代码


现在特征的重要性是:



图由作者提供。在模型表现最好的训练集子样本上训练的梯度提升特征导入。


我们可以看到,现在,tiwrslohyfmzwkru 这两个变量的重要性增加了,而 vwpsxrgk 的数值却下降了。这意味着,拥有一个子集的人口显然不是穷人(类别 0),可以通过这两个变量从穷人的变量和 vwpsxrgk 在许多情况下可能很重要,但不具备决定性。


如果我们绘制这两个特征的过滤值,我们可以看到:



图由作者提供,对模型明确检测到非贫困的特征区域进行分割并表征。


对于这两个特征,模型已经学会了区分两个类别,同时,对于这些变量的其他值,在整个数据集中,类别 0 和类别 1 是混合的,所以不能明确区分。


我们还可以从前面的图表中找出一个明显的非贫困人口子集的特征,即 tiwrsloh<0yfmzwkru<-2 的人。

总结

我们分析了在给定的数据集中检测贫困的问题,并在给定的社会经济数据中分析其原因,发现贫困并不容易预测,但是,我们可以对某些特定数据进行定义,以明确确定人们的贫困状况:tiwrsloh<0yfmzwkru<-2


我们尝试了许多不同的模型和配置,在 0.75 的时候性能就会处于平稳状态。通过这一点,再加上模型预测和误差偏差分布的统计学性质,我们可以得出结论,问题在于缺乏从训练数据中预测目标的能力。所以不可能建立一个更好的模型。

我们学到了什么?

我们用一个真实的例子解决了模型不能得到足够好的结果的问题。在这种情况下,我们的目标是尝试了解模型无法理解的问题是在数据中还是在模型中。


回答这一问题的过程是:


  1. 尝试不同的函数族模型和超参数,并确认所有的下降在性能上处于平稳状态。

  2. 为得到最好的解释,计算模型的输出分布和目标的偏差分布。如果数据是问题所在,则输出必须是均匀的,并且偏差必须遵循高斯分布。

  3. 尽管数据是问题所在,但试着从模型输出和偏差分布中找到一个模型表现良好的区域。尝试对这个区域进行分割和定性,例如,用这个子集重新训练模型,并提取其可解释性。

  4. 此外,在表征某些子集时,我们可以尝试从业务知识中思考,问题是来自数据的统计/测量噪音,还是来自缺乏预测因变量所需的一些特征值。


作者介绍:


Delgado Panadero,研究人工智能的物理学家。


原文链接:


https://towardsdatascience.com/my-ml-model-fails-why-is-it-the-data-d8fbfc50c254

2021-11-24 10:001849
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 535.7 次阅读, 收获喜欢 1977 次。

关注

评论

发布
暂无评论
发现更多内容

Sentieon | 每周文献-Agrigenomics(农业)-第四期

INSVAST

基因测序 基因数据分析

加速体细胞突变检测分析流程-系列2(ctDNA等高深度样本)

INSVAST

变异 基因测序 基因数据分析

国内哪家云桌面厂家比较靠谱

青椒云云电脑

云桌面 云桌面厂家

零信任体系化能力建设(4):应用安全与开发部署

权说安全

零信任

Sentieon安装时 jemalloc error 解决办法

INSVAST

代码 教程分享 基因

如何构建适合自己的DevOps软件测试改进方案

DevOps和数字孪生

DevOps

云桌面落地六大秘籍

青椒云云电脑

云桌面

低代码平台:开发应用程序的新革命

互联网工科生

软件开发 低代码 JNPF

iStat Menus for Mac(系统活动监控器) v6.71 (1221)中文

mac大玩家j

活动监控器 活动监测软件 系统监测工具

亿级月活的社交APP,陌陌如何做到3分钟定位故障?

TakinTalks稳定性社区

最佳卸载程序和清洁助手 App Cleaner & Uninstaller中文最新

胖墩儿不胖y

Mac软件 卸载工具 清理软件

Lightroom Classic 2023 mac中文激活版 照片处理软件lrc2023功能

mac

苹果mac Windows软件 Lightroom Classic 2023 lrc2023

什么是云桌面?

青椒云云电脑

桌面云 云桌面

数字货币代币交易所系统开发,区块链交易所源码搭建

V\TG【ch3nguang】

数字货币交易所系统搭建 区块链交易所开发

ASF 生成式工具指南

开源雨林

apache 社区 生成式AI 使用指南

Sentieon | 每周文献-Gene Editing(基因编辑)-第六期

INSVAST

数据分析 基因测序 基因编辑

Sentieon | 应用教程: 使用DNAscope对HiFi长读长数据进行胚系变异检测分析

INSVAST

教程分享 Hifi DNAscope

如何从用户视角搭建可观测体系?阿里云ECS业务团队的设计思路

TakinTalks稳定性社区

数据分析实战│时间序列预测

TiAmo

数据挖掘 算法 数据分析

云桌面办公的三个优点

青椒云云电脑

桌面云 云桌面

企业为什么喜欢云桌面办公?

青椒云云电脑

桌面云 云桌面

Sentieon实战:NGS肿瘤变异检测流程

INSVAST

基因测序 基因数据分析 NGS

Sentieon | 每周文献-Tumor Sequencing(肿瘤测序)-第三期

INSVAST

数据分析 基因测序 基因数据分析

体细胞突变检测分析流程-系列1( WES&Panel)

INSVAST

变异 基因测序

Sentieon | 每周文献-Epidemiology(流行病学)-第五期

INSVAST

基因测序 基因数据分析 流行病学

云桌面系统解决方案

青椒云云电脑

云桌面 云桌面解决方案

提高生产力的低代码开发工具

高端章鱼哥

软件开发 低代码 开发工具 JNPF

腾讯云升级发布新一代云数仓产品 CDW ClickHouse,万亿规模数据分析毫秒级响应

腾讯云大数据

数仓

基于静态编译构建微服务应用

阿里巴巴云原生

阿里云 云原生

链上交易所搬砖套利程式开发详情[源码搭建]

V\TG【ch3nguang】

交易所开发 套利

为什么机器学习模型会失败?_AI&大模型_elgado Panadero_InfoQ精选文章