谷歌云 AI 平台整合 what-if 工具

阅读数:1745 2019 年 8 月 6 日 08:00

谷歌云 AI 平台整合 what-if 工具

近日,谷歌宣布其云AI 平台整合 What-If 工具。这是一个基于代码的数据科学开发环境,允许数据科学家在他们的人工智能平台上分析模型。现在, 客户可以把 What-If 工具用于部署在 AI 平台上的 XGBoost 和 Scikit Learn 模型。

去年,谷歌的 TensorFlow 团队推出了 What-If 工具,这是一个交互式的可视化接口,旨在帮助数据科学家可视化他们的数据集,更好地理解 TensorFlow 模型的输出。现在,这个工具已不再局限于 TensorFlow,它开始支持 XGBoost 和 Scikit Learn 模型。数据科学家可以通过 AI 平台笔记本、Colab 笔记本或本地的 Jupyter 笔记本来使用这个新集成的工具。

通过这个工具,数据科学家无需编写任何代码就可以调整各种数据点,并分析模型的执行过程。同时,他们还可以在同一数据集上同时测试两个不同的人工智能模型的性能,他们也可以检查单个数据点或整个数据集切片,从而进行更深程度地对比和比较。此外,他们还可以:

  • 使用 Facets Dive 函数来对比同一数据集上不同人工智能模型的性能表现,并创建自定义的可视化
  • 通过将推理结果组织成混淆矩阵、散点图或柱状图来检查单个模型的性能
  • 通过添加或删除特征来编辑数据点,以运行对 AI 模型性能的健壮测试

谷歌云 AI 平台整合 what-if 工具

谷歌决策智能实验室的负责人 Cassie Kozyrkov 在她的博客(towardsdatascience)中写道:

尽管 What-If 工具不是为初学者设计的(你需要了解一些基本的知识,而且最好不要把它当作 Python 或笔记本的入门练习),但对于实践分析师和机器学习工程师来说,它是一个了不起的加速器。

为了使用这种新的集成,数据科学家首先需要通过 gcloud CLI 进行训练,然后将模型部署到谷歌云 AI 平台上。接下来,数据科学家可以通过设置一个 WitConfigBuilder 对象在 What-If 工具中查看它在一个数据集上的性能。

复制代码
config_builder=(WitConfigBuilder(test_examples)
.set_ai_platform_model('your-gcp-project','gcp-model-name','model-version')
.set_target_feature('thing-to-predict')
WitWidget(config_builder)

所有测试样本都是模型所期望的格式,无论是 JSON 字典列表、JSON 列表还是包括真值(ground truth)标签的 tf.Emample protos 。这些样本可以让我们探索不同特征对模型预测的影响。

数据科学家看到的第一个视图是数据点编辑器(Datapoint Editor),它显示所提供数据集的所有样本以及通过模型进行预测的结果。此外,通过主面板中的这个编辑器,数据科学家可以更改关于数据点的任何内容,并通过模型重新运行它,来查看这些更改是如何影响预测结果的。

谷歌云 AI 平台整合 what-if 工具

而通过下一个选项卡 Performance + Fairness,数据科学家可以查看整个数据集的聚合模型结果。此外,谷歌云平台的开发者 Sara Robinson 在博客中写道:

你可以通过特征对数据集进行切片,并在这些数据切片之间进行性能比较,确定模型表现最好或最差的数据子集,这对机器学习的公平性调查非常有帮助。

最后,更多关于 What-If 工具功能的内容可参考入门指南技术文档

原文链接:

Google Adds New Integrations for the What-If Tool on Their Cloud AI Platform

评论

发布