Google 开源机器学习工作流 Kubeflow Pipelines,推出 AI Hub

阅读数:754 2018 年 11 月 9 日 15:48

Google开源机器学习工作流Kubeflow Pipelines,推出AI Hub

AI 前线导读: 今天,Google Cloud 宣布推出了即插即用的机器学习一站式平台 AI Hub,并开源机器学习工作流 Kubeflow Pipelines,为机器学习知识和人才稀缺的企业和组织带来更多拓展 AI 成果的可能性。

无论是服装制造供应链还是电子商务,人工智能都带来了革命性的变化,各行各业的企业也越来越多地转向人工智能推动其发展。然而,对于许多企业来说,AI 的复杂性令人生畏。

我们的目标是将 AI 用于所有业务范围之内,这样做意味着需要降低使用门槛。这就是为什么我们在构建所有人工智能产品时坚持三个原则:让它们变得简单,以便更多的企业可以采用;让它们变得普适;让它们变得快速,这样企业就可以更快地迭代并取得成功。

今年早些时候,我们宣布推出 AutoML,帮助机器学习知识和专业知识有限的企业建立自己的定制化机器学习模型。我们为企业提供资源,如高级解决方案实验室,让谷歌的机器学习工程师亲自进行现场协作。所有这些都有助于促进企业对 AI 的采用。迄今为止,我们的人工智能服务在许多不同行业拥有超过 15,000 名付费客户。

我们实现让 AI 更快、更简单和更有用的另一个方法,是帮助数据科学家提高效率。尽管全球约有 2000 万开发人员,但数据科学家人才却仅有 200 万。他们需要可以帮助他们扩展工作成果的工具,组织需要更多的方法将工作成果分享给开发人员和工程师。今天,我们宣布谷歌的 AI 产品组合,又增加了几款新产品。

AI Hub,让 AI 更简单

将 AI 应用于更多业务范围意味着要让企业更容易发现、共享和重用现有工具和工作成果。但直到现在,机器学习知识和人才的稀缺使得建立综合性的资源面临着挑战。今天,我们推出了 AI Hub 来满足这种需求。

AI Hub 是即插即用的机器学习一站式平台,包括管道、Jupyter Notebook、TensorFlow 模块等。它有两个显著的好处:首先,Google Cloud AI、Google Research 以及谷歌其他团队开发的高质量机器学习资源可供所有企业公开使用;第二,它提供了一个私有的安全中心,只需几个步骤,企业就可以在自己的组织中上传和共享机器学习资源,这使得企业可以轻松地重复使用管道,并使用 Kubeflow 管道系统将其部署到 GCP 生产或混合基础架构中。

在 Alpha 版本中,AI Hub 将提供由 Google 开发的资源和私有共享控制功能,其测试版将扩展到更多资源类型和更广泛的公共内容,包括合作伙伴解决方案。

Kubeflow Pipelines、视频 API 更新,让 AI 更有用

仅仅为组织提供一个可以发现、共享和重用机器学习资源的平台是不够的,他们还需要一种方法来构建和打包,以便尽可能地在内部最大程度地利用这些资源。这就是我们推出 Kubeflow Pipelines 的原因。

Kubeflow Pipelines 是 Kubeflow 的一个新组件,而 Kubeflow 是由 Google 发起的一个非常受欢迎的开源项目,它将机器学习代码像构建应用程序一样打包,以便整个组织中的其他用户都可以重复使用。Kubeflow Pipelines 提供了一个工作台,来组合、部署和管理可重复使用的端到端机器学习工作流程,使其成为从原型设计到实际生产环境的无锁定混合解决方案。它还可以让实验过程更加快速可靠,因此用户可以尝试使用许多机器学习技术以找到最适合自己的应用的方法。

Google开源机器学习工作流Kubeflow Pipelines,推出AI Hub

公平是我们的 AI 指导原则之一,也是我们与机器学习云端客户达成的共识之一。Kubeflow Pipelines 可以帮助他们使用 Google 的 TensorFlow Extended(TFX)开源库来解决生产机器学习问题,例如模型分析、数据验证、训练服务偏差、数据漂移等。这提高了业务成果的准确性、相关性和公平性。

访问 Kubeflow Pipelines GitHub 地址

我们对 AI 开发模块的功能也做了更多扩展,包括 Cloud Video API 中三个新功能的 beta 版本,它解决了大量使用视频的企业面临的共同挑战。目前,文本检测功能可以确定文本在视频中显示的位置和时间,使视频更易于搜索,并且支持 50 多种语言。对象跟踪可以识别视频中超过 500 类对象。视频语音转录可以转录音频,轻松创建字幕和副标题,以及增强内容的可搜索性。

此处可以了解更多有关 AI 开发模块的信息。

Cloud TPU 更新,让 AI 更快速

通过 Tensor Processing Units(TPU),AI 计算上的障碍正在消除。这些由 Google 设计的用于机器学习工作负载的定制 ASIC 芯片极大地加速了机器学习任务,而且现在已经可以通过云轻松访问。

7 月份,我们发布了第二代 TPU,包括免费用户在内的谷歌 Cloud 用户都可以使用。10 月,我们又发布了第三代液冷 Cloud TPU 测试版,并且在 Google Cloud 上提供对 PyTorch 的支持,很快也会支持在 TPU 上使用 PyTorch。今天,我们公布了 V2 TPU Pod 的定价

所有这些更新旨在使计算密集型的机器学习更快,更便于全球企业使用。点击这里了解有关 TPU 的更多信息。

展望

在过去的几个月里,我们听到许多客户反馈,AI 成功地解决了他们独特的业务挑战。

Meredith Corporation 是一家媒体公司,它使用机器学习来自动执行内容分类,并使用 Cloud AutoML 和 Natural Language 应用自定义通用分类方法。机器学习能够使内容分类更具可重复性和可扩展性,从而节省时间并改善读者体验。

埃默里大学将临床数据、机器学习和 GCP 的可扩展基础设施相结合,开发了一种败血症预测引擎,该引擎使用实时分析,为潜在风险患者提供更好的护理,同时控制了医疗成本。

Geotab 使用 BigQuery ML 和 BigQuery GIS 来预测芝加哥潜在的危险驾驶区域,改善数据驱动决策,推动智能城市计划。

我们也很高兴看到 Kubeflow 社区的持续增长。英伟达、思科和英特尔等都是这个开源项目的贡献者,并与我们密切合作,采用 Kubeflow Pipelines。英伟达已经开始将新的开源数据科学库 RAPIDS 集成到 Kubeflow 中,RAPIDS 库利用 GPU 让数据预处理和机器学习实现了数量级的加速,是对 Kubeflow 的完美补充。

我们将继续与客户和合作伙伴密切合作,以了解他们的业务挑战以及如何应用 AI 来解决这些挑战。了解更多 Google Cloud 上的 AI 和机器学习功能,请访问 https://cloud.google.com/products/ai/

原文链接: https://cloud.google.com/blog/products/ai-machine-learning/introducing-ai-hub-and-kubeflow-pipelines-making-ai-simpler-faster-and-more-useful-for-businesses

评论

发布