最新发布《数智时代的AI人才粮仓模型解读白皮书(2024版)》,立即领取! 了解详情
写点什么

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成

Robbie Haertel & Bhupesh Chandra

  • 2020-12-10
  • 本文字数:1343 字

    阅读完需:约 4 分钟

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成

机器学习 (ML) 正在转变企业业务运营以及人们的生活方式。无论是查找共乘同伴、推荐产品或者播放列表、识别图像中的对象,还是优化市场营销活动,ML 和预测是这些体验的核心所在。AIPlatform 旨在提供一个世界级的企业就绪平台以托管您的所有变革性的 ML 模型,从而为像您这样致力于利用 ML 改造世界的企业提供支持。


作为我们持续承诺的一部分,我们高兴的宣布全面开通基于 Google Kubernetes Engine (GKE) 后端的 AI Platform Prediction。新的后端架构旨在通过新的硬件选项(Compute Engine 机器类型NVIDIA 加速器)提高可靠性和灵活性、减少开销延迟,改进长尾延迟。除了产品 Beta 测试期间就可用的标准功能(例如,自动伸缩、访问日志以及请求/响应日志)之外,我们还提供几项有助于提升健壮性、灵活性和可用性的更新:


  • 高内存/高 CPU 机器类型中的 XGBoost/ scikit learn 模型:许多数据科学家喜欢 XGBoost 和 scikit learn 模型对于生产预测所具有的简便性和强大性。借助 AIPlatform,只需几下点击即可便捷地部署使用这些框架训练的模型—— 我们将在您选择的硬件上处理服务基础架构的复杂性。

  • 资源指标:维护生产环境中的模型的一个重要部分是了解其性能特点,例如,GPU、CPU、RAM 和网络利用率。这些指标能够帮助制定有关使用什么硬件的决策,来最大限度减少延迟和优化性能。例如,您可以查看一段时间的模型副本总数,以帮助您了解您的自动伸缩模型如何响应流量变化以及如何更改最小副本(minReplicas)以优化成本和/或延迟。对于在 GCE 机器类型中部署的模型,现在可从 Cloud Console 和 Stackdriver Metrics 查看资源指标。

  • 区域端点:我们在三个区域(us-central1、europe-west4 和 asia-east1)引入了新的端点,并通过更好的区域隔离来提高可靠性。在区域端点部署的模型位于指定区域内。

  • VPC 服务控件 (Beta):用户可以定义一个安全范围并且部署仅限访问该范围内或者另一个桥接范围内的资源和服务的在线预测模型。可从该范围内调用 CAIP 在线预测 API。只允许受限网络或者安全范围内的 VM 和服务的内网 IP 地址访问 CMLE 的 API,而不必经过公共互联网。


但预测并非仅止于使用训练好的模型。典型的 ML 工作流涉及分析和了解模型和预测。我们的平台集成了其他重要的 AI 技术以简化您的 ML 工作流并让您更加高效:


  • Explainable AI(可解释的 AI)。要更好地了解您的业务,您需要更好地了解您的模型。Explainable AI 提供有关每个请求的预测的信息,并且仅在 AI Platform 提供。

  • What-if Tool。可视化您的数据集,并更好地理解在平台部署的您的模型的输出。

  • 持续评估。基于对发送至您的模型的请求的正确标注,获得有关您的模型的性能指标。制定决策以基于一段时间的性能状况重新训练或者改进模型。


Waze 数据科学家技术主管 PhilippeAdjiman 指出:“通过为我们提供一个适用于我们的模型的即时、托管和健壮的服务层,[AI Platform Prediction] 显著提高了我们的速度,并使我们能够专注于改进特征和建模。”


所有这些功能均在一个具有企业支持的完全托管的无集群环境中提供 —— 无需支持或者管理您自己的高度可用的 GKE 集群。我们还负责配额管理并负责保护您的模型免受来自客户端发送过多流量导致的过载的影响。我们托管平台的这些功能使您的数据科学家和工程师能够专注于业务问题而不是管理基础设施。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2020-12-10 00:35827

评论

发布
暂无评论
发现更多内容

罗拉Rola-IP海外住宅IP简介:全球互联网接入的另一面

Geek_ccdd7f

NFTScan 正式上线 Viction NFTScan 浏览器和 NFT API 数据服务

NFT Research

NFT\ NFTScan nft工具

全方位探索:思维导图能在这些地方派上用场!

Geek_09ea8e

思维导图 工具库

Util应用框架开发环境搭建(九)- 安装 Exceptionless

何镇汐

开源 后端 .net core

以程序员的身份使用curl获取速卖通详情

Noah

罗拉rola-ip为您详解HTTP网络通信的标准语言解析

Geek_ccdd7f

如何挑选挑选到优质的HTTP代理平台呢?

Geek_ccdd7f

软件测试 |人工智能数据生成,ChatGPT引领测试新风潮

测吧(北京)科技有限公司

测试

PON网络是什么?

小魏写代码

媒体行业的3D建模:在影视中创造特效纹理

3D建模设计

AI纹理 影视视觉特效 3D特效

告别繁琐,ModelArts一键解决车牌号识别难题

华为云开发者联盟

人工智能 华为云 华为云ModelArts 华为云开发者联盟

HTTP方法罗拉rola-ip全面解读

Geek_ccdd7f

罗拉rola-ip详细解析HTTP协议连接与服务器

Geek_ccdd7f

数字孪生协同仿真:复杂电机篇

DevOps和数字孪生

数字孪生 电机 仿真建模

高性能、无界限:选择国外服务器的原因和技巧

一只扑棱蛾子

国外服务器

软件测试/测试开发丨人工智能产品质量保障:挑战与创新

测试人

人工智能 软件测试

软件测试 |人工智能引领未来学习趋势——ChatGPT智能学习助手

测吧(北京)科技有限公司

测试

蓝易云:通过netstat命令查看进程与端口的对应关系?

百度搜索:蓝易云

云计算 Linux 运维 云服务器 netstat

可怕!.Net 8正式发布了,.Net野心确实不小!

不在线第一只蜗牛

.net 编程语言

TextSoap for Mac(文本格式清理工具) v9.4.1永久激活版

mac

苹果mac Windows软件 TextSoap 文本格式清理工具

Util应用框架开发环境搭建(八)- 安装 Seq

何镇汐

开源 后端 软件开发 .net core

Codewhisperer 使用评价

亚马逊云科技 (Amazon Web Services)

Python 人工智能 云上探索实验室 Amazon CodeWhisperer Amazon Cloud9

2023开源产业生态大会OpenHarmony生态分论坛开幕在即

新消费日报

深度长文:全面探讨流程图的应用,打开你的新视野

Geek_09ea8e

流程图绘制工具

蓝易云:高防IP如何防止爬虫和Web攻击?

百度搜索:蓝易云

云计算 Linux 运维 Web IP

【2023云栖】郭瑞杰:阿里云搜索产品智能化升级

阿里云大数据AI技术

搜索引擎

人工智能 | 开启智慧学习新时代—与AI对话,高效提升学习效率

测吧(北京)科技有限公司

测试

详解数据库SQL中的三个语句:DROP、TRUNCATE 、DELETE

华为云开发者联盟

数据库 后端 华为云 华为云GaussDB 华为云开发者联盟

小飞贼老牌防火墙软件:Little Snitch for Mac激活版下载

影影绰绰一往直前

YOLO 施工安全帽目标检测模型

3D建模设计

目标检测 YOLO模型 安全帽模型

令人期待的 CSS 新功能:让编码更高效

这我可不懂

CSS

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成_架构_InfoQ精选文章