AWS re:Invent第二天:SageMaker开发者工具全家桶闪亮登场

2019 年 12 月 04 日

AWS re:Invent第二天:SageMaker开发者工具全家桶闪亮登场

拉斯维加斯时间 2019 年 12 月 3 日,AWS re:Invent 大会进入第二天。在早上的主题演讲环节,AWS CEO Andy Jassy 再次发布了一连串新服务,简单挑选部分、总结如下,供各位读者参考。


基础架构层


新的 EC2 实例:M6g、R6g与C6g


这三款新实例采用了第二代 AWS 定制的 ARM 芯片——graviton2。有意思的是这次的实例不再以 A 系列命名(第一代使用 graviton 的实例名称叫做 A1),而是直接放入了 M 系列、R 系列与 C 系列。


新的 EC2 实例:Inf1


这款实例专门针对机器学习过程中的推断(inference)负载进行了优化。


新的容器服务:Amazon Fargate for Amazon EKS


Fargate 首次在去年发布,可以让上层用户以 serverless 的方式使用容器。去年仅支持 ECS,今年增加了对 EKS 的支持。


新的网络服务


网络服务的增强目前看来是今年 AWS re:Invent 的重头,不过 Andy Jassy 表示后面几天才会深入介绍这一系列的网络服务。目前看到的产品名称有 AWS Transit Gateway Multicast、AWS Accelerated Site to Site VPN、AWS Transit Gateway Inter-Region Peering、AWS Transit Gateway Network Manager,有助于客户建立全球性的私有网络。


数据层


Amazon S3 Access Points


配合 IAM,管理员可以更加精准的控制哪些应用有权限访问 S3 上的哪些数据。


Amazon Redshift RA3 Instances with Managed Storage


这个 RA3 实例的特点是可以把计算资源的使用与存储资源的使用分别计费,那些只使用存储的部分就只需要为存储空间付费,不需要为计算资源付费。


AQUA for Amazon Redshift


这是一个非常有意思的新发布!可以说它是 AWS 团队为应对未来的性能优化趋势的一个尝试。对于云计算三大核心组件——计算、存储、网络,目前网络是一个很大的性能瓶颈,所以 AWS 做了 nitro 系统在这方面做了很多优化。但是除了网络之外,我们看到自从 2012 年以来至今,CPU 的吞吐能力仅仅增加了 2 倍,而 SSD 存储的吞吐能力已经增长了 12 倍,按照这个趋势下去,下一个性能瓶颈将会出现在 CPU 上,而 SSD 的吞吐能力将有冗余。这个 AQUA 的全称叫做 Advanced Query Accelerator,是一个查询加速器,加速器的工作原理是把原本放在 CPU 上处理的查询放到 SSD 上运行——这也是一种因为 nitro 系统而成为可能的操作方式。


UltraWarm


数据有冷数据,也有热数据。S3 有 Glacier 针对冷数据的低成本存储,而这次发布的 UltraWarm 则是针对 ElasticSearch 上的热数据——那些新鲜的日志文件。因为企业用户常有分析日志的需求,一直放在 ElasticSearch 上成本又太高,这种情况就可以把这些数据放到 UltraWarm 上,成本可以降低 90%。


数据库产品线新成员:Amazon Managed Cassandra Service


如果你需要在 AWS 上用 Cassandra,那么这个服务可以帮你省下不少维护的功夫。坦白讲在 2019 年看到这个服务的发布让小编有点吃惊——这说明现在在 AWS 上运行 Cassandra 的客户不会在少数。


机器学习


TensorFlow、PyTorch、mxnet


AWS 对这三个机器学习框架在 AWS 上的性能做了全面优化,号称比山景城某司的私有部署环境的性能还要超出 20%以上。


Amazon SageMaker Studio 全家桶


开发者对集成开发环境(IDE)不陌生,但目前看来针对机器学习的开发者还没有特别合适的 IDE。这一次发布的 SageMaker Studio 号称是针对机器学习开发者的 IDE,并且从本次发布的阵营来看,远远不仅仅是一个在线代码编辑器而已!本次发布已经包含如下组件:


  • Amazon SageMaker Notebooks - 用来存放机器学习工作流、代码片段、文档、运行结果等信息

  • Amazon SageMaker Experiments - 一个项目里可以保存多个实验(experiments),不同的实验可以有不同的配置,可以方便的对不同实验进行搜索、比对。

  • Amazon SageMaker Debugger - 一个调试工具,调试结果可以在Notebooks里面查看。

  • Amazon SageMaker Model Monitor - 有的时候,一个模型在2016年、2017年都能做出很好的预测,到2018年却不行了,因为外部环境改变了——比如银行利率的影响因子、乃至于影响方式的改变。这个Monitor工具可以自动检测模型是否仍然可以准确预测,在预测变得不准确的时候发出提醒以及给出可能的猜测。

  • Amazon SageMaker Autopilot - 在春天,你把训练数据列表放到一个csv文件里;到秋天,你收获了一堆模型,可以选一个最好的进行部署。这个自动化机器学习工具是不是像它描述的这么神奇?试试看大概会知道吧。


如果说今天的主题演讲最热门的发布是啥,小编觉得一定就是这套 Amazon SageMaker 开发者工具全家桶了。



AI 应用层服务


Amazon Fraud Detector


如果你有一个用户的历史登录行为数据与购买数据,你把这个数据告诉这个 Web 服务,这个服务就会告诉你这个用户是不是骗子。


Amazon CodeGuru


如果你在 Github 或者 CodeCommit 上做开发,你可以在发 pull request 的时候同步给这位 CodeGuru,然后它就会给你做自动化的代码审查(code review),并且把审查结果发布到评论里。对那些缺乏 reviewer 的项目来说,这个 CodeGuru 简直像是一大神器!具体效果如何,还要等那些具体用过的同学们反馈了才知道。无论如何,有 code review 总是比没有强。而且这个 CodeGuru 号称自己最擅长做的事情是“找到代码中最拖累效率的那一行”,非常有助于提升整体代码的性能。


Contact Lens for Amazon Connect


Amazon Connect 智能客服服务已经上线运行了几年,于是有客户提出各种意见:能不能自动分析客户的通话?客户对我们生气的地方是什么?我能不能搜索客户的历史通话?等等。于是 AWS 就把一系列服务打了个包,做成了这个 Contact Lens 数据分析服务。同时,AWS 团队意识到这么一个服务其实也可以用在企业的内部数据上、产生新的价值,于是又同时做了另一个服务:


Amazon Kendra


这个 Kendra 服务的用法是,企业可以把自己过去的内部文档——无论是 word 还是 pdf 还是在线文档——授权给该服务,然后添加一些 FAQ(常见问题)。之后,该服务会巡逻这些文档、建成索引,生成能听懂人话的问答服务。


至此,AWS 在人工智能领域的服务能力又往前走了一大截。


不同部署环境下的 AWS


私有云部署AWS Outposts


AWS 在去年发布的 Outposts 服务回应了企业对私有化部署的需求,不过当时还是一个 Preview,本次则正式可用了,这意味着以后用私有云的企业客户也可以在私有云环境里使用跟 AWS 公有云上一样体验的 API。另外,VMware Cloud on AWS 的部署将在 2020 年可用。


让没有 AZ 的城市也能低延迟用上 AWS 服务的Local Zones


AWS 目前虽然在全球已经做了 22 个区域(Region)、69 个可用区(AZ),但全球一共有一万多城市,很多城市用 AWS 的延时还是比较高的,有一定的用户数量。于是就有了 Local Zones:这是一个 Region 的延伸单元,可以由 AWS 原有基础架构中就存在的边缘站点(Placement Group)改造而成,也可以新建,配备了 EC2、EBS、FSx、VPC、ELB、RDS 等最基本的 AWS 服务,放置在一个城市的周边为该城市的用户提供服务。


让 5G 用户也能低延迟用上 AWS 服务的AWS Wavelength


AWS 把基础架构延伸到运营商合作伙伴的 5G 网络边缘,作为一个 Wavelength Zone,给 5G 网络覆盖的用户就近提供 Web 服务。目前公开的运营商合作伙伴,在美国是 Verizon,欧洲是 Vodafone,日本是 KDDI,韩国是 SK Telecom。




欲了解更多 AWS re:Invent 信息,请关注 InfoQ AWS re:Invent 2019专区


延展阅读


AWS re:Invent 第一日新品发布一览


2019 年 12 月 04 日 09:023447
用户头像
sai 有所为,有所不为

发布了 197 篇内容, 共 72.4 次阅读, 收获喜欢 57 次。

关注

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

愚蠢写作术(2):怎么让你的文章变得冷冰冰

史方远

学习 个人成长 写作

源码分析 | 像盗墓一样分析Spring是怎么初始化xml并注册bean的

小傅哥

源码分析 小傅哥 spring源码 bean注入过程

如何让解决无法访问 GitHub 的问题?

JackTian

GitHub

ARTS-WEEK02

lee

【大厂面试03期】MySQL是怎么解决幻读问题的?

NotFound9

MySQL 数据库 编程 架构

多来点胜利,对冲颓丧

zhoo299

成长 备忘

为什么你成不了「超级个体」?

非著名程序员

程序员 互联网 提升认知 认知提升

csapp-chapter2

卓丁

深入理解计算机系统 csapp

MyBatis启动之XMLConfigBuilder解析配置文件(二)

ytao

后端 mybatis

深入理解Java虚拟机

NORTH

深入理解JVM

除了公关,我还能为公司做点什么?(系列1)

邓瑞恒Ryan

学习 个人成长 自我管理 成长 职业成长

做一个纸上谈兵的项目经理

escray

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(三)

图雀社区

vue.js Vue Node

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(五)

图雀社区

Vue Node

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(六)

图雀社区

node.js Vue

自定义 SpringBootStarter

lee

深入理解JVM垃圾回收机制 - 何为垃圾?

NORTH

深入理解JVM 垃圾回收机制

游戏夜读 | 网络游戏怎么赚钱?

game1night

分布式架构,刚性事务-2PC必须注意的问题及3PC详细解

奈学教育

分布式架构 2PC注意事项 3PC详解

路径依赖 - 偶然决策导致的依赖。

石云升

思维模型 路径依赖 网络效应 沉没成本 价值网依赖

N皇后问题之位运算解法

孙苏勇

算法 DFS 位运算

白天写代码,晚上摆地摊!9年前摆地摊学会了这些道理...

王磊

大厂经验(1):一套Web自动曝光埋点技术方案

DeeperMan

大数据 数据采集

架构师必备的ToB产品交付之双轮驱动思维模型

常平

产品 极客大学架构师训练营

React之Context源码分析与实践

费马

源码分析 React useContext Context React-Router

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(四)

图雀社区

Vue Node

Android工程架构演进及康威定律

石头

中台上线半年,我总结出了“七宗罪”

夜来妖

中台 企业中台 后台开发 业务中台 后台

重磅推出:第14份年度敏捷状态报告(最新2020)

Bob Jiang

敏捷 调查报告 state of agile

csapp-chapter1

卓丁

深入理解计算机系统 csapp

过滤器 和 拦截器 6个区别,别再傻傻分不清了

程序员内点事

Java

AWS re:Invent第二天:SageMaker开发者工具全家桶闪亮登场-InfoQ