AWS Lambda 现已支持.NET Core 2.0

把嵌套列表作为 Apache Spark SQL 的首选

演讲嘉宾DB Tsai is an Apache Spark PMC / Committer and an open source and staff software engineer at Apple Siri. He implemented several algorithms including linear models with Elastici-Net (L1/L2) regularization using LBFGS/OWL-QN optimizers in Apache Spark. Prior to joining Apple, DB worked on Personalized Recommendation ML Algorithms at Netflix. DB was a Ph.D. candidate in Applied Physics at Stanford University. He holds a Master’s degree in Electrical Engineering from Stanford.译文参考：蔡東邦老师是 Apache Spark PMC / Committer，同时也是 Apple Siri 的主任工程师。他将多个算法应用到了 Apache Spark 当中，包括使用了 LBFGS / OWL-QN 优化器 的 Elastici-Net（L1 / L2）正则化的线性模型。在加入 Apple Siri 之前，蔡老师在Netflix从事个性化推荐机器学习算法的研究工作。目前是斯坦福大学应用物理专业的博士候选人，也获得了斯坦福大学电气工程硕士学位。内容介绍Making Nested Columns as First Citizen in Apache Spark SQLApple Siri is the world’s largest virtual assistant service powering every iPhone, iPad, Mac, Apple TV, Apple Watch, and HomePod. We use large amounts of data to provide our users the best possible personalized experience. Our raw event data is cleaned and pre-joined into an unified data for our data consumers to use. To keep the rich hierarchical structure of the data, our data schemas are very deep nested structures. In this talk, we will discuss how Spark handles nested structures in Spark 2.4, and we’ll show the fundamental design issues in reading nested fields which is not being well considered when Spark SQL was designed. This results in Spark SQL reading unnecessary data in many operations. Given that Siri’s data is super nested and humongous, this soon becomes a bottleneck in our pipelines.Then we will talk about the various approaches we have taken to tackle this problem. By making nested columns as first citizen in Spark SQL, we can achieve dramatic performance gain. In some of our production queries, the speed-up can be 20x in wall clock time and 8x less data being read. All of our work will be open source, and some has already been merged into upstream.参考译文：Apple Siri是世界上最大的虚拟助理服务，为每部 iPhone，iPad，Mac，Apple TV，Apple Watch 和 HomePod 提供服务支持。我们使用大量数据来为用户提供最佳的个性化体验。所有的原始事件数据被清理并预先加入到统一数据中，供我们的数据使用者使用。为了保持数据的丰富层次结构，我们的数据模式采用了非常深的嵌套结构。在本次演讲中，我将讨论 Spark 如何处理 Spark 2.4 中的嵌套结构，还会展示读取嵌套字段时的基本设计问题，这些问题在设计 Spark SQL 时并未得到充分考虑。这就导致了 Spark SQL 在许多操作中读取不必要的数据。鉴于 Siri 超级嵌套的数据非常庞大，它很快就成了瓶颈所在。之后，我会介绍为解决这个问题所采取的各种方法。将嵌套列作为 Spark SQL 中的第一个公民，在性能上获得显着的提升。在我们的一些生产查询中，加速20倍，读取的数据减少8倍。我们所有的工作都将开源，有些已经合并到了核心区域。

2019 年 7 月 26 日

Kafka 版本：你知道如何挑选 Kafka 吗？

清晰地了解Kafka的发展脉络和生态圈现状，对于指导我们选择合适的Kafka版本大有裨益。

2020 年 1 月 7 日

Amazon Sagemaker 端到端的托管机器学习平台

本次分享介绍Amazon Sagemaker端到端的托管机器学习平台。

AWS 的 Elastic Beanstalk 是现在支持最多语言的 PaaS 吗？

亚马逊web服务（AWS）团队为Elastic Beanstalk服务添加了对Ruby的支持，从而成为支持最多语言的云平台之一。另外，AWS还为Elastic Beanstalk引入了在虚拟私有云（Virtual Private Cloud，VPC）中的支持，这样客户可以对其web应用程序进行私有版本的部署和管理。

Amazon 推出 Lumberyard 游戏引擎，主要特点是集成了 AWS 和 Twitch

据Amazon介绍，Lumberyard是一个免费（如“免费啤酒”）的游戏引擎和SDK，适合创建面向Windows、 Xbox One和PS4的3A游戏，很快将支持Mac、Linux、iOS和Android平台。

AWS 开源并扩展无服务器应用程序模型（SAM）实现

近日，Amazon Web Services（AWS）开源了其无服务器应用程序模型（SAM）实现，并增加了一个面向CloudWatch Logs订阅过滤器的新事件源。该版本全面扩展了通过Amazon API网关配置和部署REST API的选项，其中包括支持CORS头、区域端点和二进制媒体类型。

Amazon 拥抱 Node.js

Amazon发布了一个开发者预览版SDK，支持部署运行于Node.js 之上的JavaScript应用。开发包以NPM模块(ZIP)形式提供（该模块安装在Node.js上）， 可以通过调用开发包来访问大量的AWS服务，包括EC2、S3、DynamoDB和Simple Workflow等。

亚马逊协助.NET 开发人员使用其云计算平台

亚马逊发布了一套在.NET环境下使用的AWS SDK、函数库、示例代码和文档，协助.NET程序员在亚马逊的云平台上构建应用程序。

Amazon 提升了 DynamoDB NoSQL 数据库对 JSON 的支持

上周，Amazon Web Service团队对他们的Dynamo NoSQL数据库服务进行了更新。这次更新改善了DynamoDB对JSON的支持，提高了DynamoDB的可扩展性，并且增加了免费用量。开发者现在不仅拥有25GB的免费存储空间，还可以使用AWS SDK对较大的JSON文档进行存储、索引、查询和更新。

Spark 的运行环境安装：Standalone 入门实战

2020 年 11 月 2 日

AWS 打造容器服务体系，Amazon EKS 这块拼图有多重要？

虽然 AWS 基于开源 Kubernetes 的容器服务起步较晚，但其发展速度却是最快的，各国开发者对于 AWS 的容器服务认可度也是越来越高。根据 Nucleus Research 在 2019 年进行的调查显示，82% 的云端 Kubernetes 工作负载运行在 AWS 云服务之上。

AWS re:Invent 第一日新品发布一览

拉斯维加斯的 2019 年 12 月 2 日， AWS re:Invent 的第一天，大量的技术分享课程已经开始。AWS 的博客网站已经迫不及待的更新了好几条产品更新的信息，以下内容为InfoQ记者杨赛在 AWS re:Invent 现场发回的报道。

从 OpenStack 到 Kubernetes，云平台日志监控的新挑战

演讲嘉宾石山石，携程云平台资深软件工程师内容介绍从虚拟机到容器，从 OpenStack 到 Kubernetes，云平台的核心组件在这些年发生了巨大的变化，给生态系统中的日志和监控也带来了新的机遇和挑战。早期 OpenStack 只有 oslo.log 日志模块，没有多少 metrics，日志和监控主要是专业运维工程师关注的内容；如今通过几个 YAML manifest 文件就可以在 Kubernetes 集群中搭建起一套日志和监控平台，给更多的开发者提供了这方面的机遇。携程云平台的日志和监控服务也从最初只收集了 OpenStack 组件的日志，发展到如今 Kubernetes 各组件日志和 metrics，Kubernetes audit log 和 events，pod 监控数据和日志，docker OOM 事件等数据都能被观测到。

2018 年 12 月 18 日

在 Amazon EC2 上运行的 SQL Server 标准版

我很高兴地宣布，AWS 迎来了第 62 次降价，本次降价适用于在 EC2 上运行的 Microsoft SQL Server 标准版。

基于无服务器的架构落地与实践

本次分享从Serverless架构入手，剖析Serverless的概念和常见的误区，Serverless架构设计模式等。

AWS 人工智能与端到端托管机器学习服务

本次分享解析人工智能最近的发展趋势和Amazon在AI上的最新动态，解读人工智能服务背后的核心技术和应用场景。

AWS 在线技术峰会 2020 探班回顾，四大看点不容错过

AWS首席云计算企业战略顾问张侠聊企业数字化转型背后的策略

2020 年 9 月 17 日

特别放送 | 2019 年，容器技术生态会发生些什么？

今天我想再和你做一次分享，一起聊聊在2019年，容器技术生态会发生些什么。

2019 年 2 月 27 日

微软的大数据发展史：必应的 Cosmos

Cosmos是微软必应搜索引擎下开发的大数据基础架构，代表了微软在大数据方面的最高成就。

2018 年 4 月 2 日