2020 Google开发者大会重磅开幕 了解详情

Spark Summit EU重头戏:TensorFlow、结构化的流和GPU硬件加速

2016 年 11 月 22 日

Spark Summit EU 2016 上星期在布鲁塞尔召开,其中大会中的重头戏是 Apache Spark 集成深度学习库 TensorFlow 、使用结构化的流进行在线学习和 GPU 硬件加速。

大会第一日最具特色的是预览了由 Spark 2.0 引入的一个创新。该 API 是针对 DataFrames 和 Datasets 简化了的接口,使其更容易去开发大数据应用。这个第二代的 Tungsten 引擎通过把 MPP 数据库的理念应用到数据处理查询使处理更接近于硬件了:针对中间数据和以节省空间的面向列方式保存在内存中的数据,生成的字节码充分利用 CPU 寄存器的能力。

不管 API 是否使用过,数据操作图都是通过 Catalyst Optimizer 优化过的,它针对所有集群上的计算指令生成执行计划,并针对每个操作进行优化。

结构化的流,这是作为阿尔法版针对流发布的一个新的高层API,在本次大会中也做了推介。该API 集成了Spark 的Dataset 和DataFrame,使开发人员可以以类似于Spark 批量API 的方式描述从(到)外部系统的数据读写。它通过以批处理指令的方式编译流处理指令提供了很强的一致性,并使事务型系统可以与存储系统集成在一起(比如HDFS 和AWS S3)。

在大会第二天,Databricks 的CEO Ali Ghodsi 将Spark 描绘成了将AI 大众化的一款工具,它简化了机器语言算法的数据准备和计算指令的管理。今年早些时候,深度学习类库TensorFlow 通过一个称为 TensorFrames 的类库集成运行于 Spark 之上。这个类库允许在 DataFrames 和 TensorFlow 之间在运行期传递数据。

数据科学专题召开了一个会议,主要围绕的主题是如何结构化流使机器学习具有弹性,并使其可以做到在线学习,这就有可能做到根据到达的数据去更新一些机器学习模型了,而不是采用一批离线任务去执行模型训练。

最后一个重头戏是在 Databricks 平台支持GPU 和更多深度学习类库集成的公告。GPU 的支持是通过像 CUDA 这样的硬件类库完成的,并可以在 Databricks 中预先构建它,据说这样集群设置成本就会有更低了。

查看英文原文: Spark Summit EU Highlights: TensorFlow, Structured Streaming and GPU Hardware Acceleration

2016 年 11 月 22 日 18:00 1483

评论

发布
暂无评论
发现更多内容

【JSRC小课堂】Web安全专题(四)SRC漏洞挖掘技术之命令执行漏洞

京东智联云开发者

WEB安全

区块链交易所源码开发,币币场外交易系统搭建

135深圳3055源中瑞8032

第2周 框架设计-作业

SuGeek

LR软件开发平台:快速建立企业协同办公解决方案

力软.net/java开发平台

苏州高铁新城打造区块链发展聚集地

CECBC区块链专委会

区块链 智能合约 金融

区块链钱包开发技术公司,数字钱包APP系统搭建

135深圳3055源中瑞8032

十个写代码的小技巧,保你在面试过程中脱颖而出

Java架构师迁哥

架构师训练营 -week06-总结

大刘

架构师训练营第 1 期

承兑商支付平台开发搭建,USDT支付系统解决方案

135深圳3055源中瑞8032

前端组件化

韩向民

区块链将与人工智能、物联网、云计算技术形成互补

CECBC区块链专委会

人工智能 物联网

人少钱少需求多的新项目该怎么带?看到这篇我心里有底了!

华为云开发者社区

技术 运维 后端

C 语言实现一个简单的 web 服务器

C语言与CPP编程

c c++ socket C语言 HTTP

DDIA 读书笔记(3)数据编码与演化

莫黎

Java-技术专题-JDK8新特性之Stream流

李博@Alex

技术实践丨PostgreSQL插件之pg_dirtyread "闪回查询"

华为云开发者社区

数据库 后端

2020中国系统架构师大会活动回顾:ZEGO实时音视频服务架构实践

ZEGO即构

架构设计 RTC

一周信创舆情观察(10.19~10.25)

统小信uos

架构师训练营 - 第 6 周课后作业(1 期)

Pudding

架构师训练营第二周作业

李日盛

架构

阿里技术四面+交叉面+HR面成功拿到offer,谁说双非本科进不了大厂?

Geek_71bb95

Java 程序员 架构 面试 编程语言

Appium常用操作之「元素定位、swipe 滑屏操作」

清菡

“绝影”机器狗如何利用ModelArts强化学习算法更改导航轨迹

华为云开发者社区

人工智能 机器狗 导航

训练营第二周总结

大脸猫

架构师训练营第 2 期

打破内卷化,AppGallery Connect的全生命周期赋能方案

脑极体

首个通用安全技术行业标准发布适用于区块链技术架构 但监管仍待完善

CECBC区块链专委会

金融 安全技术

作为打工人,如何正确的选择自动化测试工具(完全指南)

软测小生

软件测试 测试 软件自动化测试 测试工具 测试开发

训练营第二周作业

大脸猫

架构师训练营第 2 期

架构训练营 - 第6周课后作业 - 学习总结

Pudding

区块链云算力挖矿平台开发公司,云算力软件开发价格

135深圳3055源中瑞8032

Java-技术专题-Stream流详解

李博@Alex

Spark Summit EU重头戏:TensorFlow、结构化的流和GPU硬件加速-InfoQ