写点什么

Spark Summit EU 重头戏:TensorFlow、结构化的流和 GPU 硬件加速

  • 2016-11-22
  • 本文字数:843 字

    阅读完需:约 3 分钟

Spark Summit EU 2016 上星期在布鲁塞尔召开,其中大会中的重头戏是 Apache Spark 集成深度学习库 TensorFlow 、使用结构化的流进行在线学习和 GPU 硬件加速。

大会第一日最具特色的是预览了由 Spark 2.0 引入的一个创新。该 API 是针对 DataFrames 和 Datasets 简化了的接口,使其更容易去开发大数据应用。这个第二代的 Tungsten 引擎通过把 MPP 数据库的理念应用到数据处理查询使处理更接近于硬件了:针对中间数据和以节省空间的面向列方式保存在内存中的数据,生成的字节码充分利用 CPU 寄存器的能力。

不管 API 是否使用过,数据操作图都是通过 Catalyst Optimizer 优化过的,它针对所有集群上的计算指令生成执行计划,并针对每个操作进行优化。

结构化的流,这是作为阿尔法版针对流发布的一个新的高层API,在本次大会中也做了推介。该API 集成了Spark 的Dataset 和DataFrame,使开发人员可以以类似于Spark 批量API 的方式描述从(到)外部系统的数据读写。它通过以批处理指令的方式编译流处理指令提供了很强的一致性,并使事务型系统可以与存储系统集成在一起(比如HDFS 和AWS S3)。

在大会第二天,Databricks 的CEO Ali Ghodsi 将Spark 描绘成了将AI 大众化的一款工具,它简化了机器语言算法的数据准备和计算指令的管理。今年早些时候,深度学习类库TensorFlow 通过一个称为 TensorFrames 的类库集成运行于 Spark 之上。这个类库允许在 DataFrames 和 TensorFlow 之间在运行期传递数据。

数据科学专题召开了一个会议,主要围绕的主题是如何结构化流使机器学习具有弹性,并使其可以做到在线学习,这就有可能做到根据到达的数据去更新一些机器学习模型了,而不是采用一批离线任务去执行模型训练。

最后一个重头戏是在 Databricks 平台支持GPU 和更多深度学习类库集成的公告。GPU 的支持是通过像 CUDA 这样的硬件类库完成的,并可以在 Databricks 中预先构建它,据说这样集群设置成本就会有更低了。

查看英文原文: Spark Summit EU Highlights: TensorFlow, Structured Streaming and GPU Hardware Acceleration

2016-11-22 18:002283

评论

发布
暂无评论
发现更多内容

Omnissa Horizon Windows OS Optimization Tool 2503 - Windows 系统映像优化工具

sysin

horizon

Flutter跨端范式重构:小程序容器化驱动的高效App开发基座

xuyinyin

三门峡文旅集团:用友BIP企业AI全栈云赋能黄河流域文旅产业升级

用友BIP

【未来已来,智启新篇】三星Galaxy S25系列:定义旗舰体验

新消费日报

Apipost接口调试全解:从HTTP到gRPC,程序员必备的“协议生存指南

数据追梦人

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS Lenovo (联想) 定制版

sysin

esxi

一天 Star 破万的开源项目「GitHub 热点速览」

电子尖叫食人鱼

GitHub

SvelteKit 最新中文文档教程(23)—— CLI 使用指南

冴羽

前端 前端框架 React Svelte SvelteKit

广州生物医药产业全景解析:如何抓住未来千亿级产业机遇?

安全乐谷

找工作 招聘 就业 广州 找实习

docker镜像仓库

不在线第一只蜗牛

Docker

与地球和鸣:华为音乐以空间音频为桥连接自然之声

最新动态

Omnissa Dynamic Environment Manager 2503 - 个性化动态 Windows 桌面环境管理

sysin

horizon

AI 英语能力评估App的开发

北京木奇移动技术有限公司

AI技术 AI教育 软件外包公司

群贤毕至成果丰,共绘行业新未来,2025慕尼黑上海电子展圆满收官!

极客天地

容器技术演进:从云原生基座到小程序生态重构

xuyinyin

国产直升机发展现状及思考

DevOps和数字孪生

航空航天 低空经济

AI 教育软件的开发

北京木奇移动技术有限公司

AI教育 软件外包公司 AI技术外包公司

CST干货:移动电子设备的射频干扰和接收灵敏度分析

思茂信息

cst CST软件 CST Studio Suite

Omnissa ThinApp 2503 - 应用虚拟化软件

sysin

horizon

Omnissa App Volumes 4, version 2503 - 实时应用程序交付系统

sysin

horizon

五一前再带大家卷一波Go高质量面试题

王中阳Go

Go

热更新技术的范式重构:AI驱动下的智能生态基座构建

xuyinyin

用友助力郴电国际司库建设项目成功上线,战略合作开启数智化转型新征程

用友BIP

哈佛最新研究:比特币挖矿造成环境污染,190万人受影响

PowerVerse

比特币 挖矿

电竞新时代:ToDesk/网易云/START三大云游戏平台深度横评,谁是真王者?

小喵子

云计算 云电脑 ToDesk 云电竞 网易云游戏电脑

如何高效的进行生产管理?

积木链小链

数字化转型 智能制造 生产管理 车间管理

启动!张一元携手用友BIP企业AI全栈云,百年茶香数智焕新

用友BIP

飞行器半实物联合仿真:技术解析与应用实践

DevOps和数字孪生

人工智能与预测性维护:AI如何帮助企业降低设备故障风险?

天津汇柏科技有限公司

人工智能 预测性维护

AI英语能力评估APP的核心功能

北京木奇移动技术有限公司

AI教育 软件外包公司 AI技术应用

Apipost协议全栈支持+国密算法,调试效率飙出星际!

数据追梦人

Spark Summit EU重头戏:TensorFlow、结构化的流和GPU硬件加速_大数据_Alexandre Rodrigues_InfoQ精选文章