AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

Spark Summit EU 重头戏:TensorFlow、结构化的流和 GPU 硬件加速

  • 2016-11-22
  • 本文字数:843 字

    阅读完需:约 3 分钟

Spark Summit EU 2016 上星期在布鲁塞尔召开,其中大会中的重头戏是 Apache Spark 集成深度学习库 TensorFlow 、使用结构化的流进行在线学习和 GPU 硬件加速。

大会第一日最具特色的是预览了由 Spark 2.0 引入的一个创新。该 API 是针对 DataFrames 和 Datasets 简化了的接口,使其更容易去开发大数据应用。这个第二代的 Tungsten 引擎通过把 MPP 数据库的理念应用到数据处理查询使处理更接近于硬件了:针对中间数据和以节省空间的面向列方式保存在内存中的数据,生成的字节码充分利用 CPU 寄存器的能力。

不管 API 是否使用过,数据操作图都是通过 Catalyst Optimizer 优化过的,它针对所有集群上的计算指令生成执行计划,并针对每个操作进行优化。

结构化的流,这是作为阿尔法版针对流发布的一个新的高层API,在本次大会中也做了推介。该API 集成了Spark 的Dataset 和DataFrame,使开发人员可以以类似于Spark 批量API 的方式描述从(到)外部系统的数据读写。它通过以批处理指令的方式编译流处理指令提供了很强的一致性,并使事务型系统可以与存储系统集成在一起(比如HDFS 和AWS S3)。

在大会第二天,Databricks 的CEO Ali Ghodsi 将Spark 描绘成了将AI 大众化的一款工具,它简化了机器语言算法的数据准备和计算指令的管理。今年早些时候,深度学习类库TensorFlow 通过一个称为 TensorFrames 的类库集成运行于 Spark 之上。这个类库允许在 DataFrames 和 TensorFlow 之间在运行期传递数据。

数据科学专题召开了一个会议,主要围绕的主题是如何结构化流使机器学习具有弹性,并使其可以做到在线学习,这就有可能做到根据到达的数据去更新一些机器学习模型了,而不是采用一批离线任务去执行模型训练。

最后一个重头戏是在 Databricks 平台支持GPU 和更多深度学习类库集成的公告。GPU 的支持是通过像 CUDA 这样的硬件类库完成的,并可以在 Databricks 中预先构建它,据说这样集群设置成本就会有更低了。

查看英文原文: Spark Summit EU Highlights: TensorFlow, Structured Streaming and GPU Hardware Acceleration

2016-11-22 18:002291

评论

发布
暂无评论
发现更多内容

黄仁勋:通用机器人时代已经到来!马斯克:YES!!

机器人头条

大模型 人形机器人 具身智能

ElasticSearch 可观测性最佳实践

观测云

拆解数字化转型成本困局:基于AI增强型低代码平台的行业落地案例研究

不在线第一只蜗牛

AI 低代码

新闻速递丨Altair中国合作伙伴大会圆满落幕:以AI与HPC技术融合,共筑智造新生态

Altair RapidMiner

云计算 HPC 制造业 智能制造 仿真软件

生物医药蛋白分子数据采集:支撑大模型训练的技术实践分享

颜淡慕潇

网络协议 数据采集

抖音集团大数据血缘演进与深度应用

火山引擎开发者社区

ToDesk、青椒云、顺网云算力对决:老旧电脑跑AI哪家强?真实数据揭秘

小喵子

云电脑 AI 数据基础设施 ToDesk云电脑 #AIGC

豆包MarsCode Agent 登顶 SWE-bench Lite 评测集

火山引擎开发者社区

鸿蒙智行问界M9 2025款全新发布,车载小艺深度思考更拟人

极客天地

yiwugou-义乌购商品详情——探索海量商品信息❤

Geek_9dbf95

反向海淘系统 免费测试 义乌购商品详情接口

共筑智慧城市新生态!YashanDB与荣科科技完成兼容互认证

极客天地

深度剖析:微软 2025 年 AI 预测背后的技术走向

Techinsight

去中心化交易所与中心化交易所的差异

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

TG电报群管理机器人定制开发的重要性

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

期权秒合约数字货币交易所APP开发全攻略

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

2025,AI会成为职场中的“超级助理”吗?

Techinsight

MiniMax GenAI 可观测性分析:基于阿里云 SelectDB 构建 PB 级别日志系统

SelectDB

数据库 日志分析 存算分离 大模型 GenAI

C#实现自己的Json解析器(LALR(1)+miniDFA)

不在线第一只蜗牛

C# json

Dapp钱包IM社区质押秒合约以及AI量化交易所区块链开发系统

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

CAD中的圆角、倒角、延伸、修剪、偏移功能你了解吗?

在路上

cad

波场trx质押能量租赁平台开发

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

几个技巧,教你去除文章的 AI 味!

不在线第一只蜗牛

AI

数字化转型全攻略,普通人抓住这些关键

Techinsight

【FAQ】HarmonyOS SDK 闭源开放能力 —Push Kit(10)

HarmonyOS SDK

harmoyos

100+项!YashanDB与Oracle全面对比 详解YashanDB如何做到1:1替代Oracle

极客天地

Veritas NetBackup 11 for Linux & Windows - 领先的企业备份和恢复解决方案

sysin

NetBackup

9年码龄3万粉博主教你从0到1用腾讯云代码助手 + DeepSeek 写一个浏览器插件

CodeBuddy

腾讯云 DeepSeek 腾讯云 AI 代码助手 CodeBuddy

MarsCode AI实战:利用DeepSeek 快速搭建你的口语学习搭子

火山引擎开发者社区

DApp+公链/主链+钱包+Swap开发西安区块链公司

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

缓存监控治理在游戏业务的实践和探索

vivo互联网技术

开源 后端 Java.

Spark Summit EU重头戏:TensorFlow、结构化的流和GPU硬件加速_大数据_Alexandre Rodrigues_InfoQ精选文章