写点什么

加速 AI 推理与检索生成:在 PB 级数据湖上实现 Parquet 查询 1000 倍性能提升|AICon 北京

  • 2025-06-04
    北京
  • 本文字数:1027 字

    阅读完需:约 3 分钟

大小:522.01K时长:02:58
加速 AI 推理与检索生成:在 PB 级数据湖上实现 Parquet 查询 1000 倍性能提升|AICon北京

6 月 27 日-6 月 28 日,AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践,邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家,深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。


AlluxioVP of Technology 范斌已确认出席并发表题为《加速 AI 推理与检索生成:在 PB 级数据湖上实现 Parquet 查询 1000 倍性能提升》的主题分享,在 AWS S3 等云对象存储中将数据存储为 Parquet 文件,不仅在大规模数据湖中非常流行,而且还可作为用于训练和推理的轻量级特征存储,或作为用于检索增强生成(RAG)的文档存储。然而,直接从 S3 查询 PB 到 EB 级规模的数据湖所面对的共同挑战是速度很慢,延迟时间通常从数百毫秒到数秒不等。

此次演讲将介绍如何利用 Alluxio 作为超大规模数据湖上的高性能缓存和加速层,对 Parquet 文件进行查询。在不使用专用硬件,不更改数据格式或对象寻址方案,不从数据湖迁移数据的情况下,Alluxio 如何实现亚毫秒级的首字节时间(TTFB)性能,以及 Alluxio 的吞吐量与集群规模的线性扩展。



范斌,Alluxio 创始成员和 VP of Technology。加入 Alluxio 前, 范斌在 Google 从事下一代大规模分布式存储系统的研究与开发。范斌博士毕业于卡内基梅隆大学计算机系,博士期间在分布式系统算法和系统实现等方向发表多篇包括 SIGCOMM、 SOSP、NSDI 等顶级国际会议论文以及多篇专利。他在本次会议的详细演讲内容如下:


演讲提纲

  1. 数据驱动型组织直接在云对象存储上存储和提供 Parquet 文件的普遍方式,以及给 AI 应用所带来的挑战;

  2. 应对挑战的常见解决办法有哪些;

  3. 实现 Parquet 查询 1000 倍性能提升,Alluxio 系统架构及优化设计(单节点优化,可扩展的分布式层,计算卸载等);

  4. 低延迟存储方案的成本对比;

  5. 未来工作展望。


听众收益

  • 了解 Alluxio 的架构和工作原理,并学习核心优化技术

  • 了解数据湖查询性能优化实践,掌握查询优化的方法并了解实际案例


除此之外,本次大会还策划了AI Agent 构建与多场景实践多模态实践与应用大模型助力研发的实战经验AI 在业务运营中的深度落地大模型时代的数据处理与分析AI 变革下的工程师等 10 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 580 元,详情可扫码或联系票务经理 13269078023 咨询。



2025-06-04 10:374665

评论

发布
暂无评论

华为云CDN为什么成为企业首选?四大优势助力企业腾飞!

秃头也爱科技

华为云数据灾备全场景应用方案,为企业数据安全护航

爱尚科技

微信小程序部署流程

codingyt

10月月更

css学习

codingyt

CSS 10月月更

企业存储难题难以解决?不如试试华为云OBS对象存储服务

爱科技的水月

经验分享|如何做好FAQ设计

Baklib

“程”风破浪的开发者|微信小程序逆地址解析

江拥羡橙

微信小程序 学习方法 uniapp 腾讯地图 “程”风破浪的开发者

传统制造业数字化转型路径与实践

宇宙之一粟

数字化转型 制造业 10月月更

【Java SE】Java程序的运行详解

安苒

Java

华为云帮助企业做好核心数据灾备,为企业数据安全与稳定发展提供保障

爱尚科技

华为云大数据BI,便捷高效的大数据解决方案,助力企业数字化运营

爱科技的水月

建立客户忠诚,从编辑产品帮助文档开始!

Baklib

帮助文档 客户忠诚

flex容器布局

codingyt

CSS Flex 10月月更

华为云CDN加速,如何助力企业信息化转型?

秃头也爱科技

降低成本,快速搭建企业知识库的方法盘点

Baklib

知识库

怎么制作一份能够帮助客户的帮助文档呢?

Baklib

帮助文档

css学习笔记5

虾仁疙瘩汤

CSS css3 10月月更

架构---作业3

李某人

架构训练营 #架构训练营

全国联动,千锋教育1024程序员节线下狂欢活动火热开展!

千锋IT教育

【Java SE】java中变量和表达式计算的相关问题

安苒

Java

“程”风破浪的开发者 | 元宇宙就是“虚晃一枪”?

三掌柜

1024 1024程序员节 元宇宙 “程”风破浪的开发者

CSS学习笔记6

虾仁疙瘩汤

CSS css3 10月月更

一朝见微,十年知著:联想Tiny的办公聚变

脑极体

华为云CDN加速服务,如何让你的网速“飞”起来!

秃头也爱科技

设计师高效办公必备神器-呆猫云工作站

爱科技的水月

千锋郑州第八届“千锋杯”联合项目大赛圆满落幕

千锋IT教育

CSS基础4

虾仁疙瘩汤

CSS css3 10月月更

华为云对象存储服务OBS,海量存储安全可靠,让云存储更加简单

爱科技的水月

Java Stream中map、flatMap 的使用区别

zarmnosaj

10月月更

构建超级自动化平台成为战略技术趋势——Gartner:可观测性应用将成为数据驱动型决策的最强大来源

九科Ninetech

RPA 流程挖掘 数智化转型

华为云CDN加速,如何为中小企业创新发展效力?

秃头也爱科技

加速 AI 推理与检索生成:在 PB 级数据湖上实现 Parquet 查询 1000 倍性能提升|AICon北京_大数据_AICon 全球人工智能开发与应用大会_InfoQ精选文章