写点什么

网易资深系统开发工程师陈静力确认出席 QCon 北京,分享 Curve 文件系统在 AI 场景下的实践

徐晓博

  • 2023-08-21
    北京
  • 本文字数:817 字

    阅读完需:约 3 分钟

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践

9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:


演讲:Curve 文件系统在 AI 场景下的实践


随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


演讲提纲:


  1. 背景


○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)

○ 介绍 AI 的业务需求


  1. Curve 实践


○ Curve 文件系统简介

○ Curve 文件系统为 AI 业务降本

○ Curve 文件系统为 AI 业务提效


  1. 总结与展望


○ 和 AI 框架的融合:做到自动预热

○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练

○ 推动在更多业务场景的落地


你将获得:


○ 了解 AI 场景对存储的需求

○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益


除上述演讲外,QCon 北京还将围绕 FinOps 落地云原生AIGC 浪潮下的研发效能提升业务安全技术面向 AI 的存储从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。


110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。



2023-08-21 15:252536

评论

发布
暂无评论
发现更多内容

深入Redis数据结构和底层原理

闫同学

redis 缓存 11月月更

Zebec Chain有望成为公链赛道新兴生力军,地平线计划持续进击

小哈区块

Vue基础学习(四)

Studying_swz

Vue 11月月更

Java实现List中集合的元素进行排序

共饮一杯无

Java List 11月月更

现代API的类型划分

阿泽🧸

API 11月月更

数据中心的能源之翼:华为数据中心能源与伙伴共同飞翔

脑极体

部署和体验Helm(2.16.1版本)

程序员欣宸

Kubernetes Helm 11月月更

Git 分支管理策略汇总

AlwaysBeta

git GitHub gitlab 分支管理

HTML零基础入门教程(一)

异星球的小怪同志

前端 HTML5, CSS3 DW 零基础 11月月更

初探Apollo远程服务配置中心

闫同学

阿波罗 11月月更 apllo 远程配置中心

网址访问速度免费加速教程:又拍云cdn

程序员余白

网页加速 CDN加速 11月月更

【愚公系列】2022年11月 微信小程序-app.json配置属性之networkTimeout

愚公搬代码

11月月更

汽车产业“芯事”何解?

易观分析

汽车芯片

Zebec Chain有望成为公链赛道新兴生力军,地平线计划持续进击

西柚子

Vue基础学习(五)

Studying_swz

Vue 11月月更

Vue插件(plugin)

Augus

vue.js 11月月更

类继承

Maybe_fl

聚焦银行APP用户体验,易观千帆GX指数即将独家首发

易观分析

易观

运维进阶训练营 -W03H

b1a2e1u1u

运维

一款超好用的Json编辑工具

Jackpop

1.6k Star!可以优雅的使用Git了。。。

Jackpop

算法题学习---链表中环的入口结点

桑榆

算法题 11月月更

定了,2022双11 技术进化开启新未来

阿里技术

双11

【LeetCode】分割数组Java题解

Albert

算法 LeetCode 11月月更

【活动报名】11月19日 | AI GC 的技术与应用构建

亚马逊云科技 (Amazon Web Services)

人工智能 机器学习

Vivado安装和使用

芯动大师

Verilog FPGA系统 vivado 11月月更

CSS的学习笔记(五)

lxmoe

CSS 前端 学习笔记 11月月更

Go-MySQL-Driver,让Go语言拥抱MySQL

闫同学

Go MySQL 11月月更

计算机网络:随机访问介质访问控制之令牌传递协议

timerring

令牌桶 11月月更

阿里CTO程立:首个全面深度用云的天猫双11,更敏捷、更经济、更绿色

阿里技术

云计算 severless

2022-11-11:设计一个最大栈数据结构,既支持栈操作,又支持查找栈中最大元素。 实现 MaxStack 类: MaxStack() 初始化栈对象 void push(int x) 将元素 x 压

福大大架构师每日一题

Java 算法 福大大

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践_AI&大模型_InfoQ精选文章