2025上半年,最新 AI实践都在这!20+ 应用案例,任听一场议题就值回票价 了解详情
写点什么

网易资深系统开发工程师陈静力确认出席 QCon 北京,分享 Curve 文件系统在 AI 场景下的实践

徐晓博

  • 2023-08-21
    北京
  • 本文字数:817 字

    阅读完需:约 3 分钟

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践

9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:


演讲:Curve 文件系统在 AI 场景下的实践


随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


演讲提纲:


  1. 背景


○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)

○ 介绍 AI 的业务需求


  1. Curve 实践


○ Curve 文件系统简介

○ Curve 文件系统为 AI 业务降本

○ Curve 文件系统为 AI 业务提效


  1. 总结与展望


○ 和 AI 框架的融合:做到自动预热

○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练

○ 推动在更多业务场景的落地


你将获得:


○ 了解 AI 场景对存储的需求

○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益


除上述演讲外,QCon 北京还将围绕 FinOps 落地云原生AIGC 浪潮下的研发效能提升业务安全技术面向 AI 的存储从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。


110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。



2023-08-21 15:252382

评论

发布
暂无评论
发现更多内容

技术同学,一定要去大厂吗?

老张

职场成长 认知 职场晋升

体验通义灵码 @workspace:轻松分析项目结构,结合代码仓库理解工程、查询问答等

阿里云云效

阿里云 云原生 通义灵码

Python批量分割Excel后逐行做差、合并文件的方法

不在线第一只蜗牛

Python Excel 开发语言

vm虚拟机 VMware Fusion Pro 12 Mac v12.2.5激活版 及详细图文安装教程

Rose

买药秒送 JADE动态线程池实践及原理浅析

京东科技开发者

【Tomcat源码分析】Pipeline 与 Valve 的秘密花园

派大星

tomcat源码解读

AI 网关基于 IP 地理位置,增强 Prompt 修饰能力

阿里巴巴云原生

阿里云 云原生

十六年所思所感,聊聊这些年我所经历的 DevOps 系统

阿里云云效

阿里云 云原生 云效

非凸科技复旦大学校企合作

非凸科技

人才培养 校企合作 D-Lab

值传递OR引用传递?大部人都答错了!

王磊

JNPF——快速搭建应用好助手

伤感汤姆布利柏

体验通义灵码 @workspace:轻松分析项目结构,结合代码仓库理解工程、查询问答等

阿里巴巴云原生

阿里云 云原生 通义灵码

魔乐社区体验:探索Llama 3.1模型微调之旅

天翼云开发者社区

人工智能 大模型 Llama3

万字长文浅谈三高系统建设方法论和实践

京东科技开发者

Vision Pro开发实践(结合24黑马idea)

京东科技开发者

十六年所思所感,聊聊这些年我所经历的 DevOps 系统

阿里巴巴云原生

阿里云 云原生 云效

Go 语言 nil 和接口

FunTester

大语言模型应用框架介绍

霍格沃兹测试开发学社

DBeaverUE for Mac(数据库管理软件)v24.2.1 旗舰激活版

Rose

ETL数据集成丨ETLCloud助力Doris至Hive的数据整合

RestCloud

数据库 hive Doris ETL 数据集成工具

KaiwuDB 魏可伟:用“多模”实现对行业的“One size best fits”

KaiwuDB

KaiwuDB 分布式多模数据库 KWDB 开源

思维导图软件:Xmind 2024 (Win&Mac) 特别版

你的猪会飞吗

XMind 2024中文 XMind 2024破解版 XMind for mac XMind 破解版

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践_AI&大模型_InfoQ精选文章