写点什么

网易资深系统开发工程师陈静力确认出席 QCon 北京,分享 Curve 文件系统在 AI 场景下的实践

徐晓博

  • 2023-08-21
    北京
  • 本文字数:817 字

    阅读完需:约 3 分钟

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践

9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:


演讲:Curve 文件系统在 AI 场景下的实践


随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


演讲提纲:


  1. 背景


○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)

○ 介绍 AI 的业务需求


  1. Curve 实践


○ Curve 文件系统简介

○ Curve 文件系统为 AI 业务降本

○ Curve 文件系统为 AI 业务提效


  1. 总结与展望


○ 和 AI 框架的融合:做到自动预热

○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练

○ 推动在更多业务场景的落地


你将获得:


○ 了解 AI 场景对存储的需求

○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益


除上述演讲外,QCon 北京还将围绕 FinOps 落地云原生AIGC 浪潮下的研发效能提升业务安全技术面向 AI 的存储从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。


110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。



2023-08-21 15:252454

评论

发布
暂无评论
发现更多内容

Java 泛型通配符详解

编程江湖

JAVA开发 java编程

跳出问题限制来解决问题-cacerts证书库的证书丢失的解决

superman

跳出问题解决问题 命题似解决 cacerts证书库

智慧社区综合服务管理平台,社区管理系统搭建

电微13828808271

react源码解析13.hooks源码

buchila11

React

【北京讲座报名!】12月26日与深度学习大牛共赋技术之约!

亚马逊云科技 (Amazon Web Services)

人工智能 深度学习 活动 ML

记字节前端面试一道简单的算法题

全栈潇晨

LeetCode 算法面试

react源码解析14.手写hooks

buchila11

React

dart系列之:dart优秀的秘诀-隔离机制

程序那些事

flutter dart 程序那些事 12月日更 flutter for web

大数据之面试篇之Hadoop/HDFS/Yarn

@零度

大数据 面试题

MySQL数据库升级后如何防止性能下降

@零度

MySQL

Vue 路由组件传参的 8 种方式

编程江湖

Vue 前端开发

恒源云(GPUSHARE)_LLD: 内部数据指导的标签去噪方法【ACL 2022】

恒源云

人工智能 深度学习

DataPipeline实时数据融合产品入驻青云云市场,催化企业数据价值释放

DataPipeline数见科技

大数据 中间件 Big Data 数据融合 数据管理

volatile和synchronzied的区别

悟空聊架构

synchronized 28天写作 悟空聊架构 12月日更 volatitle

Kafka-Broker的基本模块

编程江湖

大数据

养孩子到底有多难?

Tiger

28天写作

公安情报研判系统开发,情报可视化分析研判平台解决方案

电微13828808271

30个类手写Spring核心原理之自定义ORM(上)(6)

Tom弹架构

Java spring 源码

Linux一学就会之Linux系统启动原理及故障排除

学神来啦

Linux 运维 黑客 linux运维 linux云计算

VUEX的store用法

CRMEB

百度搜索中台海量数据管理的云原生和智能化实践

百度Geek说

架构 云原生 后端 百度搜索

资本巨头纷纷入局,DAO究竟有何魔力?

旺链科技

区块链 组织 DAO

拍乐云测试自动化实践

拍乐云Pano

DevOps 敏捷开发 自动化测试

Java开发之命名规范

@零度

Java 命名规范

医疗的客户体验

张老蔫

28天写作

带你尝鲜LiteOS 组件EasyFlash

华为云开发者联盟

LiteOS 组件 EasyFlash 嵌入式闪存库 Flash

Linux之mv命令

入门小站

Linux

重点人员动态管控系统开发,智慧公安预警管控平台

电微13828808271

在线JSON转sarcastic工具

入门小站

工具

【教程直播第4期】揭秘数据迁移之 OceanBase CDC & OMS 社区版能力

OceanBase 数据库

oceanbase OceanBase 开源 OceanBase 社区版

一文搞懂TopK问题

bigsai

数据结构 算法

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践_AI&大模型_InfoQ精选文章