10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

网易资深系统开发工程师陈静力确认出席 QCon 北京,分享 Curve 文件系统在 AI 场景下的实践

徐晓博

  • 2023-08-21
    北京
  • 本文字数:817 字

    阅读完需:约 3 分钟

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践

9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:


演讲:Curve 文件系统在 AI 场景下的实践


随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


演讲提纲:


  1. 背景


○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)

○ 介绍 AI 的业务需求


  1. Curve 实践


○ Curve 文件系统简介

○ Curve 文件系统为 AI 业务降本

○ Curve 文件系统为 AI 业务提效


  1. 总结与展望


○ 和 AI 框架的融合:做到自动预热

○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练

○ 推动在更多业务场景的落地


你将获得:


○ 了解 AI 场景对存储的需求

○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益


除上述演讲外,QCon 北京还将围绕 FinOps 落地云原生AIGC 浪潮下的研发效能提升业务安全技术面向 AI 的存储从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。


110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。



2023-08-21 15:252468

评论

发布
暂无评论
发现更多内容

「SQL数据分析系列」10. 重谈连接

Databri_AI

数据库 sql 连接

Spring事件发布与监听机制

陈皮的JavaLib

Java spring 事件监听

如何做好技术选型和分析决策

Man

技术选型 CMMI

kubelet分析-csi driver注册分析-Node Driver Registrar源码分析

良凯尔

源码 Kubernetes CSI Kubernetes Plugin

硬刚Hbase - 17道题你能秒我?我Hbase八股文反手就甩你一脸

王知无

创业者需要知道的13种思维模型

俞凡

创业 认知

架构实战训练营 - 模块七课后作业

Johnny

架构实战营

zip解压缩

Hello

最佳的管理者-库克

卢卡多多

苹果 管理者 6月日更

硬刚Presto | Presto原理&调优&面试&实战全面升级版

王知无

硬刚ClickHouse | 4万字长文ClickHouse基础&实践&调优全视角解析

王知无

浏览器设备信息UserAgent查询

入门小站

工具

JAVA 面向对象 (十二)-- 关键字 super

加百利

Java 关键字 super 6月日更

可编程网关 Pipy 第三弹:事件模型设计

张晓辉

我的书要出版啦~

石璞东

深度学习 tensorflow 大前端 计算机视觉 卷积神经网络

这样理解Mysql索引,阿里面试官也给你点赞

慕枫技术笔记

MySQL 后端 索引

硬刚数据仓库|SQL Boy的福音之数据仓库体系建模&实施&注意事项小总结

王知无

(序)【Spring源码专题】展开Spring源码构建之旅(利用IDEA和Gradle)

码界西柚

spring 6月日更 源码搭建

基于机器学习的自动化测试弹窗处理实践

bilibili游戏技术

手机 自动化测试 yolo 弹窗

基于FPGA系统合成两条视频流实现3D视频效果

不脱发的程序猿

智能硬件 FPGA系统 视频流 合成3D视频

2021最新Spring Security知识梳理

北游学Java

Java spring

计算机网络概述

若尘

计算机网络 6月日更

硬刚Apache Iceberg | 技术调研&在各大公司的实践应用大总结

王知无

硬刚Hive | 4万字基础调优面试小总结

王知无

Linux之cat命令

入门小站

Linux

[译] D8 优化

Antway

6月日更

架构实践营模块7作业

Geek_649372

架构训练营

文件IO

Hello

迷惘的六月份

卢卡多多

生活状态 6月日更

sftp的使用

Hello

谁也讲不明白的SQL注入攻击被我讲明白了(中)?

网络安全学海

程序员 网络安全 计算机 渗透测试 SQL注入

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践_AI&大模型_InfoQ精选文章