⾼性能全闪并⾏⽂件系统的设计和实践｜QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将在北京召开，大会以 “智能融合，引领未来” 为主题，将汇聚各领域的技术先行者以及创新实践者，为行业发展拨云见日。

焱融科技 CTO 张文涛已确认出席并发表题为《高性能全闪并行文件系统的设计和实践》的主题分享。在深度学习领域中，数据是基⽯，算⼒是引擎。训练⼀个模型，需要⼤量的数据和算⼒ ，并且需要反复迭代和验证才能得到想要的模型。 为了提升训练效率，缩短训练时间，所有组件之间都需要快速响应，这其中就包括了计算和存储之间的交互。对于⼀个 AI 系统⽽⾔，模型的能⼒随着模型尺⼨和训练数据的增加⽽显著提升，但随着数据集和模型规模不断增加，训练任务载⼊训练数据所消耗的时间越来越⻓，进⽽影响了训练效率，缓慢的 IO 严重拖累 GPU 的强⼤算⼒。在本次演讲中，张文涛将介绍焱融的全闪⽂件存储的整体架构和技术细节，并逐⼀介绍 YRCloudFile 是如何解决 AI 训练过程中遇到的海量⼩⽂件访问慢、 带宽峰值、 内存访问瓶颈和多任务并发访问性能⼲扰等问题。

张文涛毕业于华中科技大学计算机专业硕士，专注于分布式存储领域，拥有超过 15 年的大规模公有云存储架构开发和 AI 存储架构设计，参与主导了 YRCloudFile 高性能分布式文件存储系统从 0 到 1 的设计研发及产品落地工作，并在 AI 场景应用落地方面具备一定的实战经验。在 AI 及高算力场景项目交付上，有着丰富的整体架构设计和性能优化经验。中国智能计算产业联盟专委会技术专家组，上海 TGO 鲲鹏会成员。他在本次会议的详细演讲内容如下：

演讲提纲

1. AI 训练的 IO 特点和存储难点

• 海量数据的存储、查询和访问

• 训练的 IO 读取和 Checkpoint 的保存性能

• 多打⼀的⽹络拥塞问题 

2. YRCloudFile 的整体解析

• YRCloudFile 整体架构

• 数据并⾏访问，⾼性能存储的核⼼

• 分布式元数据集群 ，⽀撑千亿级⽂件系统的关键

• 缓存和数据⼀致性策略

• 多租⼾隔离和访问流控

• ⾼级运维特性

3.  典型案例

4.  总结和未来展望

您认为，这样的技术在实践过程中有哪些痛点？

• 为了提高缓存的性能，弱化了数据的一致性语义，从强一致性弱化到 open-to-close 的一致性语义

• 性能、可靠性和成本是一个不可能三角，为了尽可能提升性能和降低成本，我们选择采用 2 副本的方式，提升写性能的同时也极大地降低了成本，在 AI 存储以读为主的场景中，这个选择是非常合适的，但是在传统存储场景中就会面临可靠性不足的问题

演讲亮点

• 分享 YRCloudFile ⾼性能⽂件系统的核⼼技术

• 分享在 AI 训练场景中遇到的疑难问题和解决⽅案

• 分享焱融对未来存储发展的思考

听众受益

• 了解 AI 训练对存储的需求

• 对 AI 存储有更深⼊的了解

• 了解性能优化的常见⼿段

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

报名或了解详情可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行，现诚邀志愿者加入，时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间：4 月 9 日 13:00-4 月 12 日 18:00，地点：北京万达嘉华酒店，报名链接：https://www.infoq.cn/form/?id=2088