青云QingCloud 对象存储服务提供可无限扩展的存储空间、快速的数据存取性能、高度的服务可靠性和数据安全性、细粒度的权限控制及简单易用的接口，以向广大用户提供廉价、可靠的存储系统。在本文中，青云QingCloud 系统工程师 Osier Yang 分享了青云QingCloud 对象存储的设计理念、实际的应用案例及进一步研发计划。

作者 : 杨锦涛

2016-03-08

4045

海量小文件传输对于企业选用文件传输软件的重要意义

在当前的商业环境中，数据具有极其重要的作用，是企业竞争的核心要素。随着互联网、物联网和云计算等技术的快速发展，数据的类型和规模变得越来越多样。在这其中，海量小文件作为一种普遍而重要的数据形式，扮演着连接信息时代的纽带。

文件传输

海量小文件传输

镭速

2023-09-08

焱融 YRCloudFile 在海量小文件场景训练加速优化策略

今天，我们将探讨在 AI 训练场景中如何进行海量小文件的性能优化，由于训练场景中的文件访问都是以只读方式打开的，所以本文将着重介绍只读小文件的优化部分。

文件存储

容器存储

分布式文件存储

高性能存储

全闪存储

焱融科技

2023-03-28

目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。最近，淘宝核心系统团队工程师楚材（李震）在其官方博客上撰文简要介绍了TFS系统的基本情况，引起了社区的关注。为了让读者更深入地了解TFS的奥秘，InfoQ中文站针对TFS的来由、运行环境、扩展性、架构、发展规划及开源事宜等问题对楚材进行了专访。

作者 : 崔康

2010-07-07

24782

【云原生 AI】Fluid + JindoFS 助力微博海量小文件模型训练速度提升 18 倍

简介：深度学习平台在微博社交业务扮演着重要的角色。计算存储分离架构下，微博深度学习平台在数据访问与调度方面存在性能低效的问题。本文将介绍微博内部设计实现的一套全新的基于 Fluid（内含 JindoRuntime）的新架构方案，显著提升了海量小文件场景模型

阿里巴巴云原生

2021-06-05

下一个分布式存储系统，为万物互联的智能世界而发

本文介绍“分布式流计算+ 分布式流存储”的原生流式大数据处理平台的架构理念。

作者 : 常平

2020-08-21



OZone - 下一代数据湖存储丨 QCon

余年的发展之后，在新场景下也面临不少的挑战，例如缺乏对海量小文件以及对象存储接口的支持，从而限制到了在云平台以及机器学习场景下的应用。

演讲人: 堵俊平

2020-05-21

OZone - 下一代数据湖存储

本次分享介绍 Ozone 的架构，技术，场景以及腾讯大数据的实践。

作者 : 堵俊平

2019-09-07

1032

解读 YRCloudFile 容器持久化存储的破局之路

容器持久化存储并非不能实现。

作者 : 关贺宇

2019-07-12

4698

速度提升 18 倍！微博海量深度学习模型训练效率跃升的秘密

深度学习平台在微博社交业务扮演着重要的角色。计算存储分离架构下，微博深度学习平台在数据访问与调度方面存在性能低效的问题。本文将介绍微博内部设计实现的一套全新的基于Fluid（内含JindoRuntime）的新架构方案，显著提升了海量小文件场景模型训练的性能和稳定性，多机多卡分布式训练场景可将模型训练的速度提升18倍。

作者 : 吴彤郝丽

2021-05-28