【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

海量小文件

收录了 海量小文件 频道下的 50 篇内容

小文件大问题——海量小文件解决方案初探

由于在元数据管理、访问性能、存储效率等方面面临巨大的挑战,海量小文件问题成为了业界公认的难题。

360自研分布式海量小文件存储系统的设计与实现
360 自研分布式海量小文件存储系统的设计与实现

本文介绍360自研的分布式小文件存储系统NebulasFs。

BIGO 海量小文件存储实践

01海量小文件存储的挑战

青云对象存储解决方案应用与实践

青云QingCloud 对象存储服务提供可无限扩展的存储空间、快速的数据存取性能、高度的服务可靠性和数据安全性、细粒度的权限控制及简单易用的接口,以向广大用户提供廉价、可靠的存储系统。在本文中,青云QingCloud 系统工程师 Osier Yang 分享了青云QingCloud 对象存储的设计理念、实际的应用案例及进一步研发计划。

海量小文件传输对于企业选用文件传输软件的重要意义

在当前的商业环境中,数据具有极其重要的作用,是企业竞争的核心要素。随着互联网、物联网和云计算等技术的快速发展,数据的类型和规模变得越来越多样。在这其中,海量小文件作为一种普遍而重要的数据形式,扮演着连接信息时代的纽带。

文件传输
海量小文件传输
焱融 YRCloudFile 在海量小文件场景训练加速优化策略
焱融 YRCloudFile 在海量小文件场景训练加速优化策略

今天,我们将探讨在 AI 训练场景中如何进行海量小文件的性能优化,由于训练场景中的文件访问都是以只读方式打开的,所以本文将着重介绍只读小文件的优化部分。

文件存储
容器存储
分布式文件存储
高性能存储
全闪存储
揭秘淘宝自主研发的文件系统——TFS

目前,国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践,Taobao File System(TFS)作为淘宝内部使用的分布式文件系统,针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据存储。最近,淘宝核心系统团队工程师楚材(李震)在其官方博客上撰文简要介绍了TFS系统的基本情况,引起了社区的关注。为了让读者更深入地了解TFS的奥秘,InfoQ中文站针对TFS的来由、运行环境、扩展性、架构、发展规划及开源事宜等问题对楚材进行了专访。

【云原生 AI】Fluid + JindoFS 助力微博海量小文件模型训练速度提升 18 倍

简介: 深度学习平台在微博社交业务扮演着重要的角色。计算存储分离架构下,微博深度学习平台在数据访问与调度方面存在性能低效的问题。本文将介绍微博内部设计实现的一套全新的基于 Fluid(内含 JindoRuntime)的新架构方案,显著提升了海量小文件场景模型

下一个分布式存储系统,为万物互联的智能世界而发
下一个分布式存储系统,为万物互联的智能世界而发

本文介绍“分布式流计算+ 分布式流存储”的原生流式大数据处理平台的架构理念。

OZone - 下一代数据湖存储丨QCon
OZone - 下一代数据湖存储丨 QCon

余年的发展之后,在新场景下也面临不少的挑战,例如缺乏对海量小文件以及对象存储接口的支持,从而限制到了在云平台以及机器学习场景下的应用。

OZone - 下一代数据湖存储
OZone - 下一代数据湖存储

本次分享介绍 Ozone 的架构,技术,场景以及腾讯大数据的实践。

解读 YRCloudFile 容器持久化存储的破局之路
解读 YRCloudFile 容器持久化存储的破局之路

容器持久化存储并非不能实现。

速度提升18倍!微博海量深度学习模型训练效率跃升的秘密
速度提升 18 倍!微博海量深度学习模型训练效率跃升的秘密

深度学习平台在微博社交业务扮演着重要的角色。计算存储分离架构下,微博深度学习平台在数据访问与调度方面存在性能低效的问题。本文将介绍微博内部设计实现的一套全新的基于Fluid(内含JindoRuntime)的新架构方案,显著提升了海量小文件场景模型训练的性能和稳定性,多机多卡分布式训练场景可将模型训练的速度提升18倍。

FastDFS 海量小文件存储解决之道

FastDFS是一个C语言实现的开源轻量级分布式文件系统

fastdfs
数据存储
分布式,
海量小文件存储系统HOS探索与实践
海量小文件存储系统 HOS 探索与实践

对象存储业界较为普遍解决方案,一是对小文件进行合并处理,二是构建高速缓存;HBase2.0之后支持的MOB新特性可以满足中小对象存储的需求 ,决定基于HBase MOB特性遵循AWS S3接口规范开发HOS(Hbase Object Storage)服务。

大数据
OSS
对象存储
HBase
GEEDGE NETWORKS
HDFS廉颇老矣?基于对象存储的数据湖构建新思路
HDFS 廉颇老矣?基于对象存储的数据湖构建新思路

如何设计一套高效廉价的大数据架构,在尽可能多保留所有原始数据内容的同时还可以支持“无缝接入”的新的分析算法。本文所要介绍的数据湖解决方案可能是解决这个难题的一种新思路。

vivo AI计算平台的轩辕文件存储实践
vivo AI 计算平台的轩辕文件存储实践

vivo AI计算平台是在2018年底开始着手建设的,致力于解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点。

vivo AI 计算平台轩辕文件存储缓存的设计与应用
vivo AI 计算平台轩辕文件存储缓存的设计与应用

本文将分享轩辕文件存储缓存的设计原理以及在 Vtraining 平台的性能加速应用。

分布式文件系统架构对比
分布式文件系统架构对比

文件系统提供的访问和管理方法支撑了绝大部分的计算机应用

存储系统的那些事

存储系统从其与生俱来的使命来说,就难以摆脱复杂系统的魔咒。无论是从单机时代的文件系统,还是后来C/S或B/S结构下数据库这样的存储中间件兴起,还是如今炙手可热的云存储服务来说,存储都很复杂,而且是越来越复杂。

海量小文件专题_资料-InfoQ中文网