【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

RAMClouds 讨论

  • 2011-01-05
  • 本文字数:1045 字

    阅读完需:约 3 分钟

从 2008 年初开始,研究人员和技术专家就开始谈论通过 In Memory Data Grids(IMGD)使用 DRAM 来扩展高性能存储的可能。2008 年 6 月,Steven Robbins 认为这将成为一个热门话题。现在,这场讨论的进展如何呢?

在众多的支持者当中,来自斯坦福的John Ousterhout 是最为知名的一个,他是“The Case for RAMClouds: Scalable High-Performance Storage Entirely in DRAM”一书的作者。众多支持者认为使用磁盘存储在线数据会产生很多问题,无法实现优雅地可伸缩性,而磁盘容量也会不断膨胀——访问延迟与带宽并非协调一致。

为了解决这个问题,基本想法就是将在线数据从磁盘迁移到DRAM 上,从而在磁盘之上创建一种新式存储。目前,斯坦福是 RAMCloud 项目的大本营,他们正基于 Ousterhout 最初的论文来构建开源实现并运行在 Linux/Unix 之上。

目前提出的集群包含了 40 个节点,构建在常用硬件之上,配有 24——32GB 的 RAM、CPU 以及磁盘,每个节点的费用是 $2000——$2500。其意图在于提供一种持久化和可用的解决方案,目标如下:

  • 每个服务器每秒能够承受 1M 个操作
  • 低延迟访问:5——10 微秒的 RPC
  • 所有数据都位于 RAM 中
  • 多租期
  • 自动化管理
  • 为数据中心存储

反对声

但对手却并不这么认为,Jeff Darcy 发出了自己的声音:

有这样一个简单的事实:使用可靠 OS 缓存来处理大多数请求的真正的数据存储系统肯定会打败只使用内存、将磁盘当作是事后处理的系统。前者表现很好,对于数据保护来说具有更棒的反应。它可以处理整个数据中心电源断电以及单个服务器故障的情况。我们可以凭借它实现完整的备份与兼容性,而这是真正的数据管理策略的重要组成部分。这并非意味着在任何时间、任何地点,某种分类都会优于另一种分类,但所有这些数据查询算法都已经在真正的存储系统中实现出来了。想要成为真正存储的是 IMDG,而不是其他方式。

随后,Murat Demirbas 在他最近发布的 The Case for RAMClouds 中提到

我认为这篇论文中并没有恰当地考虑到花费与尺寸的发展趋势。在从延迟与带宽的发展趋势中获益之前还有几个研究挑战需要我们面对。因此,我认为 RAMCloud 现在并非是最具效率的,以后也不太可能。

小结

过去 30 年间,磁盘延迟只得到了 2 倍的提升,从 20ms 减少到了 10ms。这是个非常棘手的难题,但 RAMCloud 项目仅仅关注于这一点,将可伸缩性与非常低的访问延迟组合到了一起。如果成功,那么开发者们可以凭借该项目充分使用 Internet 上的大量信息,同时该项目还会对数据库与存储领域的研究起到很大的帮助作用。

查看英文原文: Making the Case for RAMClouds

2011-01-05 23:54986
用户头像

发布了 88 篇内容, 共 257.7 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

GLTF编辑器的另一个作用:格式转换

3D建模设计

格式转换 GLTF glb

软件物料清单管理平台,让开源组件安全问题无所遁形

网安云

国泰君安期货新一代国产业务系统上线 首次使用国产分布式数据库TDSQL

Geek_2d6073

REST API设计原则:构建可扩展、易维护的 API

高端章鱼哥

RESTful API REST API

基于Java开发的数字化询价招标采购系统(SRM系统源码)

金陵老街

spring-boot

五项大奖、三项评估!为行业数字化转型发展注智赋能!

天翼云开发者社区

云计算 云服务

袋鼠云产品功能更新报告07期|智能、高效、安全,一个都不能少!

袋鼠云数栈

大数据 数据中台 产品更新

GLTF编辑器:在线模型材质编辑工具

3D建模设计

纹理处理 GLTF 材质修改

什么是模型混合模式?

3D建模设计

3D模型 gltf编辑器

FTP加速小技巧 | 这个工具居然能百倍加速FTP?

镭速

ftp ftp传输 ftp加速

GitHub上标星23K+的Redis进阶笔记(应用+原理+集群+拓展+源码)

小小怪下士

Java redis 程序员 java面试

护航政务“云上安全”,天翼云打造自主可控政务云能力体系!

天翼云开发者社区

云计算 网络安全 云服务

Mac电脑版MarkDown写作推荐 iA Writer 激活中文最新版

胖墩儿不胖y

markdown Mac软件 Markdown 编辑器 写作软件

软件定义汽车时代,1 亿行代码的安全保障,极狐GitLab 这么做!

极狐GitLab

gitlab 安全 DevSecOps 汽车 安全左移

成功入选 2023 谷歌出海创业加速器,Tapdata 乘势远航

tapdata

数据采集 数据集成 Tapdata

BIM对电脑配置要求高 云电脑了解一下

青椒云云电脑

云电脑

2024广州国际导电防静电塑料及导电橡胶展览会

吹吹晚风

如何在不同服务器之间来进行安全又极速的大量数据同步?

镭速

异常检测:探索数据深层次背后的奥秘《上篇》

汀丶人工智能

数据挖掘 机器学习 异常检测

Java基础面试题 【二】JUC

派大星

Java 面试题

OmniFocus 3 for Mac(GTD时间管理工具) v3.15中文激活版

mac

任务管理软件 苹果mac Windows软件 OmniFocus Standard

华为云CodeArts Check代码检查服务用户声音反馈集锦(7)

华为云PaaS服务小智

云计算 软件开发 华为云 代码检查

私有云的优缺点是什么?与公有云的区别

青椒云云电脑

云桌面

视频转码工具 Compressor激活中文最新版

mac大玩家j

Mac软件 视频处理工具 视频编辑软件 编辑视频

【小程序压力测试】一文教你没有文档玩转小程序压力测试

优测云服务平台

小程序 性能测试 压力测试、

百度APP iOS端包体积50M优化实践(六)无用方法清理

百度Geek说

ios 百度app 企业号9月PK榜

如何使用ChatGPT构建一个Web应用程序?

互联网工科生

应用程序 ChatGPT AI编程

行于“云”上,“翼”路顺畅!

天翼云开发者社区

云计算 云服务

区块链系统开发应用解决方案|去中心化应用dapp模式搭建

V\TG【ch3nguang】

TDengine 用户案例合集 | 智能环保项目的时序数据处理难点与优化实践

TDengine

时序数据库 #TDengine

云桌面如何助力校园云办公 老师这么说

青椒云云电脑

云桌面

RAMClouds讨论_架构_James Vastbinder_InfoQ精选文章