大数据存取的选择:行存储还是列存储?

2012 年 7 月 03 日

编者按:由 InfoQ 主办的全球架构师峰会将于 2012 年 8 月 10 日 -12 日在深圳举行,为了更好地诠释架构的意义、方法和实践,InfoQ 中文站近期会集中发布一批与架构相关的文章,本篇即为其中之一。InfoQ 也欢迎读者亲身参与到本次全球架构师峰会中,与来自国内外的顶尖架构师进行面对面的交流。报名参会请点击这里

上个月参加了一个云存储的技术讨论会。这一个月里,陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末,索性把这个月的交流内容整理写下来,供各位参考。

目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是: 谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop 的 HBase 采用列存储,MongoDB 是文档型的行存储,Lexst 是二进制型的行存储。在这里,我不讨论这些软件的技术和优缺点,只围绕机械磁盘的物理特质,分析行存储和列存储的存储特点,以及由此产生的一些问题和解决办法。

一.结构布局

行存储数据排列

列存储数据排列

表格的灰色背景部分表示行列结构,白色背景部分表示数据的物理分布,两种存储的数据都是从上至下,从左向右的排列。行是列的组合,行存储以一行记录为单位,列存储以列数据集合单位,或称列族(column family)。行存储的读写过程是一致的,都是从第一列开始,到最后一列结束。列存储的读取是列数据集中的一段或者全部数据,写入时,一行记录被拆分为多列,每一列数据追加到对应列的末尾处。

原文链接:【 https://www.infoq.cn/article/bigdata-store-choose 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2012 年 7 月 03 日 00:00 28263

评论

发布
暂无评论
发现更多内容

架构师第四周-总结

上山砍柴

极客大学架构师训练营

week4.学习总结

个人练习生niki

大型互联网应用系统案例

戴维斯

极客大学架构师训练营

架构师训练营--week4

Just顾

架构师训练营 - 作业 - 第四讲

吕浩

第四周作业

数字

【架构师第四周作业】

浪浪

Week4

Week 04- 作业一:一个典型的大型互联网应用系统使用了哪些技术方案和手段

dean

极客大学架构师训练营

第四周学习总结

潜默闻雨

架构师训练营第四周总结

养乐多

【架构师第四周】总结

浪浪

第四周总结

Linuxer

极客大学架构师训练营

理解问题,然后技术

Asinta

极客大学架构师训练营 课程总结

week4.课后作业

个人练习生niki

架构师训练营作业 (第四周)

小遵

架构师训练营第四周-总结

人世间

极客大学架构师训练营

第四章作业

小胖子

互联网系统架构

陈皮

架构师训练营 - 第四周 - 作业

Anrika

极客大学架构师训练营

练习 4-1

闷骚程序员

架构师训练营 - 学习笔记 - 第四周

小遵

架构师训练营 - 学习总结 - 第四讲

吕浩

week4 总结

雪涛公子

第四周总结

秦宝齐

架构师训练营week4学习总结

Up

一个典型的大型互联网应用系统使用了哪些技术方案和手段,主要解决什么问题?请列举描述。

狂奔嘀兔纸

极客大学架构师训练营

第四周感想

数字

大型互联网应用系统使用的方案

ashuai1106

架构师 极客大学架构师训练营

第四周学习总结

倪惠华

系统架构学习总结(训练营第四课)

看山是山

分布式 极客大学架构师训练营

大数据存取的选择:行存储还是列存储?-InfoQ