红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

NoSQL 开篇——为什么要使用 NoSQL

  • 2011-01-12
  • 本文字数:3008 字

    阅读完需:约 10 分钟

【编者按】NoSQL 在 2010 年风生水起,大大小小的 Web 站点在追求高性能高可靠性方面,不由自主都选择了 NoSQL 技术作为优先考虑的方面。今年伊始,InfoQ 中文站有幸邀请到凤凰网的孙立先生,为大家分享他之于 NoSQL 方面的经验和体会。


非常荣幸能受邀在 InfoQ 开辟这样一个关于 NoSQL 的专栏,InfoQ 是我非常尊重的一家技术媒体,同时我也希望借助 InfoQ,在国内推动 NoSQL 的发展,希望跟我一样有兴趣的朋友加入进来。这次的 NoSQL 专栏系列将先整体介绍 NoSQL,然后介绍如何把 NoSQL 运用到自己的项目中合适的场景中,还会适当地分析一些成功案例,希望有成功使用 NoSQL 经验的朋友给我提供一些线索和信息。

NoSQL 概念

随着 web2.0 的快速发展,非关系型、分布式数据存储得到了快速的发展,它们不保证关系数据的 ACID 特性。 NoSQL 概念在 2009 年被提了出来。NoSQL 最常见的解释是“non-relational”,“Not Only SQL”也被很多人接受。(“NoSQL”一词最早于 1998 年被用于一个轻量级的关系数据库的名字。)

NoSQL 被我们用得最多的当数 key-value 存储,当然还有其他的文档型的、列存储、图型数据库、xml 数据库等。在 NoSQL 概念提出之前,这些数据库就被用于各种系统当中,但是却很少用于 web 互联网应用。比如 cdb、qdbm、bdb 数据库。

传统关系数据库的瓶颈

传统的关系数据库具有不错的性能,高稳定型,久经历史考验,而且使用简单,功能强大,同时也积累了大量的成功案例。在互联网领域,MySQL 成为了绝对靠前的王者,毫不夸张的说,MySQL 为互联网的发展做出了卓越的贡献。

在 90 年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付。在那个时候,更多的都是静态网页,动态交互类型的网站不多。

到了最近 10 年,网站开始快速发展。火爆的论坛、博客、sns、微博逐渐引领 web 领域的潮流。在初期,论坛的流量其实也不大,如果你接触网络比较早,你可能还记得那个时候还有文本型存储的论坛程序,可以想象一般的论坛的流量有多大。

Memcached+MySQL

后来,随着访问量的上升,几乎大部分使用 MySQL 架构的网站在数据库上都开始出现了性能问题,web 程序不再仅仅专注在功能上,同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台 web 机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的 IO 压力。在这个时候,Memcached 就自然的成为一个非常时尚的技术产品。

Memcached 作为一个独立的分布式的缓存服务器,为多个 web 服务器提供了一个共享的高性能缓存服务,在 Memcached 服务器上,又发展了根据 hash 算法来进行多台 Memcached 缓存服务的扩展,然后又出现了一致性 hash 来解决增加或减少缓存服务器导致重新 hash 带来的大量缓存失效的弊端。当时,如果你去面试,你说你有 Memcached 经验,肯定会加分的。

Mysql 主从读写分离

由于数据库的写入压力增加,Memcached 只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql 的 master-slave 模式成为这个时候的网站标配了。

分表分库

随着 web2.0 的继续高速发展,在 Memcached 的高速缓存,MySQL 的主从复制,读写分离的基础之上,这时 MySQL 主库的写压力开始出现瓶颈,而数据量的持续猛增,由于 MyISAM 使用表锁,在高并发下会出现严重的锁问题,大量的高并发 MySQL 应用开始使用 InnoDB 引擎代替 MyISAM。同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候,MySQL 推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然 MySQL 推出了 MySQL Cluster 集群,但是由于在互联网几乎没有成功案例,性能也不能满足互联网的要求,只是在高可靠性上提供了非常大的保证。

MySQL 的扩展性瓶颈

在互联网,大部分的 MySQL 都应该是 IO 密集型的,事实上,如果你的 MySQL 是个 CPU 密集型的话,那么很可能你的 MySQL 设计得有性能问题,需要优化了。大数据量高并发环境下的 MySQL 应用开发越来越复杂,也越来越具有技术挑战性。分表分库的规则把握都是需要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来屏蔽开发者的复杂性,但是避免不了整个架构的复杂性。分库分表的子库到一定阶段又面临扩展问题。还有就是需求的变更,可能又需要一种新的分库方式。

MySQL 数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如 1000 万 4KB 大小的文本就接近 40GB 的大小,如果能把这些数据从 MySQL 省去,MySQL 将变得非常的小。

关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL 的扩展性差(需要复杂的技术来实现),大数据下 IO 压力大,表结构更改困难,正是当前使用 MySQL 的开发人员面临的问题。

NOSQL 的优势

易扩展

NoSQL 数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。

大数据量,高性能

NoSQL 数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。一般 MySQL 使用 Query Cache,每次表的更新 Cache 就失效,是一种大粒度的 Cache,在针对 web2.0 的交互频繁的应用,Cache 性能不高。而 NoSQL 的 Cache 是记录级的,是一种细粒度的 Cache,所以 NoSQL 在这个层面上来说就要性能高很多了。

灵活的数据模型

NoSQL 无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。这点在大数据量的 web2.0 时代尤其明显。

高可用

NoSQL 在不太影响性能的情况,就可以方便的实现高可用的架构。比如 Cassandra,HBase 模型,通过复制模型也能实现高可用。

总结

NoSQL 数据库的出现,弥补了关系数据(比如 MySQL)在某些方面的不足,在某些方面能极大的节省开发成本和维护成本。

MySQL 和 NoSQL 都有各自的特点和使用的应用场景,两者的紧密结合将会给 web2.0 的数据库发展带来新的思路。让关系数据库关注在关系上,NoSQL 关注在存储上。

参考阅读

  1. NoSQL: http://nosql-database.org/
  2. NoSQL 在 wiki 上的介绍: http://en.wikipedia.org/wiki/NoSQL
  3. NoSQL 相关博客: http://nosql.mypopescu.com/
  4. NoSQL 相关博客: http://blog.nosqlfan.com/
  5. 新浪微博 NoSQL 微群: http://q.t.sina.com.cn/127870

关于作者

孙立,目前在凤凰网负责底层组的研发工作。曾就职于搜狐和 ku6。多年互联网从业经验和程序开发,对分布式搜索引擎的开发,高并发,大数据量网站系统架构优化,高可用性,可伸缩性,分布式系统缓存, 数据库分表分库(sharding)等有丰富的经验,并且对运维监控和自动化运维控制有经验。开源项目 phplock,phpbuffer 的作者。近期开发了一个 NOSQL 数据库存储 INetDB, 是 NoSQL 数据库爱好者。他的新浪微博是: http://t.sina.com.cn/sunli1223


感谢张凯峰对本文的策划及审校。

关注 IT 趋势,承载前沿、深入、有温度的内容。感兴趣的读者可以搜索 ID:laocuixiabian,或者扫描下方二维码加关注。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2011-01-12 15:2692287

评论

发布
暂无评论
发现更多内容

详解 Flink 中 Time 与 Window

五分钟学大数据

flink 1月月更

架构训练营 week5 课程总结

红莲疾风

「架构实战营」

在线XML转HTML工具

入门小站

工具

Flume日志采集框架构成组件

编程江湖

flume

【行业云说】云数底座赋能基层治理现代化

浪潮云

云计算运维

技术干货 | NeCodeGen:基于 clang 的源到源转译工具

网易云信

前端 Clang

博文推荐|基于 Apache Pulsar 的分布式锁

Apache Pulsar

开源 分布式 云原生 中间件 Apache Pulsar

PK体系“配齐”!亚信科技数据库与麒麟软件OS、飞腾CPU完成产品适配

亚信AntDB数据库

AntDB 亚信科技

前端开发之样式调试

@零度

前端开发

Committer 郭吉伟专访:做开源不是搞慈善,用开源也不是薅羊毛

Apache Pulsar

开源 架构 云原生 中间件 Apache Pulsar

老牌安全厂商海泰方圆加入龙蜥社区

OpenAnolis小助手

Linux 开源 社群运营

易用好用的云管平台看这里!行云管家杠杠的!

行云管家

云计算 企业上云 混合云 云管平台

操作指南|最详尽文档翻译志愿指南

Apache Pulsar

开源 翻译 云原生 Apache Pulsar 社区

线程的生命周期,真的没那么简单

华为云开发者联盟

Java 线程 生命周期 编程语言线程

netty系列之:channel和channelGroup

程序那些事

Java Netty 程序那些事 1月日更

APP违法使用个人信息?不用怕,华为云VSS为你保驾护航

华为云开发者联盟

移动应用 安全 漏洞 隐私合规 华为云VSS漏洞扫描服务

视频智能生产及内容分析应用工具开源了!​

百度大脑

人工智能

大数据开发之Flink SQL建设实时数仓实践

@零度

大数据 flink sql

网络安全kali渗透学习 web渗透入门 Kali系统的被动信息收集

学神来啦

深入浅出Apache Pulsar(2):Pulsar消息机制

云智慧AIOps社区

研效优化实践:WeTest提效测试

WeTest

【实时渲染】3DCAT实时渲染云在BIM领域的应用

3DCAT实时渲染

云计算 渲染 BIM 建筑

跟着源码学IM(十):基于Netty,搭建高性能IM集群(含技术思路+源码)

JackJiang

Netty 即时通讯 IM im架构设计

【云成本】降低云成本三大技巧你知道吗?

行云管家

云计算 企业上云 云成本

SPARK 应用如何快速应对 LOG4J 的系列安全漏洞

明哥的IT随笔

spark CDH

gpushare.com_基于去噪Transformer的无监督句子编码【EMNLP 2021】

恒源云

深度学习 语音识别 transform

一文看懂:工程项目管理软件有哪些?怎么选?

优秀

项目管理软件

爆测一周!22年必看最细致代码托管工具测评

阿里云云效

阿里云 云原生 代码管理 代码托管 Codeup

手把手教你学Dapr - 4. 服务调用

MASA技术团队

C# .net 微软 微服务 dapr

Linux之date命令

入门小站

Linux

基于 PTS 压测轻松玩转问题诊断

阿里巴巴云原生

阿里云 云原生 压测 问题 PTS

NoSQL开篇——为什么要使用NoSQL_Java_孙立_InfoQ精选文章