排序应该在数据库还是在应用程序中进行?

2008 年 9 月 15 日

在网站开发中,究竟是在数据库(DB)中排序好,还是在应用程序中排序更优,这一直是个很有趣的话题。 DBANotes.net 博主,在数据库方面比较有研究的冯大辉就这一问题日前和读者明灵(Dragon)做了探讨,本文是关于该问题的总结。

问:请列出在 PHP 中执行排序要优于在 MySQL 中排序的原因?

答:通常来说,执行效率需要考虑 CPU、内存和硬盘等的负载情况,假定 MySQL 服务器和 PHP 的服务器都已经按照最适合的方式来配置,那么系统的可伸缩性(Scalability)和用户感知性能(User-perceived Performance)是我们追求的主要目标。在实际运行中,MySQL 中数据往往以 HASHtables、BTREE 等方式存贮于内存,操作速度很快;同时 INDEX 已经进行了一些预排序;很多应用中,MySQL 排序是首选。而在应用层(PHP)中排序,也必然在内存中进行,与 MySQL 相比具有如下优势:

  1. 考虑整个网站的可伸缩性和整体性能,在应用层(PHP)中排序明显会降低数据库的负载,从而提升整个网站的扩展能力。而数据库的排序,实际上成本是非常高的,消耗内存、CPU,如果并发的排序很多,DB 很容易到瓶颈。
  2. 如果在应用层 (PHP) 和 MySQL 之间还存在数据中间层,合理利用的话,PHP 会有更好的收益。
  3. PHP 在内存中的数据结构专门针对具体应用来设计,比数据库更为简洁、高效;
  4. PHP 不用考虑数据灾难恢复问题,可以减少这部分的操作损耗;
  5. PHP 不存在表的锁定问题;
  6. MySQL 中排序,请求和结果返回还需要通过网络连接来进行,而 PHP 中排序之后就可以直接返回了,减少了网络 IO。

至于执行速度,差异应该不会很大,除非应用设计有问题,造成大量不必要的网络 IO。另外,应用层要注意 PHP 的 Cache 设置,如果超出会报告内部错误;此时要根据应用做好评估,或者调整 Cache。具体选择,将取决于具体的应用。

问:请提供一些必须在 MySQL 中排序的实例?

答:在 PHP 中执行排序更优的情况举例如下:

  1. 数据源不在 MySQL 中,存在硬盘、内存或者来自网络的请求等;
  2. 数据存在 MySQL 中,量不大,而且没有相应的索引,此时把数据取出来用 PHP 排序更快;
  3. 数据源来自于多个 MySQL 服务器,此时从多个 MySQL 中取出数据,然后在 PHP 中排序更快;
  4. 除了 MySQL 之外,存在其他数据源,比如硬盘、内存或者来自网络的请求等,此时不适合把这些数据存入 MySQL 后再排序。

必须在 MySQL 中排序的实例如下:

  1. MySQL 中已经存在这个排序的索引;
  2. MySQL 中数据量较大,而结果集需要其中很小的一个子集,比如 1000000 行数据,取 TOP10;
  3. 对于一次排序、多次调用的情况,比如统计聚合的情形,可以提供给不同的服务使用,那么在 MySQL 中排序是首选的。另外,对于数据深度挖掘,通常做法是在应用层做完排序等复杂操作,把结果存入 MySQL 即可,便于多次使用。
  4. 不论数据源来自哪里,当数据量大到一定的规模后,由于占用内存 /Cache 的关系,不再适合 PHP 中排序了;此时把数据复制、导入或者存在 MySQL,并用 INDEX 优化,是优于 PHP 的。不过,用 Java,甚至 C++ 来处理这类操作会更好。

从网站整体考虑,就必须加入人力和成本的考虑。假如网站规模和负载较小,而人力有限(人数和能力都可能有限),此时在应用层(PHP)做排序要做不少开发和调试工作,耗费时间,得不偿失;不如在 DB 中处理,简单快速。对于大规模的网站,电力、服务器的费用很高,在系统架构上精打细算,可以节约大量的费用,是公司持续发展之必要;此时如果能在应用层 (PHP) 进行排序并满足业务需求,尽量在应用层进行。

2008 年 9 月 15 日 22:366383

评论

发布
暂无评论
发现更多内容

云原生 go-zero 微服务框架

Kevin Wan

go golang microservice go-zero 微服务框架

拥抱K8S系列-05-基于docker部署面临的问题

张无忌

Docker 运维

深入理解JVM垃圾回收机制 - GC Roots枚举

NORTH

GC Roots枚举 安全点 安全区域 OopMap

LeetCode题解:239. 滑动窗口最大值,单调队列,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

架构师训练营第十三周总结

张明森

oeasy教您玩转linux010206 蒸汽机车 sl

o

2020-09-03-第十三周学习总结

路易斯李李李

阿里巴巴发布国内首个公益区块链标准 用技术让公益公开透明

CECBC区块链专委会

区块链 公益

程序的机器级表示-数组的分配和访问

引花眠

计算机基础

不支持原子性的 Redis 事务也叫事务吗?

海星

Java redis 事务

Golang Package sync 透析

卓丁

golang sync

透彻理解AQS源码分析系列之AQS基础二

InfoQ_d2212957090d

Go: gops如何与Go运行时交互?

陈思敏捷

go golang gops

读后感之《任正非:以客户为中心》

王新涵

usdt跨境入金支付系统搭建|区块链跑分系统开发

WX13823153201

给大家介绍下,这是我的流程图软件 —— draw.io

程序员小航

工具 流程图 draw.io drawio-desktop 画图软件

从湖南“软硬兼施”,管窥三湘水畔的智能浪潮

脑极体

Spring 5 中文解析测试篇-Spring测试

青年IT男

Spring5 JUnit

学习 Java,有什么书籍推荐?学习的方法和过程是怎样的?

沉默王二

Java 学习方法 程序员 书单

握草,你竟然在代码里下毒!

小傅哥

Java 程序员 小傅哥 bug 有毒代码

商业通识 : 商业为什么能进步?

Walker

得到 个人成长 商业 学习笔记

一点思考|工作十几年了,竟从未用过do-while!

王磊

Java

给DevOps加点料——融入安全性的DevSecOps

DevOps 运维 测试 开发 安全性

usdt支付系统开发|承兑商支付跑分系统搭建

WX13823153201

usdt支付系统开发

如何将VSCode变成绿色版本

lmymirror

vscode 教程

甲方日常 8

大橘子

工作 随笔杂谈 日常

用函数式写法精简Java代码的一个例子

Sean

Java 函数式编程

ARTS Week15

时之虫

ARTS 打卡计划

翻转链表,机器学习视觉训练,对数据的人工标注,使信息丢失,John 易筋 ARTS 打卡 Week 16

John(易筋)

机器学习 ARTS 打卡计划 翻转链表 Google论文评判人工预处理 大数据架构Spark

ARTS打卡 第15周

引花眠

微服务 ARTS 打卡计划

有奖征文重磅来袭,来!一起玩把大的!

小红豆

排序应该在数据库还是在应用程序中进行?-InfoQ