发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

如何用 Nginx 实现百万并发连接?| 极客时间

  • 2019-05-24
  • 本文字数:2358 字

    阅读完需:约 8 分钟

如何用Nginx实现百万并发连接?| 极客时间

大家好,我是《Nginx核心知识100讲》课程讲师–陶辉,有幸能借这个文章的机会,和大家分享 Nginx 的重难点:Nginx 究竟是如何支持百万并发连接的?


其实,大家学习 Nginx,最大的动力是想让自己的产品在支持高并发请求的同时保持高效的服务。那除了掌握 Nginx,可能没有其他更好的选择。


在学习 Nginx 路上,你可能会遇到很多阻碍,比如:


  • 当你在做扩展功能时发现新增的指令 Nginx 不支持,不知道如何增加 Nginx 模块,如何分析 access 日志

  • Nginx 里的 Master 进程和 Worker 进程到底是怎样的?

  • Nginx 是如何在高并发下使用户无感知的热部署?

  • cache 的缓存问题

  • 不清楚 OpenResty 的 Lua 模块如何与 Nginx 结合使用,以及这个对 Nginx 性能的影响

  • ……


其实,这些问题我在课程里都有做系统性的讲解,有些是用 3-4 个视频来完整地讲解一个知识点,有些疑惑你单看目录就能找到答案。不过我还是希望大家能从 0 开始,跟着我系统性地把这套视频学完,那么百万并发下的 Nginx 性能优化之道,你基本就掌握了。


今天,我们就直达要点,来看看 Nginx 究竟是如何支持百万并发连接的?

1、搞清楚 TCP 连接的并发

首先是对于 TCP 连接并发的掌握。不少同学认为,由于端口最大范围是 65535,所以 Nginx 的最大并发连接数就是 65535。实际上,Nginx 的并发连接可以达到百万或者千万级,原因是 TCP 连接是个四元组,它包括(源 IP、源端口、目的 IP、目的端口)。


我们以 32 位的 IPv4 地址为例,如果不考虑资源限制,理论上它的最大并发连接数是 2^(32+16+32+16)个(因为 IP 为 32 位,端口号为 16 位),远远大于 65535。


显然,在如此巨大的并发连接数下,再细小的问题都可能会被放大很多倍。所以,我们要精细化配置 Linux 中的 TCP 选项(TCP 层由操作系统内核实现),优化建立连接的速度,防御针对建立连接过程的种种恶意攻击。



必看知识点:


第123讲 | 控制TCP三次握手参数


第124讲 | 建立TCP连接优化

2、掌握磁盘 IO 优化

众所周知,磁盘是计算机体系中最慢的设备,它远远慢于 CPU 计算速度、内存的存取、网络的传输等。正如我们所熟悉的短板理论,最慢的磁盘,很容易成为服务器性能的瓶颈。


因此,虽然在很多场景下,Nginx 最主要的工作是协议解析与网络传输(如反向代理),但少量的磁盘操作,却也可能大幅度降低 Nginx 性能。


所以,我们要在了解磁盘特点及操作系统 API 的基础上,尝试减少磁盘操作,或者优化磁盘操作。比如,在每次工作前,你可以先问一下自己:


  • access.log 是不是可以批量写入磁盘?

  • 是不是可以压缩后再写入,以减少传输字节数?

  • 或者是,干脆使用 syslog 协议,走网络写入其他服务器?



当 Nginx 用于 CDN 或者静态资源服务器时,大量的读操作下,我们需要考虑,对大文件采用 DirectIO 以减少无谓的高速缓存操作;而在 AIO 失效时,还要考虑基于线程池来应对阻塞等问题。


必看知识点:


第132讲 | 磁盘IO的优化

3、弄懂优化内存分配

Nginx 会确保每一个连接消耗的内存最小化,这也是 Nginx 支持高并发的关键。由于内存资源有限,并发数却数以百万计,这就要求在 Nginx 用户态下,每个连接所用的内存都应遵循以下几个原则:


  • 够用就好;

  • 延迟分配;

  • 减少内存碎片等等。


所以,弄清楚优化内存分配,首先你就得明白内存工作原理。在「第二章:Nginx 架构基础」的「第36讲 | 内存池对性能的影响」中我介绍过内存池的意义,在「第三章:详解 HTTP 模块」的「第45讲 | 处理HTTP请求头部的流程」中提及过处理请求过程中基于内存池分配的内存大小。


不过,TCP 是由操作系统内核实现的,所以 TCP 协议处理相关的内存,需要通过配置内核参数来控制,「第五章:Nginx 的系统层性能优化」对此有深入介绍。


推荐你看看以下的内容,看你是否已掌握 Nginx 性能优化中的重要部分:TCP 协议。


第120讲 | 性能优化方法论


第128讲 | TCP协议的keepalive功能


当然,分配内存的速度也非常重要。googleperftool 提供的 tcmalloc,就是为了替代默认的 glibc 库,用来分配内存的工具。它在多线程分配小块内存的速度上有很大优势。


必看知识点:


第135讲 | 用tcmalloc优化内存分配

4、高效使用 CPU 的负载均衡

提升性能工作中,最重要的一环,就是提升 CPU 的计算速度。不过,在如今动则 32 核、64 核等的多核 CPU 架构下,提升 CPU 效率便复杂了很多。比如下面这几个方面的问题:


  • 由于 CPU 有 1 级、2 级、3 级缓存之分,并且每级缓存的存取速度相差很大。所以,我们需要提升 CPU 缓存的利用率,例如需要绑定进程与 CPU。

  • 新版本的内核通过 reuseport,高效地解决了“惊群”问题。但这一选项,却需要我们显式配置。

  • NUMA 架构解决了总线带宽的束缚问题,但又引入了访问部分主存过慢的问题。

  • 多队列网卡可以提升 CPU 处理网络 packet 的效率,但它并不是万能的,只在其适用场景下发挥作用。


总的来说,多核确实意味着更强大的计算力,但真正的银弹并不存在。若想基于增加 CPU 核数获得接近线性提升的计算力,我们还有许多工作要做。


必看知识点:


第121讲 | 如何高效使用CPU

完结寄语

《Nginx核心知识100讲》已经完结,从预计 100 讲的内容扩充到了 155 讲,历经 3 个月的课程录制,才把我想交付给大家的知识点尽数讲完。


虽然网上关于 Nginx 的使用介绍非常多,但存在着“仅从使用层面介绍,未深入原理未”、“未体系化的性能优化知识”等问题。抱着想解决以上两个问题,及让大家系统化掌握 Nginx 的心,我从 HTTP 应用层、分布式集群到硬件及操作系统内核优化等等层面,把 Nginx 的知识点体系化地解读给大家。


大家若能跟着这一整套视频完整地学下来,必然能从 Nginx 的初级使用者成长为高阶使用者,搭建起自己的 Nginx 知识全景图。

学完课程后,你将获得:

  1. 基础知识详解及核心架构剖析

  2. 搭建支持百万高并发的 Nginx 服务

  3. 从内核优化到源码解读的全方位拆解

  4. OpenResty + Nginx 开发实战


戳此订阅/试看


2019-05-24 17:2929681

评论

发布
暂无评论
发现更多内容

Vue进阶(幺玖捌):js 判断 document.getElementByid(““) 获得的对象是否存在

No Silver Bullet

Vue 11月日更

Flutter怎么实现地图导航功能?

坚果

flutter 11月日更

2021年最新获取url参数的方法,用正则就落后啦

CRMEB

一个基于web服务器的PoW案例(一)

Regan Yue

区块链 共识算法 11月日更

【Promise 源码学习】第五篇 - 实现 Promise 对异步操作的支持

Brave

源码 Promise 11月日更

Android C++系列:JNI引用管理

轻口味

c++ android 11月日更

听说你还在写双层for循环解两数之和?

老表

Python LeetCode 11月日更 两数之和 算法与数据结构

Go语言,面试官问我go逃逸场景有哪些,我???

微客鸟窝

Go 语言 11月日更

🏆【Alibaba中间件技术系列】「RocketMQ技术专题」帮你梳理RocketMQ或Kafka的选择理由以及二者PK

洛神灬殇

kafka RocketMQ 消息队列 11月日更

dart系列之:dart类中的构造函数

程序那些事

flutter dart 程序那些事 11月日更

🏆【Alibaba中间件技术系列】「RocketMQ技术专题」帮你梳理RocketMQ相关的消费问题以及原理分析总结

洛神灬殇

RocketMQ 消息队列 11月日更 重复消费

模块三 架构文档

Asha

模块四作业-考试试卷-Redis存储方案设计

沐风

一个程序员日常工作中对于Github的一些另类用法

Jerry Wang

JavaScript GitHub SAP 11月日更

QA应该更新的测试工具-2013

刘冉

软件测试

Python Qt GUI设计:窗口布局管理方法【强化】(基础篇—6)

不脱发的程序猿

Python qt GUI设计 窗口布局管理方法

JDK还是Google,正则表达式引擎孰优孰劣?

后台技术汇

正则表达式 11月日更

Go语言,反射机制,反射三定律!

微客鸟窝

Go 语言 11月日更

shell原样输出字符串

WindFlying

意外发现,原来你不知道自己每天都在用门面模式

Tom弹架构

Java 架构 设计模式

应届生学的java,转自动化测试拿到15k薪资,送给大家的经验积分

六十七点五

Java 程序员 软件测试 自动化测试 测试工程师

数据库自增ID用完了会怎样

喵叔

11月日更

架构实战营模块5课后作业

胡颖

架构实战营

模块三-外包学生管理系统架构

小何

「架构实战营」

博文推荐|传智教育 x Pulsar:互联网教育的未来

Apache Pulsar

架构 云原生 消息中间件 Apache Pulsar 消息系统 互联网教育

Redis计算UV的4种方法

大数据技术指南

11月日更

【高并发】不得不说的线程池与ThreadPoolExecutor类浅析

冰河

Java 并发编程 多线程 高并发 异步编程

孔夫子旧书网数据采集,举一反三学爬虫,Python爬虫120例第21例

梦想橡皮擦

11月日更

【Flutter 专题】10 图解底部状态栏小尝试

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 11月日更

数据仓库之数据质量建设(深度好文)

五分钟学大数据

11月日更

数据流水线架构

俞凡

架构 数据

如何用Nginx实现百万并发连接?| 极客时间_语言 & 开发_陶辉_InfoQ精选文章