《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

搜狗开源轻量级 C++ 服务器引擎

  • 2020-09-03
  • 本文字数:1792 字

    阅读完需:约 6 分钟

搜狗开源轻量级C++服务器引擎

9 月 3 日,搜狗公司正式宣布开源 C++服务器引擎——Sogou C++Workflow。


目前 Workflow 支撑着搜狗几乎所有后端 C++在线服务包括所有搜索服务,云输入法,在线广告等,每日处理数百亿请求,引擎一经发布就在 GitHub 上引起众多开发者关注。这款引擎不仅实现了高性能、轻量级的落地,还创新性的引入任务流概念,实现了计算任务与通信任务的统一和协同调度。基于 Workflow 引擎,开发者可以方便的实现复杂的业务逻辑,并进一步满足对高并发、高性能 C++服务器程序的开发需求。


Sogou C++Workflow 地址:https://github.com/sogou/workflow

轻量级、高性能, Sogou C++ Workflow 助力企业降本增效

Workflow 在设计之初,就秉持着高性能与轻量级两个核心理念。长久以来,业界中优化服务器性能都主要专注于如何跑满 cpu、如何单独地让网络请求极速响应等方面。而此次上线搜狗 Workflow 则更专注于如何让各种网络资源被具体的调度器管理,使其尽可能地全部调度起来。



另一方面,对多通信计算资源融为一体的解决方案,进一步提升了 Workflow 引擎的性能。过去开发者在面临选择高吞吐网络框架时,需要自己面对不同计算资源比例而划分不同大小的线程池。然而每种计算具体资源需求比例是动态变化的,重要性也不一样,后端响应时长也是动态变动。如今在 workflow 的加持下,C++服务器引擎也能像 Go 语言一样,实现网络资源异步调度,并且进一步打通计算,磁盘等资源。



引入任务流概念,是搜狗 Workflow 引擎的另一亮点。Workflow 将资源高度封装,用户再也接触不到连接池、线程池、包括想要做 aio 时的文件 fd 与各种异步通知机制。这就意味着,在开发阶段开发人员仅仅需要了解业务关系而不用关心内部细节,帮助开发者们实现自己复杂的业务逻辑。


开发人员可以利用 Workflow 封装好的各种任务来动态或静态组建自己的业务逻辑,如下图所示,不同类型的任务都可以被串行、并行到一起:



除了各种创新设计以外,workflow 还拥有比其他 C++框架更友好的用户体验。过去许多企业自己搭建的服务器平台,在设计之初并未考虑到对多平台、多协议的支持,导致当新需求出现之时,开发者不得不通过自定义框架等方式来解决这个问题。Workflow 原生实现了对 http、redis、mysql 和 kafka 等协议,可以直接作为这些协议的客户端使用。并且在其基础上开发了一套更加易用的 Sogou RPC,实现与 brpc 和 thrift 互通,IDL 支持 protobuf 和 thrift,并且可以通过 http+json 或 IDL 实现跨语言,Sogou RPC 项目也会在不久的将来开源。

Http Server 性能实测:Sogou C++Workflow VS nginx、brpc

为了充分的体现出 Workflow 在性能上的优势,搜狗也提供了 Workflow 和 nginx、brpc 两个比较主流知名的系统一起做的 http server 性能对比。


测试环境:


这里选取了最基本的测试场景:wrk 或者 wrk2 跨机做 client,单 server,长连接,CPU:40 核 E5-2630 v4 @ 2.20GHz,内存:192GB,网卡:25000Mb/s。nginx 配置了 auto 的进程数(与核数一致),brpc 配置了 40 个 nthreads,workflow 配置了 16 个 poller 线程和 20 个 handler 线程。


测试一:不同并发数对 QPS 的影响(越高越好)



结论:随着压测并发数的增加,server 的 QPS 会随着增高。可以看到 Workflow 无论是低并发数还是高并发数的情况下,QPS 依然比 nginx 和 brpc 要高,尤其是并发数超过 128 的时候优势更加明显,Workfow 对于小包基本能保证 50w 的 QPS,说明内部对网络资源的高并发调度做了很多优化。


测试二:不同数据大小对 QPS 的影响(越高越好)



结论:此处的返回包大小是 http 请求的 body 大小,随着返回包增大,QPS 会有所下降,我们希望 QPS 依然尽可能保持平稳不要下降得太快。Workflow 在同并发下的性能依然比其他两个系统要好,说明网络收发和其他调用之间的调度协调得更好。


测试三:固定 QPS 下的延迟分布 CDF 图(越左越好,越直越好)



结论:本测试由 wrk2 进行固定 QPS 的压测,其中还有 1%的长尾请求 Outiler,长尾请求不计入结果,因为我们关注的是模拟真实情况下普通请求能否被及时处理。由于 nginx 在其他测试中性能略差一截,因此没有对其进行 CDF 对比。可以看到在不同比例的分布中,Workflow 的延迟更低、且最慢的那些(0.99 到 1.00 之间)延迟增长也相对缓慢,说明 Workflow 对长尾处理更及时。


通过对比,可以发现 Workflow 的确在核心性能上有着自己独到的优势,对于很多开发者来说,往后也就多了一种选择。


2020-09-03 13:5110744

评论 4 条评论

发布
用户头像
自己后台业务做得烂,和proxy什么关系,真6
2020-09-23 15:37
回复
用户头像
👏
2020-09-04 11:20
回复
用户头像
谢谢分享,改天下来阅读下。又gitee的镜像妈?
2020-09-03 16:03
回复
暂时没有放到gitee上~欢迎试用欢迎与我们多多交流哟~
2020-09-03 21:03
回复
没有更多了
发现更多内容

微信业务架构图与学生管理系统架构图

冷夫冲

架构实战营 #架构实战营 架构师实战营 「架构实战营」

【云原生 | 从零开始学Kubernetes】九、k8s的node节点选择器与node节点亲和性

泡泡

Docker 云计算 云原生 k8s 9月月更

第九期-模块一

wuli洋

docker的/var/run/docker.sock参数

程序员欣宸

Docker Docker 镜像 9月月更

全网首次公开:Java面试参考指南V3.0版(完美契合当下所有互联网公司面试需求)

Java全栈架构师

数据库 程序人生 后端 高并发 Java 面试

【云原生 | 从零开始学Kubernetes】八、命名空间资源配额以及标签

泡泡

Docker 云计算 云原生 k8s 9月月更

数据中台架构概述

穿过生命散发芬芳

数据中台 9月月更

MFC|实现自定义复选框效果

中国好公民st

c++ 控件 9月月更

信息论与编码(一)| 信源分类与数学模型

timerring

9月日更 信息熵

阿里P8大牛总结的Java锁机制入门笔记,堪称教科书式天花板

收到请回复

多线程 语言 & 开发

Linux安装minikube指南

程序员欣宸

Kubernetes minikube 9月月更

20道常被问到的JavaScript题目

helloworld1024fd

JavaScript 前端

全网首次公开!阿里巴巴1685页Java面试突击核心讲(基础到高级足足涵盖19个Java核心技术)

Java永远的神

数据库 spring 程序员 程序人生 java面试

Javaweb核心响应对象

楠羽

笔记 Java核心笔记 9月月更

互联网架构师联合总结的Java面试攻略,GitHub标星30K!

程序知音

java面试 大厂面试 java架构师 后端技术 Java面试八股文

Canvas+Javascript实现点击小球的爆炸效果

Sam9029

JavaScript canvas 9月月更 小球爆炸

Python语法之字典

芯动大师

字典 9月月更 Python语法

【算法实践】手把手带你简单实现希尔排序

迷彩

算法 排序算法 希尔排序 算法实践 9月月更

总结了一下前端高频面试题的答案

loveX001

JavaScript 前端

面试突击86:SpringBoot 事务不回滚?怎么解决?

王磊

Java 面试

2022前端面试官经常会考什么

beifeng1996

前端 React

如何准备vue相关的知识点

bb_xiaxia1998

Vue 前端

阿里最新秋招面经,腾讯/美团/字节1万道Java中高级面试题

程序知音

Java 大厂面试 后端技术 Java面试八股文 阿里面试

大厂前端面试考什么?

loveX001

JavaScript 前端

这些js手写题你能回答上来几道

helloworld1024fd

JavaScript 前端

监控平台SkyWalking9入门实践

Java 架构 Skywalking

【编程实践】提高工作效率,避免重复且枯燥的操作,利用Python自动发送邮件

迷彩

SMTP 邮件协议 9月月更 Python邮件发送

2022年企业Java面试前复习的正确姿势(已助力512人入职大厂)

收到请回复

Java 程序员 微服务 语言 & 开发

2022-09-25:给定一个二维数组matrix,数组中的每个元素代表一棵树的高度。 你可以选定连续的若干行组成防风带,防风带每一列的防风高度为这一列的最大值 防风带整体的防风高度为,所有列防风高度

福大大架构师每日一题

算法 rust 福大大

大数据ELK(四):Lucene的美文搜索案例

Lansonli

9月月更 EKL

react面试应该准备哪些题目

beifeng1996

前端 React

搜狗开源轻量级C++服务器引擎_开源_搜狗架构团队_InfoQ精选文章