写点什么

性能提升 50%、资源占用节约 70%,知乎问答服务 Go 语言重构实践

  • 2019-06-04
  • 本文字数:2706 字

    阅读完需:约 9 分钟

性能提升50%、资源占用节约70%,知乎问答服务 Go 语言重构实践

2019 年 3 月,Go 语言官方博客发布了2018年Go语言调查报告, 共有来自 103 个国家的 5883 名开发者参与到这次的调查中。调查结果显示,目前将 Go 语言作为日常使用的编程语言的受访者已经达到 50%,在工作中使用 Go 语言开发的人数从 68%增加至 72%,且受访者普遍都拥有了 2 年以上的 Go 语言开发经验。



虽然绝大多数受访者表示 Go 语言是他们最喜欢的编程语言,也在积极实践,但不可否认的是,他们对于 Go 语言的使用熟练度远不如其它语言高。如何才能更好的让 Go 语言为我所用呢?我们采访了知乎业务架构组技术负责人姚钢强。


据了解,知乎从 2017 年开始尝试使用 Go 语言来构建业务系统,目前知乎的问答、评论、文章、个人页、部分反作弊系统、部分搜索和商业的业务是使用 Go 语言进行搭建的,单元测试覆盖率一般在 70%左右。

Go 语言在知乎的实践历程

从 2017 年开始使用 Go 语言构建业务系统到 2019 年使用 Go 语言重构老系统、开发新系统,这中间知乎一直在不间断的探索 Go 语言在企业中的实践。如果要把 Go 语言在知乎的实践历程划分成不同的阶段,姚钢强认为可以按照年份分为三个阶段:


2017 年,知乎技术平台和个别业务开始尝试使用 Go 语言构建自己的系统,但此时配套的基础设施并不完全,所以在这一年中,前架构团队开发了部分基础设施(RPC 框架、监控),并且使用 Go 语言重写了流量最大的内部 RPC 服务 member。


2018 年,随着知乎的发展,部分 Python 老服务资源消耗严重,于是团队开始针对评论和问答业务进行 Go 语言重写,在重写期间完善了基础设施(日志、降级、单元测试、Sentry),并确定了基础的代码组织结构。2018 年 7 月,知乎完成了评论业务的全部重写和问答业务主要流量接口的重写。2018 年底,知乎完成了关于问答业务 Python 与 Go 语言部分的基于业务的垂直拆分。


2019 年,知乎社区事业部开始针对占用资源较大的老 Python 业务进行 Go 语言重写,同时使用 Go 语言进行大部分新业务的开发。

知乎问答服务重构:Go 语言还是 Java,这是个问题?

问答服务是知乎目前对外流量最大的服务,之所以要重构的原因是随着知乎的发展,流量不断增加,原先使用 Python 构建的项目占用了太多的资源。


重构时是如何进行编程语言选型的呢?姚钢强表示:“我是 2018 年开始负责重构工作,当时我们主要是在 Java 和 Go 语言之间做选择,最终选择了 Go 语言的主要原因是当时在知乎 Go 语言的基础设施相对于 Java 更全面,RPC 框架、监控等基础设施已经完备。另外,知乎 Go 语言的群众基础更好,因为基础架构部门已经使用 Go 语言进行了一些 Proxy 的开发,工程师对于 Go 语言的兴趣更高。”


至于 Java ,姚钢强表示:“如果原先知乎是使用 Java 进行项目开发的话,可能也就不需要重构了。”

重构过程中遇到的挑战

与新建一个系统不同,项目重构更多的是变换过程,将之前的代码变换得到新的代码,而新代码的外部接口和输入输出还要和之前的代码保持一致。所以,项目重构面临的挑战很多,不仅要解决业务方面的问题,同时也要考虑与原有系统之间的关系。


知乎在重构问答服务时,主要的挑战有两个方面。


一是测试,问答服务是知乎很重要的项目,在保证单元覆盖的基础上,功能测试很复杂:读接口是同时发出请求,在线对比通过日志找出差异;写接口就必须在深入了解业务的基础上,与直接负责该业务的同事一起列出所有的 TestCase,先由两位工程师根据 TestCase 分别进行测试,然后交由 QA 进行二次验收;


二是之前的项目大量使用了 Python 的动态特性,尤其是类 GraphQL 的接口。所以,首先知乎团队分析了使用的类 GraphQL 接口,发现只有个别接口需要这种形式;其次,针对需要类 GraphQL 的解析进行一层抽象,单独一层(不使用反射)进行 URL 解析,然后将解析后字段对应到处理函数。

项目重构的收获

Go 语言重构项目完成之后,相比之前的 Python 项目,资源占用减少了 70% - 80% ,复杂接口的性能有 50%左右的提升。在重构问答服务的过程中,知乎团队也对 Go 语言的基础组件和基础设施进行了完善。


据姚钢强介绍,目前业务中使用到的基础组件主要包括:


●      基于 Thrift 的 RPC 框架;


●      基于 go-chi 的 Web 框架;


●      基于 Sentry 的错误排查系统;


●      基于 go-resiliency 的降级;


●      基于 testify 的单元测试;


●      基于 go-runtime-metrics 的 runtime 监控;


●      基于 Graphite Grafana 打点和监控;


●      基于 Kafka 和 Beanstalk 的离线任务 ;


●      基于存储统一接口(可替换存储)的 cache 库。

知乎的 Go 语言重构计划

据了解,Go 语言已经成为知乎内部项目技术选型的推荐编程语言,不仅新业务的开发会首选 Go 语言,同时也使用 Go 语言重构了很多其它项目。目前知乎对内流量比较高的会员、评论服务和对外流量最大的问答服务都已经完成了重构,文章、个人页等其他服务也完成了部分流量较大接口的重构。


知乎未来是否还有比较大的重构计划?姚钢强表示:“目前没有重构计划,因为我们重构的初衷是节省机器资源,而流量比较大的业务都已经完成了重构,如果再去做其它重构,投入产出比太低了。”

Go 语言重构项目经验总结

什么样的项目适合使用 Go 语言来进行重构呢?姚钢强认为:“如果是占用机器资源比较多,且之前是使用 Python、PHP、Ruby 构建的业务系统,那么使用 Go 语言重构会节省大量机器资源,提高性能。如果原先是使用 Java 构建的业务系统,那么不建议使用 Go 语言进行重构。”


在使用 Go 语言重构项目的过程中,姚钢强认为以下三点是值得注意的:


  • 重构业务系统的第一步永远是了解业务,所以必须要有负责当前业务的同学参与。如果没有了解业务就盲目进行重构,那么很容易出现 Bug,而且还可能导致未来系统难以维护;

  • 项目开发之前要统一代码规范,配置好自动化的严格静态代码检,并且统一错误日志格式,做好调用链路跟踪的打点;

  • 在放量阶段要谨慎一点,针对读接口要先对比,然后逐步灰度放量;针对写接口,要与业务方和 QA 确认好所有的业务 TestCase,工程师先自测,然后交给其他工程师或者 QA 做二次验证。


针对 Go 语言本身,姚钢强也有一些期待:“目前 Go 语言在业务开发方面与 Java 还有很大差距,很多基础组件都不完善,期待之后 Go 语言的基础组件能够更完善,在语法方面能够提供泛型与更好的错误处理。”

采访嘉宾

姚钢强,知乎业务架构组技术负责人。2013 年加入知乎,曾担任首页 Feed 工程技术负责人,通过构架优化使响应时间 P95 从 1.6s 降低到 700ms,稳定性由 99.9% 提升到 99.99%。2018 年开始负责社区业务架构组,与团队一起用 Go 重写了知乎主要的业务模块,完成节省机器资源 75%,并完善了公司的 Golang 基础设施。


2019-06-04 09:4813925
用户头像

发布了 497 篇内容, 共 289.1 次阅读, 收获喜欢 1861 次。

关注

评论 1 条评论

发布
用户头像
如果原先知乎是使用 Java 进行项目开发的话,可能也就不需要重构了
2019-11-21 19:39
回复
没有更多了
发现更多内容

干货分享-作为Lead 接手一个新的数据团队一 问题盘点 与Insights的发现

松子(李博源)

经验分享 数据分析师 成长笔记 带团队

一文读懂Elephant Swap的LaaS方案的优势之处

西柚子

Spring Cloud 与 K8s 的微服务设计

Damon

7月月更

java零基础入门-java8新特性(上篇)

喵手

Java 7月月更

关于数据产品经理的三个小的知识点

松子(李博源)

数据中台 数据产品经理 数据产品

LeetCode-88. 合并两个有序数组(java)

bug菌

Leet Code 7月月更

优博讯助力深圳打造全球“鸿蒙欧拉之城”

Geek_2d6073

NFT卡牌链游系统Dapp开发搭建

薇電13242772558

NFT 链游

SENSORO 付刘伟:创新技术服务为基层政府筑造数字底座

SENSORO

人工智能 大数据 物联网 城市大脑 数字政府

SeekTiger的Okaleido有大动作,生态通证STI会借此爆发?

鳄鱼视界

阿里JAVA架构师面试136题含答案:JVM+spring+分布式+并发编程!

程序知音

Java 程序员 java面试 后端技术 八股文

开幕在即 | “万物互联,使能千行百业”2022开放原子全球开源峰会OpenAtom OpenHarmony分论坛

OpenHarmony开发者

OpenHarmony

算法题每日一练---第5天:星系炸弹

知心宝贝

算法 前端 后端 7月月更

TIME的新封面:元宇宙将改变一切

智捷云

元宇宙 Metaverse 智捷云 智捷云科技

妙啊!美团 OCTO 分布式服务治理系统,这描述也太清晰了

冉然学Java

Java 分布式 美团 #技术干货# Java 开发

实时计算基本概念解析

五分钟学大数据

实时计算 7月月更

JAVA编程规范之日志规约

源字节1号

后端技术

面试突击67:说一下 TCP/IP 协议?以及每层的作用?

王磊

Java 面试

CSS 炫酷文本过渡动画

南城FE

CSS css3 前端 7月月更

C# 窗体应用DataGridView,使用数据库(Sql和MySQl)对DataGridView绑定数据源,获取数据

IC00

C# 7月月更

NFT数字藏品系统搭建—app开发

开源直播系统源码

软件开发 数字藏品 NFT数字藏品系统

管理的艺术-通过领导力驱动软件研发效能提升

莫莫小熊

领导力 管理 敏捷 研发效能 指标管理

面向高性能计算场景的存储系统解决方案

Baidu AICLOUD

异构计算 云原生存储 AI加速

图文并茂,讲解TCP和UDP协议的原理以及区别

程序知音

程序员 网络 TCP/IP 后端技术 底层原理

多商户系统的直播功能用过吗?用过的朋友扣个 666!

CRMEB

在 Kyma 云原生平台上开发并部署 Node.js 应用

Jerry Wang

Kubernetes 云原生 SAP Kyma 7月月更

敏捷 ? DevOps ?

FunTester

NFT挖矿分红系统开发模式定制

开发微hkkf5566

如何做好研发精益需求管理

思码逸研发效能

研发管理 研发效能 科技

转转监控系统的内部原理及实践 审核中

转转技术团队

监控 Prometheus

性能提升50%、资源占用节约70%,知乎问答服务 Go 语言重构实践_语言 & 开发_田晓旭_InfoQ精选文章