性能提升 50%、资源占用节约 70%,知乎问答服务 Go 语言重构实践

阅读数:9367 2019 年 6 月 4 日 09:48

性能提升50%、资源占用节约70%,知乎问答服务 Go 语言重构实践

2019 年 3 月,Go 语言官方博客发布了 2018 年 Go 语言调查报告, 共有来自 103 个国家的 5883 名开发者参与到这次的调查中。调查结果显示,目前将 Go 语言作为日常使用的编程语言的受访者已经达到 50%,在工作中使用 Go 语言开发的人数从 68% 增加至 72%,且受访者普遍都拥有了 2 年以上的 Go 语言开发经验。

性能提升50%、资源占用节约70%,知乎问答服务 Go 语言重构实践

虽然绝大多数受访者表示 Go 语言是他们最喜欢的编程语言,也在积极实践,但不可否认的是,他们对于 Go 语言的使用熟练度远不如其它语言高。如何才能更好的让 Go 语言为我所用呢?我们采访了知乎业务架构组技术负责人姚钢强。

据了解,知乎从 2017 年开始尝试使用 Go 语言来构建业务系统,目前知乎的问答、评论、文章、个人页、部分反作弊系统、部分搜索和商业的业务是使用 Go 语言进行搭建的,单元测试覆盖率一般在 70% 左右。

Go 语言在知乎的实践历程

从 2017 年开始使用 Go 语言构建业务系统到 2019 年使用 Go 语言重构老系统、开发新系统,这中间知乎一直在不间断的探索 Go 语言在企业中的实践。如果要把 Go 语言在知乎的实践历程划分成不同的阶段,姚钢强认为可以按照年份分为三个阶段:

2017 年,知乎技术平台和个别业务开始尝试使用 Go 语言构建自己的系统,但此时配套的基础设施并不完全,所以在这一年中,前架构团队开发了部分基础设施(RPC 框架、监控),并且使用 Go 语言重写了流量最大的内部 RPC 服务 member。

2018 年,随着知乎的发展,部分 Python 老服务资源消耗严重,于是团队开始针对评论和问答业务进行 Go 语言重写,在重写期间完善了基础设施(日志、降级、单元测试、Sentry),并确定了基础的代码组织结构。2018 年 7 月,知乎完成了评论业务的全部重写和问答业务主要流量接口的重写。2018 年底,知乎完成了关于问答业务 Python 与 Go 语言部分的基于业务的垂直拆分。

2019 年,知乎社区事业部开始针对占用资源较大的老 Python 业务进行 Go 语言重写,同时使用 Go 语言进行大部分新业务的开发。

知乎问答服务重构:Go 语言还是 Java,这是个问题?

问答服务是知乎目前对外流量最大的服务,之所以要重构的原因是随着知乎的发展,流量不断增加,原先使用 Python 构建的项目占用了太多的资源。

重构时是如何进行编程语言选型的呢?姚钢强表示:“我是 2018 年开始负责重构工作,当时我们主要是在 Java 和 Go 语言之间做选择,最终选择了 Go 语言的主要原因是当时在知乎 Go 语言的基础设施相对于 Java 更全面,RPC 框架、监控等基础设施已经完备。另外,知乎 Go 语言的群众基础更好,因为基础架构部门已经使用 Go 语言进行了一些 Proxy 的开发,工程师对于 Go 语言的兴趣更高。”

至于 Java ,姚钢强表示:“如果原先知乎是使用 Java 进行项目开发的话,可能也就不需要重构了。”

重构过程中遇到的挑战

与新建一个系统不同,项目重构更多的是变换过程,将之前的代码变换得到新的代码,而新代码的外部接口和输入输出还要和之前的代码保持一致。所以,项目重构面临的挑战很多,不仅要解决业务方面的问题,同时也要考虑与原有系统之间的关系。

知乎在重构问答服务时,主要的挑战有两个方面。

一是测试,问答服务是知乎很重要的项目,在保证单元覆盖的基础上,功能测试很复杂:读接口是同时发出请求,在线对比通过日志找出差异;写接口就必须在深入了解业务的基础上,与直接负责该业务的同事一起列出所有的 TestCase,先由两位工程师根据 TestCase 分别进行测试,然后交由 QA 进行二次验收;

二是之前的项目大量使用了 Python 的动态特性,尤其是类 GraphQL 的接口。所以,首先知乎团队分析了使用的类 GraphQL 接口,发现只有个别接口需要这种形式;其次,针对需要类 GraphQL 的解析进行一层抽象,单独一层(不使用反射)进行 URL 解析,然后将解析后字段对应到处理函数。

项目重构的收获

Go 语言重构项目完成之后,相比之前的 Python 项目,资源占用减少了 70% - 80% ,复杂接口的性能有 50% 左右的提升。在重构问答服务的过程中,知乎团队也对 Go 语言的基础组件和基础设施进行了完善。

据姚钢强介绍,目前业务中使用到的基础组件主要包括:

●      基于 Thrift 的 RPC 框架;
●      基于 go-chi 的 Web 框架;
●      基于 Sentry 的错误排查系统;
●      基于 go-resiliency 的降级;
●      基于 testify 的单元测试;
●      基于 go-runtime-metrics 的 runtime 监控;
●      基于 Graphite Grafana 打点和监控;
●      基于 Kafka 和 Beanstalk 的离线任务 ;
●      基于存储统一接口(可替换存储)的 cache 库。

知乎的 Go 语言重构计划

据了解,Go 语言已经成为知乎内部项目技术选型的推荐编程语言,不仅新业务的开发会首选 Go 语言,同时也使用 Go 语言重构了很多其它项目。目前知乎对内流量比较高的会员、评论服务和对外流量最大的问答服务都已经完成了重构,文章、个人页等其他服务也完成了部分流量较大接口的重构。

知乎未来是否还有比较大的重构计划?姚钢强表示:“目前没有重构计划,因为我们重构的初衷是节省机器资源,而流量比较大的业务都已经完成了重构,如果再去做其它重构,投入产出比太低了。”

Go 语言重构项目经验总结

什么样的项目适合使用 Go 语言来进行重构呢?姚钢强认为:“如果是占用机器资源比较多,且之前是使用 Python、PHP、Ruby 构建的业务系统,那么使用 Go 语言重构会节省大量机器资源,提高性能。如果原先是使用 Java 构建的业务系统,那么不建议使用 Go 语言进行重构。”

在使用 Go 语言重构项目的过程中,姚钢强认为以下三点是值得注意的:

  • 重构业务系统的第一步永远是了解业务,所以必须要有负责当前业务的同学参与。如果没有了解业务就盲目进行重构,那么很容易出现 Bug,而且还可能导致未来系统难以维护;
  • 项目开发之前要统一代码规范,配置好自动化的严格静态代码检,并且统一错误日志格式,做好调用链路跟踪的打点;
  • 在放量阶段要谨慎一点,针对读接口要先对比,然后逐步灰度放量;针对写接口,要与业务方和 QA 确认好所有的业务 TestCase,工程师先自测,然后交给其他工程师或者 QA 做二次验证。

针对 Go 语言本身,姚钢强也有一些期待:“目前 Go 语言在业务开发方面与 Java 还有很大差距,很多基础组件都不完善,期待之后 Go 语言的基础组件能够更完善,在语法方面能够提供泛型与更好的错误处理。”

采访嘉宾

姚钢强,知乎业务架构组技术负责人。2013 年加入知乎,曾担任首页 Feed 工程技术负责人,通过构架优化使响应时间 P95 从 1.6s 降低到 700ms,稳定性由 99.9% 提升到 99.99%。2018 年开始负责社区业务架构组,与团队一起用 Go 重写了知乎主要的业务模块,完成节省机器资源 75%,并完善了公司的 Golang 基础设施。

收藏

评论

微博

用户头像
发表评论

注册/登录 InfoQ 发表评论