拍乐云 CEO 赵加雨：音视频领域的发展与挑战 | QCon

疫情过后，人们对在线课堂、视频会议等音视频服务的需求显著上升，对音视频的使用体验、产品质量也有了更高的要求。拍乐云作为实时通信云服务提供商，需要用专业的技术满足用户在不同场景、设备上的需求，采用不同的策略应对多样化的网络环境，才能不断提升用户在观看音视频过程中的体验。

InfoQ 记者有幸在QCon 2021 全球软件开发大会上，采访到了拍乐云的创始人 &CEO 赵加雨，由他亲自为我们讲解音视频领域的发展与挑战。

以下是视频采访内容，为方便读者查看，视频下方也附上了文字内容。

InfoQ：非常感谢您参加 QCon 2021 的视频采访。首先，请您做一个简单的自我介绍。

赵加雨：我曾经在 WebEx 工作了 14 年，17 年从美国回来后就加入了网易，担任网易云信的 CTO。2 年后出来创业，创立了拍乐云。

InfoQ：您一直在做专业视频音频方面，所以我对您的工作经验非常感兴趣。之前在网上看到您有聊到音视频领域的昨天、今天和明天，那在这里能和我们再进一步谈谈音视频领域里技术的演进过程吗？

赵加雨：音视频领域经过这十几年的发展也是在快速演进的，这里可以从多个纬度来讨论。在我 2003 年最开始做视频会议的时候，那时的音视频还是以语音为主，视频还是低清的，但这之后视频就逐渐变得越来越高清。

从设备角度来说，刚开始很多都是在 PC 上使用，随着移动互联网的发展，更多的移动设备也接入进来。

另外，起初视频会议的使用场景一般就是在电脑上开会，但现在已经发展到了有各种场景都会使用音视频，包括娱乐、在线教育等等。

从技术的角度来说，近几年也有 AI 与音视频的结合，这些都是非常好的发展。

InfoQ：音视频技术以及处理流程都比较复杂，处理过程中包含编码、数据存储、弱网处理等等，所以能请您简单介绍一个实时音视频系统的处理流程是怎样的吗？

赵加雨：比如说我们两个人是线上通话的，我们都需要听到对方的声音，看到对方的画面，这里就涉及到一个链路。一般情况下，系统会采集音频和视频，接下来会有一个前处理，前处理可能会完成美声、美颜和其他的一些视频优化。接下来，视频要经过编码再进入到网络传输，在互联网传输的过程中又需要实现网络加速。服务端分发后，需要有一个接收端，接收端收到数据包后会应用一些抗弱网的技术来保障质量，最后完成视频解码并在用户面前播放。

InfoQ：音视频处理流程有这么多环节，各个环节的关键技术是怎样的？

赵加雨：因为音视频都非常强调两高一低，尤其是在低时延的情况下，因此我们要求所有通话都最好能控制在 400 毫秒以内。同时，低时延的限制导致技术人员在各个环节都要把很多性能方面的问题调整到最优点。就像之前提到的，从采集到前处理，从编码到服务端，这里的每个链条都要考虑两高一低，最终实现一个真正的高清流畅的低时延视频通话效果。

InfoQ：在各个环节中有哪些难点，它们分别是什么？

赵加雨：这里一般会面临两大难点。第一个是网络环境是多种多样的，比如不同的网络环境里可能有很多弱网，所以在这些场景里就要考虑到抗弱网。

第二个是视频运行的设备也是多种多样的，比如各种手机设备、低端或高端设备等等，但我们还是要在各个设备上都做到表现最优。

所以，多样化的网络环境和多元化的设备，给音视频的处理带来了各种挑战。

InfoQ：我了解到拥塞控制是保证音视频质量的一个关键环节，能谈谈你们在这方面的理解和解决方案吗？

赵加雨：其实可以从两个维度来探讨拥塞控制。第一是要知道有哪些拥塞控制的方式，这里可能涉及到几十种策略算法，而且在各个环节都会有不同策略的算法来帮助技术人员处理对应的情况，所以首先是要知道这个工具箱里有这么多工具。

第二点是在面对真实的弱网环境时，不同的弱网环境适用的拥塞控制策略不同，所以应该具体情况具体分析，采取合适的抗弱网算法，而使用这些算法最终都是为了保证两高一低的音视频体验。

所以，不能为了抗弱网而抗弱网，丢弃了两高一低，一定要避免在错误的地方使用错误的工具，从而带来负向效果。

InfoQ：从势能上看，整个音视频这个行业进入了快速增长期。那么从技术上来看，目前行业面临的挑战在哪里？

赵加雨：在我看来，因为这次疫情，音视频变得更下沉，又变得更上浮。这里可以这样理解，下沉的意思是说有更多的场景和人来使用音视频，对应的设备种类也增加了。因此低端设备就变多了，差的网络变多了，这就是一种挑战。

而上浮则代表着有更专业、高端的场景也开始需要音视频，比如怎样让音视频更高清、更有沉浸感和互动感，这些方面也出现了更多的需求。所以，比起过去，音视频的应用场景是在不断拓宽的，需求也变得更多样了。

InfoQ：您觉得音视频行业未来的趋势会是怎样的？

赵加雨：未来，音视频一定会随着新的技术以及大环境，包括 IT、基建等等来同步迭代。在音视频领域里，有很多东西是几十年都没有变过，也有很多东西在持续迭代。随着 AR、VR、AI 这些新技术的出现，以及 5G 的商用，音视频也一定会和它们有更多的结合，在更多场景里出现。

InfoQ：最后想问问您的创业，音视频的创业赛道非常激烈，您在几年创业过程里有什么感触？

赵加雨：我原来做了将近 20 年的技术，这两年创业的过程也看到了这个赛道里激烈的竞争。从自己的工作体会来说，现在会看到各种客户不同的场景、不同的问题，这个很有意思。

以前只是专注把技术做深，离市场很远。现在带着一群专业的技术人员去解决客户面临的问题，一方面是积累专业的技术，一方面也缩短客户反馈的链路。在解决问题过程里，会有非常多的成就感。

虽然这个赛道竞争很激烈，但我们也坚信要把音视频产品的质量做到最优，这样才能在市场获得发展的机会。所以我们希望在技术上做到极致，在产品上追求极简，把产品做好，给客户带来最好的产品，最终在市场上占领一席之地。