音视频技术的发展趋势

音视频技术的“两高一低”和 M&M 原则

音视频技术以及处理流程都比较复杂，一般情况下，系统会采集音频和视频，接下来会有一个前处理，前处理可能会完成美声、美颜和其他的一些优化。接下来，视频要经过编码再进入到网络传输，在互联网传输的过程中又需要实现网络加速。服务端分发后，需要有一个接收端，接收端收到数据包后会应用一些抗弱网的技术来保障质量，最后完成视频解码并在用户面前播放。

我认为这个过程中最重要的是保证音视频的“两高一低”，即：高质量、高流畅、低时延。

高质量是指音频的质量，包括高保真，无干扰声音(回声，噪声等)，音量大等；也指视频的质量，包括视频清晰，分辨率高。高流畅是指音频的语义完整、无卡顿和视频的帧率高、无卡顿。

为了达到高质量和高流畅，我们的做法是通过音频 3A 算法智能适应各类环境，全面消除回声、消除噪音，在嘈杂环境下实现音频的自动增益；自研高性能视频引擎，无缝结合基于 AI 的前后处理，大大增强视频主观体验和视频质量；自研音视频编解码器，可伸缩的编码复杂度，针对实时场景打造极致体验；基于学习的带宽评估与拥塞判断，自适应的 FEC、ARQ、PLC 等技术，在极限场景下依然通话流畅。

“两高一低”中还有一点是低时延。通常来讲，当时延小于 200ms，用户体验较好；时延在 200ms～400ms，用户可接受；时延大于 400ms，多数用户不太满意。这里边的技术难点有弱网环境导致的端到端时延不可控；音视频处理模块多、算法复杂，导致的数据处理时间长；遇到跨国、跨运营商网络问题，导致的链路质量和传输时延不可控。

我们的做法是通过拥塞控制算法应对弱网场景，自适应的带宽预测，动态码率调整，同时采用前向纠错、丢包重传和丢包隐藏三大丢包恢复策略，降低传输时延。另外，高度优化的音视频编解码器、处理算法和网络模块也缺一不可，用于保障毫秒级的处理时延。对了应对全球用户的接入，我们独创了一套 Pano Backbone 实时传输加速网络，实现用户就近接入和全球网络覆盖。

实时音视频是非常吃资源和带宽的，需要用最少的资源、最少的算力，实现最优的效果，我把这总结为 M&M 原则：Minimum Cost, Maximum Performence。

音视频技术的发展趋势

音视频技术本身将会不断发展，首先是视频编码技术会快速迭代，目前在用的主流的视频编码标准是 H264，H264 第一版标准完成于 2003 年，距今已经 18 年了，H265 因为专利的原因并没有被广泛使用。

我们预期新的编码标准将会比较快的应用起来，尤其是 AV1，作为开源媒体联盟 AOM 制定的第一代标准，除了有非常好的生态支持，还提供了免费的专利政策，相比 H.265 等知识产权政策不明确的视频标准，有巨大的优势。

其次是 AI 技术，它对整个 RTC 行业带来的影响是非常深远的，客观地说，以深度学习为代表的 AI 技术的发展与成熟，对音视频关键技术的突破提供了另一个有希望的方向。

有些使用传统技术无法解决的问题，可以通过与 AI 技术的融合，大大降低问题解决的难度。无论是 RTC 行业的核心音视频编解码，还是其他一些音视频处理和增强技术，比如现在比较热的音频降噪、视频超分、对象分割识别、语义识别等，在 AI 的加持下，都获得了突破，从而催生了智能客服、智能监控、虚拟形象等新领域。

音视频技术也会随着 5G、AR/VR 等技术的发展而发展，将会给用户带来更加沉浸式的体验，也将催生更多行业和场景来应用音视频技术。5G 浪潮的爆发正在为实时音视频创造低时延和高带宽的网络条件，这些基础设施的改进，为超高清视频、全景视频技术的落地创造了可能。AR/VR 为音视频应用的场景和生态拓宽了道路，加速 3D 视频、虚拟现实等技术的落地，共同为下一个互联网形态“元宇宙”提供强有力的技术基建，实现科技向善的美好未来。

9 月 29 日，周三晚上 8 点，资深音视频专家、拍乐云 CEO 赵加雨老师会在直播间分享他对于音视频技术趋势的思考。如果你对这个方向感兴趣，欢迎预约直播。