AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

音视频技术的发展趋势

赵加雨

  • 2021-09-26
  • 本文字数:1541 字

    阅读完需:约 5 分钟

音视频技术的“两高一低”和 M&M 原则

音视频技术以及处理流程都比较复杂,一般情况下,系统会采集音频和视频,接下来会有一个前处理,前处理可能会完成美声、美颜和其他的一些优化。接下来,视频要经过编码再进入到网络传输,在互联网传输的过程中又需要实现网络加速。服务端分发后,需要有一个接收端,接收端收到数据包后会应用一些抗弱网的技术来保障质量,最后完成视频解码并在用户面前播放。


我认为这个过程中最重要的是保证音视频的“两高一低”,即:高质量、高流畅、低时延。


高质量是指音频的质量,包括高保真,无干扰声音(回声,噪声等),音量大等;也指视频的质量,包括视频清晰,分辨率高。高流畅是指音频的语义完整、无卡顿和视频的帧率高、无卡顿。


为了达到高质量和高流畅,我们的做法是通过音频 3A 算法智能适应各类环境,全面消除回声、消除噪音,在嘈杂环境下实现音频的自动增益;自研高性能视频引擎,无缝结合基于 AI 的前后处理,大大增强视频主观体验和视频质量;自研音视频编解码器,可伸缩的编码复杂度,针对实时场景打造极致体验;基于学习的带宽评估与拥塞判断,自适应的 FEC、ARQ、PLC 等技术,在极限场景下依然通话流畅。


“两高一低”中还有一点是低时延。通常来讲,当时延小于 200ms,用户体验较好;时延在 200ms~400ms,用户可接受;时延大于 400ms,多数用户不太满意。这里边的技术难点有弱网环境导致的端到端时延不可控;音视频处理模块多、算法复杂,导致的数据处理时间长;遇到跨国、跨运营商网络问题,导致的链路质量和传输时延不可控。


我们的做法是通过拥塞控制算法应对弱网场景,自适应的带宽预测,动态码率调整,同时采用前向纠错、丢包重传和丢包隐藏三大丢包恢复策略,降低传输时延。另外,高度优化的音视频编解码器、处理算法和网络模块也缺一不可,用于保障毫秒级的处理时延。对了应对全球用户的接入,我们独创了一套 Pano Backbone 实时传输加速网络,实现用户就近接入和全球网络覆盖。


实时音视频是非常吃资源和带宽的,需要用最少的资源、最少的算力,实现最优的效果,我把这总结为 M&M 原则:Minimum Cost, Maximum Performence。

音视频技术的发展趋势

音视频技术本身将会不断发展,首先是视频编码技术会快速迭代,目前在用的主流的视频编码标准是 H264,H264 第一版标准完成于 2003 年,距今已经 18 年了,H265 因为专利的原因并没有被广泛使用。


我们预期新的编码标准将会比较快的应用起来,尤其是 AV1,作为开源媒体联盟 AOM 制定的第一代标准,除了有非常好的生态支持,还提供了免费的专利政策,相比 H.265 等知识产权政策不明确的视频标准,有巨大的优势。


其次是 AI 技术,它对整个 RTC 行业带来的影响是非常深远的,客观地说,以深度学习为代表的 AI 技术的发展与成熟,对音视频关键技术的突破提供了另一个有希望的方向。


有些使用传统技术无法解决的问题,可以通过与 AI 技术的融合,大大降低问题解决的难度。无论是 RTC 行业的核心音视频编解码,还是其他一些音视频处理和增强技术,比如现在比较热的音频降噪、视频超分、对象分割识别、语义识别等,在 AI 的加持下,都获得了突破,从而催生了智能客服、智能监控、虚拟形象等新领域。


音视频技术也会随着 5G、AR/VR 等技术的发展而发展,将会给用户带来更加沉浸式的体验,也将催生更多行业和场景来应用音视频技术。5G 浪潮的爆发正在为实时音视频创造低时延和高带宽的网络条件,这些基础设施的改进,为超高清视频、全景视频技术的落地创造了可能。AR/VR 为音视频应用的场景和生态拓宽了道路,加速 3D 视频、虚拟现实等技术的落地,共同为下一个互联网形态“元宇宙”提供强有力的技术基建,实现科技向善的美好未来。



9 月 29 日,周三晚上 8 点,资深音视频专家、拍乐云 CEO 赵加雨老师会在直播间分享他对于音视频技术趋势的思考。如果你对这个方向感兴趣,欢迎预约直播。



2021-09-26 18:175777

评论 2 条评论

发布
用户头像
实时音视频技术将来必定会越来越重要,期待一下
2021-09-26 19:07
回复
用户头像
感觉都是干货,期待大佬的分享~
2021-09-26 19:02
回复
没有更多了
发现更多内容

重新定义分析 - EventBridge实时事件分析平台发布

阿里巴巴云原生

阿里云 云原生 EventBridge

【docker 总结】第三篇 - Container 容器

Brave

,docker 12月日更

RingCentral铃盛技术干货精选合集

RingCentral铃盛

敏捷 前端 框架 技术专题合集

言简意赅!什么是工业交换机?

Ethereal

【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构

码界西柚

OSS Minio Minio 集群 文件服务器 12月日更

精彩回顾 | Serverless Developer Meetup 12.04 深圳站

阿里巴巴云原生

阿里云 开发者 云原生 severless 线下活动

Thanos 架构剖析(一)Thanos 架构总览

耳东@Erdong

架构 Thanos 签约计划第二季

Thanos 架构剖析(二)统一的查询入口

耳东@Erdong

Thanos query 签约计划第二季 Query Frontend

改变生物学研究进程:AI模型打开生命信息密码

脑极体

为什么人们不喜欢 PHP?

Ethereal

用户增长模型:AARRR

石云升

AARRR 28天写作 增长黑客 12月日更

9倍转让,外网疯抢:科技儿童汽车的前景与“钱景”

脑极体

实验 | OSPF HMAC-SHA 扩展身份验证

Ethereal

OSPF 网络技术 HMAC-SHA 扩展身份验证

5分钟详解什么是Redis?

Ethereal

数据库 nosql redis

底层逻辑的生命力

卢卡多多

28天写作 12月日更

国产分布式数据库StarDB核心技术大揭秘二:智能运维管控

京东科技开发者

国产分布式数据库StarDB核心技术大揭秘一:内核分解之数据分片

京东科技开发者

【教程直播第4期】揭秘数据迁移之 OceanBase CDC & OMS 社区版能力

OceanBase 数据库

数据库 开源 直播 课程 oceanbase

KubeDL 0.4.0 - Kubernetes AI 模型版本管理与追踪

阿里巴巴云原生

阿里云 AI Kubernetes 云原生

【Spring Boot 快速入门】五、Spring Boot集成Lombok

小阿杰

SpringBoot 2 lombok 内容合集 签约计划第二季

精髓 一文带你了解VMware vSphere 网络、vSwitch、端口组!

Ethereal

Dubbo3 Triple 协议简介与选型思考

阿里巴巴云原生

阿里云 云原生 dubbo HTTP 协议

元宇宙100讲-0x004

hackstoic

微信朋友圈高性能复杂度

ren

架构师训练营 4 期

问题远比答案珍贵

mtfelix

28天写作

如何在 Linux 中更改主机名?运维工程师应该都知道吧!

Ethereal

Linux 运维

2020年净利暴涨1288%,遨森电商携手DataPipeline构建实时数据融合体系跑出加速度!

DataPipeline数见科技

数据库 大数据 中间件 数据融合 数据管理

完善跨境金融区块链服务平台,支持区域开放创新和特殊区域建设

CECBC

手把手快速入门Spring Boot实战系列

小阿杰

SpringBoot 2 内容合集 签约计划第二季

14 位大咖导师集结完毕,阿里云云原生加速器就等你来

阿里巴巴云原生

阿里云 云原生 加速器 招募活动

Go 语言快速入门指南:第二篇 变量与常量

宇宙之一粟

golang 常量 变量 签约计划第二季 12月日更

音视频技术的发展趋势_架构_InfoQ精选文章