AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

音视频技术的发展趋势

赵加雨

  • 2021-09-26
  • 本文字数:1541 字

    阅读完需:约 5 分钟

音视频技术的“两高一低”和 M&M 原则

音视频技术以及处理流程都比较复杂,一般情况下,系统会采集音频和视频,接下来会有一个前处理,前处理可能会完成美声、美颜和其他的一些优化。接下来,视频要经过编码再进入到网络传输,在互联网传输的过程中又需要实现网络加速。服务端分发后,需要有一个接收端,接收端收到数据包后会应用一些抗弱网的技术来保障质量,最后完成视频解码并在用户面前播放。


我认为这个过程中最重要的是保证音视频的“两高一低”,即:高质量、高流畅、低时延。


高质量是指音频的质量,包括高保真,无干扰声音(回声,噪声等),音量大等;也指视频的质量,包括视频清晰,分辨率高。高流畅是指音频的语义完整、无卡顿和视频的帧率高、无卡顿。


为了达到高质量和高流畅,我们的做法是通过音频 3A 算法智能适应各类环境,全面消除回声、消除噪音,在嘈杂环境下实现音频的自动增益;自研高性能视频引擎,无缝结合基于 AI 的前后处理,大大增强视频主观体验和视频质量;自研音视频编解码器,可伸缩的编码复杂度,针对实时场景打造极致体验;基于学习的带宽评估与拥塞判断,自适应的 FEC、ARQ、PLC 等技术,在极限场景下依然通话流畅。


“两高一低”中还有一点是低时延。通常来讲,当时延小于 200ms,用户体验较好;时延在 200ms~400ms,用户可接受;时延大于 400ms,多数用户不太满意。这里边的技术难点有弱网环境导致的端到端时延不可控;音视频处理模块多、算法复杂,导致的数据处理时间长;遇到跨国、跨运营商网络问题,导致的链路质量和传输时延不可控。


我们的做法是通过拥塞控制算法应对弱网场景,自适应的带宽预测,动态码率调整,同时采用前向纠错、丢包重传和丢包隐藏三大丢包恢复策略,降低传输时延。另外,高度优化的音视频编解码器、处理算法和网络模块也缺一不可,用于保障毫秒级的处理时延。对了应对全球用户的接入,我们独创了一套 Pano Backbone 实时传输加速网络,实现用户就近接入和全球网络覆盖。


实时音视频是非常吃资源和带宽的,需要用最少的资源、最少的算力,实现最优的效果,我把这总结为 M&M 原则:Minimum Cost, Maximum Performence。

音视频技术的发展趋势

音视频技术本身将会不断发展,首先是视频编码技术会快速迭代,目前在用的主流的视频编码标准是 H264,H264 第一版标准完成于 2003 年,距今已经 18 年了,H265 因为专利的原因并没有被广泛使用。


我们预期新的编码标准将会比较快的应用起来,尤其是 AV1,作为开源媒体联盟 AOM 制定的第一代标准,除了有非常好的生态支持,还提供了免费的专利政策,相比 H.265 等知识产权政策不明确的视频标准,有巨大的优势。


其次是 AI 技术,它对整个 RTC 行业带来的影响是非常深远的,客观地说,以深度学习为代表的 AI 技术的发展与成熟,对音视频关键技术的突破提供了另一个有希望的方向。


有些使用传统技术无法解决的问题,可以通过与 AI 技术的融合,大大降低问题解决的难度。无论是 RTC 行业的核心音视频编解码,还是其他一些音视频处理和增强技术,比如现在比较热的音频降噪、视频超分、对象分割识别、语义识别等,在 AI 的加持下,都获得了突破,从而催生了智能客服、智能监控、虚拟形象等新领域。


音视频技术也会随着 5G、AR/VR 等技术的发展而发展,将会给用户带来更加沉浸式的体验,也将催生更多行业和场景来应用音视频技术。5G 浪潮的爆发正在为实时音视频创造低时延和高带宽的网络条件,这些基础设施的改进,为超高清视频、全景视频技术的落地创造了可能。AR/VR 为音视频应用的场景和生态拓宽了道路,加速 3D 视频、虚拟现实等技术的落地,共同为下一个互联网形态“元宇宙”提供强有力的技术基建,实现科技向善的美好未来。



9 月 29 日,周三晚上 8 点,资深音视频专家、拍乐云 CEO 赵加雨老师会在直播间分享他对于音视频技术趋势的思考。如果你对这个方向感兴趣,欢迎预约直播。



2021-09-26 18:175761

评论 2 条评论

发布
用户头像
实时音视频技术将来必定会越来越重要,期待一下
2021-09-26 19:07
回复
用户头像
感觉都是干货,期待大佬的分享~
2021-09-26 19:02
回复
没有更多了
发现更多内容

Node.js fs 模块详尽分析与实际应用

Apifox

node.js 程序员 前端 后端 FS

低代码与定制开发相结合:构建质量管理系统的新途径

天津汇柏科技有限公司

创业 低代码 软件开发定制 质量管理系统 质量管理QMS系统

首个!腾讯云ES通过中国信通院检索增强生成(RAG)技术要求专项测试

极客天地

最新版XMind for mac思维导图软件 v24.04.05171中文版

Rose

一文读懂Partisia Blockchain 的互操作方案:Oracle 服务框架

西柚子

利用人工智能ChatGPT批量生成测试数据,测试工作再也不愁数据!

测试人

软件测试 测试开发

【2022深圳ArchSummit 】大数据架构稳定性保障实践

zuozewei

深圳 ArchSummit

0经验,我是如何做大数据测试开发的?

京东零售技术

大数据 测试 企业号 4 月 PK 榜

华为云云原生FinOps解决方案,释放云原生最大价值

华为云开发者联盟

云原生 华为云 华为云开发者联盟 华为云云原生 企业号2024年4月PK榜

🎉重大更新!开源无代码 / 低代码平台 NocoBase v1.0 正式发布!

NocoBase

开源 低代码 开发工具 无代码 无代码平台

BOE(京东方)ADS Pro专场技术策源地论坛举办 聚焦行业领先技术共研显示新未来

爱极客侠

模块3作业

小畅

NFTScan | 04.22~04.28 NFT 市场热点汇总

NFT Research

NFT NFTScan

性能基础之速读【性能之巅:洞悉系统、企业与云计算】

zuozewei

性能 书籍推荐

国外服务器选购技巧大揭秘!别再盲目选择,先学会这些

一只扑棱蛾子

国外服务器选购

单个大模型的训练成本,两年后或涨至近百亿美元

算AI

人工智能 AI

低代码技术在构建质量管理系统中的应用与优势

天津汇柏科技有限公司

质量管理 低代码 质量管理系统

降本增效,火山引擎ByteHouse助力短剧广告投放效率提升5倍

极客天地

助力企业部署国产云原生数据库 XSKY星辰天合与云猿生完成产品互兼容认证

XSKY星辰天合

Go-Zero从0到1实现微服务项目开发(二)

王中阳Go

Go 分布式 微服务 Go进阶 gozero

华为音乐空间音频出行歌单新鲜上线,打造五一沉浸式听音之旅

最新动态

Mac文本处理软件 FSNotes 中文破解版

Rose

Guitar Pro 8 Mac 吉他编曲学习软件 8.1.2-32 直装版

Rose

程序员都在用哪些神器提升工作效率

小魏写代码

解决@MapKey is required

源字节1号

开源 软件开发 前端开发 后端开发 小程序开发

架构实战营 - 模块四 - 作业

小畅

音视频技术的发展趋势_架构_InfoQ精选文章