【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

音视频技术的发展趋势

赵加雨

  • 2021-09-26
  • 本文字数:1541 字

    阅读完需:约 5 分钟

音视频技术的“两高一低”和 M&M 原则

音视频技术以及处理流程都比较复杂,一般情况下,系统会采集音频和视频,接下来会有一个前处理,前处理可能会完成美声、美颜和其他的一些优化。接下来,视频要经过编码再进入到网络传输,在互联网传输的过程中又需要实现网络加速。服务端分发后,需要有一个接收端,接收端收到数据包后会应用一些抗弱网的技术来保障质量,最后完成视频解码并在用户面前播放。


我认为这个过程中最重要的是保证音视频的“两高一低”,即:高质量、高流畅、低时延。


高质量是指音频的质量,包括高保真,无干扰声音(回声,噪声等),音量大等;也指视频的质量,包括视频清晰,分辨率高。高流畅是指音频的语义完整、无卡顿和视频的帧率高、无卡顿。


为了达到高质量和高流畅,我们的做法是通过音频 3A 算法智能适应各类环境,全面消除回声、消除噪音,在嘈杂环境下实现音频的自动增益;自研高性能视频引擎,无缝结合基于 AI 的前后处理,大大增强视频主观体验和视频质量;自研音视频编解码器,可伸缩的编码复杂度,针对实时场景打造极致体验;基于学习的带宽评估与拥塞判断,自适应的 FEC、ARQ、PLC 等技术,在极限场景下依然通话流畅。


“两高一低”中还有一点是低时延。通常来讲,当时延小于 200ms,用户体验较好;时延在 200ms~400ms,用户可接受;时延大于 400ms,多数用户不太满意。这里边的技术难点有弱网环境导致的端到端时延不可控;音视频处理模块多、算法复杂,导致的数据处理时间长;遇到跨国、跨运营商网络问题,导致的链路质量和传输时延不可控。


我们的做法是通过拥塞控制算法应对弱网场景,自适应的带宽预测,动态码率调整,同时采用前向纠错、丢包重传和丢包隐藏三大丢包恢复策略,降低传输时延。另外,高度优化的音视频编解码器、处理算法和网络模块也缺一不可,用于保障毫秒级的处理时延。对了应对全球用户的接入,我们独创了一套 Pano Backbone 实时传输加速网络,实现用户就近接入和全球网络覆盖。


实时音视频是非常吃资源和带宽的,需要用最少的资源、最少的算力,实现最优的效果,我把这总结为 M&M 原则:Minimum Cost, Maximum Performence。

音视频技术的发展趋势

音视频技术本身将会不断发展,首先是视频编码技术会快速迭代,目前在用的主流的视频编码标准是 H264,H264 第一版标准完成于 2003 年,距今已经 18 年了,H265 因为专利的原因并没有被广泛使用。


我们预期新的编码标准将会比较快的应用起来,尤其是 AV1,作为开源媒体联盟 AOM 制定的第一代标准,除了有非常好的生态支持,还提供了免费的专利政策,相比 H.265 等知识产权政策不明确的视频标准,有巨大的优势。


其次是 AI 技术,它对整个 RTC 行业带来的影响是非常深远的,客观地说,以深度学习为代表的 AI 技术的发展与成熟,对音视频关键技术的突破提供了另一个有希望的方向。


有些使用传统技术无法解决的问题,可以通过与 AI 技术的融合,大大降低问题解决的难度。无论是 RTC 行业的核心音视频编解码,还是其他一些音视频处理和增强技术,比如现在比较热的音频降噪、视频超分、对象分割识别、语义识别等,在 AI 的加持下,都获得了突破,从而催生了智能客服、智能监控、虚拟形象等新领域。


音视频技术也会随着 5G、AR/VR 等技术的发展而发展,将会给用户带来更加沉浸式的体验,也将催生更多行业和场景来应用音视频技术。5G 浪潮的爆发正在为实时音视频创造低时延和高带宽的网络条件,这些基础设施的改进,为超高清视频、全景视频技术的落地创造了可能。AR/VR 为音视频应用的场景和生态拓宽了道路,加速 3D 视频、虚拟现实等技术的落地,共同为下一个互联网形态“元宇宙”提供强有力的技术基建,实现科技向善的美好未来。



9 月 29 日,周三晚上 8 点,资深音视频专家、拍乐云 CEO 赵加雨老师会在直播间分享他对于音视频技术趋势的思考。如果你对这个方向感兴趣,欢迎预约直播。



2021-09-26 18:174644

评论 2 条评论

发布
用户头像
实时音视频技术将来必定会越来越重要,期待一下
2021-09-26 19:07
回复
用户头像
感觉都是干货,期待大佬的分享~
2021-09-26 19:02
回复
没有更多了
发现更多内容

HarmonyOS 3隐私安全中心真好用,为你带来前所未有的安全感

Geek_2d6073

您有一封来神州云科冬季发布会的邀请函,请查收!

云科通明湖

Zebec正在以流支付的方式,推动加密资产支付走上正轨

西柚子

全球银行最大分布式核心系统全面上线,邮储银行做到了!

华为云开发者联盟

数据库 后端 华为云 12 月 PK 榜

从零手写react-router

helloworld1024fd

JavaScript

WeLink蒲公英表单,一款用了都说好的信息收集工具

科技怪授

华为云

Q1 20223 New Release of Chinese industrial WiFi module specialist MAXON

wifi6module

软件测试丨单元测试框架怎么搭?新版的Junit5有哪些神奇之处?

测试人

软件测试 单元测试 自动化测试 测试开发 junit5

不愧是阿里资深架构师,这本“分布式架构笔记”写得如此透彻明了

钟奕礼

程序员 java面试 java编程 #java

新来了个同事,设计模式用的是真优雅呀!代码如诗!!

小小怪下士

Java 程序员 设计模式

WeOps上新啦 | WeOpsV3.13网络设备监控全新改造!

嘉为蓝鲸

自动化运维 嘉为蓝鲸 #WeOps

华为云WeLink飞羽审批,审批“嗖的一下”就通过了

科技怪授

华为云

openEuler社区开源项目:CPDS(容器故障检测系统)介绍

openEuler

开源 容器 云原生 操作系统 openEuler

【深入浅出Dubbo3原理及实战】「SpringCloud-Alibaba系列」基于Nacos作为注册中心进行发布SpringCloud-alibaba生态的RPC接口实战

洛神灬殇

nacos SpringCloud SpringCloud Alibaba 12 月 PK 榜

CPU火焰图初探-优化0.1%

FunTester

写过vue自定义指令吗,原理是什么?.m

bb_xiaxia1998

Vue

实施 GitOps 的三个关键步骤

SEAL安全

DevOps CI/CD gitops 12 月 PK 榜

前端常见手写面试题合集

helloworld1024fd

JavaScript

高级前端常见手写面试题指南

helloworld1024fd

JavaScript

从零开始实现一个Promise

helloworld1024fd

JavaScript

全新的 React 组件设计理念 Headless UI

阿里巴巴终端技术

前端 React

常见经典vue面试题(面试必问)

bb_xiaxia1998

Vue

常考vue面试题(附答案)

bb_xiaxia1998

Vue

LED显示屏行业演变趋势

Dylan

LED显示屏 全彩LED显示屏 led显示屏厂家

中台是企业架构的又一次实践吗?

涛哥 数字产品和业务架构

中台 企业架构

在vue的v-for中,key为什么不能用index?

bb_xiaxia1998

Vue

华为云WeLink,不仅更高效,还有更安全!

科技怪授

华为云

华为云WeLink协作文档,助您开启职场高效办公

i生活i科技

华为云

云原生时代下,如何落地企业可观测体系?

嘉为蓝鲸

可观测性 自动化运维 嘉为蓝鲸 云原生时代

ArkUI框架,更懂程序员的UI信息语法

HarmonyOS开发者

HarmonyOS

如何快速构建企业级数据湖仓?

字节跳动数据平台

大数据 湖仓一体 12 月 PK 榜

音视频技术的发展趋势_架构_InfoQ精选文章