AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

音视频媒体 QoS 保障机制

  • 2020-02-04
  • 本文字数:1409 字

    阅读完需:约 5 分钟

音视频媒体QoS保障机制

低延迟连麦技术

目前大多数的互动直播都是主播与观众的一对多模式,观众与主播的互动主要通过使用文字、点赞、礼物等方式进行。在这种模式下,主播和观众的互动性不够直观和及时。考虑到直播时观众若能与主播进行实时的音视频互动,将会大大提高用户的参与感、增加用户粘性,目前很多直播平台都支持或者正在开发支持观众和主播连麦互动的功能,这也是目前各直播平台主要的竞争技术点之一。



连麦的简单过程如下:


  • 主播正常开始直播,观众进入房间观看主播直播画面(普通直播);

  • 直播过程中,想要连麦互动的观众发起连麦请求,进入连麦申请列表;

  • 主播从连麦申请列表中选择一名或多名观众进行连麦互动,主播可以看到并听到连麦观*众的声音画面;观众也可以看到并听到主播和其他观众的声音画面(连麦直播);

  • 连麦结束,恢复原来的主播单人直播模式。


由此可知,“连麦”要求主播和上麦的观众能够展开实时的音视频互动,这对音视频的延时和同步提出了很高的要求。

那么它该如何实现呢?

音视频实验室互动直播 SDK 针对以下几个方面持续地进行优化:


首先,在上麦时刻,基于 SDK 的秒进房特性(在另外一篇 SDK 介绍文章《音视频实验室:服务于 130+客户的直播 SDK 是怎样炼成的》中有详细介绍),连麦观众能够实现快速进房间,主播也能够快速看到上麦观众的音视频画面。

其次,在编解码端,我们对编码器效率的持续优化使得编码器耗时更小,在同等质量下码率更低,从而需要传输的数据量更小,更有利于延迟的减少;对于视频编码,我们支持 IOS、Android、PC 三端的硬件编解码,使得编码耗时更低;同时也支持软、硬件编码实时互相切换,调整更灵活,响应及时。

接着,在传输端,我们采用基于实时性很高的 UDP 协议而优化的私有的 UDT 协议,而不是直播行业常用的 RTMP、HLS、FLV 等方式,从而减小了延迟,适合于对实时性要求高的应用场景。


小科普:


RTMP、HLS、FLV 等传输协议是基于 TCP 的上层协议。TCP 协议的几次握手挥手过程和丢包重传特性都会使得延迟无法降到很低,尤其当网络有丢包和抖动时,延迟变得更加不可控。


UDP 协议就没有这些繁琐的过程,因此它有非常高的实时性,延迟能够达到 1s 以下,因此一般用在视频会议、监控、IP 电话等实时场景。但 UDP 是简单不可靠的传输方式,本身没有 QoS 的保障机制,存在丢包和乱序现象,必须要额外增加网络 QoS 机制来保证传输的质量。



我们自研的 UDT 协议通过一系列策略优化,既保证了网络 QoS 抗性,也保证了连麦场景下能够有较高的实时性:


在流控层,连麦场场景下,专门调测一组低延迟的、对音视频质量无明显影响的编解码参数和网络传输控制参数。


在接入层,依托腾讯在全球强大的服务器部署,利用智能的接入分配策略,实现最优的就近接入、跨地域、跨运营商优化接入。


基于上述几个方面的优化,音视频实验室互动直播 SDK 的连麦场景实现了最低可达到 400ms,普通网络下平均 600+ms 的低延迟连麦体验,在兼顾低延迟的同时还能保证抗性能抗最大 45%的网络丢包:


结语

本文简单介绍了最近很火的互动直播基本情况和技术特性,接着对音视频实验室互动直播 SDK 及其音视频核心技术特点进行了分享(点击阅读原文按钮,可查看上篇直播 SDK 技术揭秘)。


针对音视频实验室互动直播 SDK 现有的高性能,我们还将持续深入地优化、精益求精,以实现更丰富多样的功能性、更强的网络适应性,和更优质的音视频体验。


本文转载自腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/BmLeVbM5wsZUKVcCH1skbw


2020-02-04 20:381174

评论

发布
暂无评论
发现更多内容

每个人都应该理解这三个基本的 MLOps 概念

李忠良

28天写作

SpringIOC的注解开发

小马哥

Java spring 七日更

回顾与总结 | 视频号28天(28)

赵新龙

28天写作

十倍效率背后的管理逻辑

Ian哥

28天写作

思维导图整理Java并发基础

Java 架构 并发

硬核!阿里自爆虐心万字面试手册,Github上获赞89.7K

996小迁

spring 架构 面试 程序人生 JVM

为什么要持续学习

不在调上

Webpack | 如何提升构建速度,进行体积优化?

梁龙先森

大前端 webpack 28天写作 2月春节不断更

如果生命的长度可以被改写「幻想短篇 27/28」

道伟

28天写作

信任从对自己诚实开始

Justin

心理学 信任 28天写作

管理笔记[6]:任人唯贤、赏罚分明、任人所长

L3C老司机

机器学习笔记之:Addition and Scalar Multiplication

Nydia

分析 BAT 互联网巨头在大数据方向布局及大数据未来发展趋势

五分钟学大数据

大数据 2月春节不断更

原子性操作类的使用

武哥聊编程

Java 多线程 原子性 28天写作

Redis缓存热点引发的思考

Java架构师迁哥

黑客练手入门| pwnable.kr—幼儿瓶—01:fd

BigYoung

黑客 安全 安全漏洞 28天写作 2月春节不断更

【Linux系统】常驻进程应用实践

程序员架构进阶

Linux 守护进程 七日更 28天写作 2月春节不断更

第四周-第一课

Geek_娴子

驱动力读书笔记之三

张老蔫

28天写作

你会在车里唱K吗? (28天写作 Day27/28)

mtfelix

28天写作 智能汽车 MaaS 出行方案

28天瞎写的第二百三十七天:抢了HR 饭碗了吗?

树上

HR 28天写作

让我们与内心聊聊,寻找一段思考发展之路。

叶小鍵

信息茧房

lidaobing

28天写作 信息茧房

【JS】异常处理

德育处主任

JavaScript 大前端 js 28天写作 2月春节不断更

Kubernetes安装篇(下):基于Kubeadm方式的集群部署

xcbeyond

Kubernetes kubeadm 部署 28天写作 Kubernetes从入门到精通

Mac打开wps后风扇转的快机身发热

现实中游走

Mac cpu 100% wps 机身发热

通过扫码提交信息

IT蜗壳-Tango

七日更 2月春节不断更

常用网址

现实中游走

图解 | 原来这就是线程池

架构 线程池

Mybatis【18】-- Mybatis自关联多对一查询方式

秦怀杂货店

mybatis

人员培养,不是捷径的捷径(下)

一笑

管理 人才培养 28天写作

音视频媒体QoS保障机制_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章