写点什么

音视频媒体 QoS 保障机制

2020 年 2 月 04 日

音视频媒体QoS保障机制

低延迟连麦技术

目前大多数的互动直播都是主播与观众的一对多模式,观众与主播的互动主要通过使用文字、点赞、礼物等方式进行。在这种模式下,主播和观众的互动性不够直观和及时。考虑到直播时观众若能与主播进行实时的音视频互动,将会大大提高用户的参与感、增加用户粘性,目前很多直播平台都支持或者正在开发支持观众和主播连麦互动的功能,这也是目前各直播平台主要的竞争技术点之一。



连麦的简单过程如下:


  • 主播正常开始直播,观众进入房间观看主播直播画面(普通直播);

  • 直播过程中,想要连麦互动的观众发起连麦请求,进入连麦申请列表;

  • 主播从连麦申请列表中选择一名或多名观众进行连麦互动,主播可以看到并听到连麦观*众的声音画面;观众也可以看到并听到主播和其他观众的声音画面(连麦直播);

  • 连麦结束,恢复原来的主播单人直播模式。


由此可知,“连麦”要求主播和上麦的观众能够展开实时的音视频互动,这对音视频的延时和同步提出了很高的要求。


那么它该如何实现呢?

音视频实验室互动直播 SDK 针对以下几个方面持续地进行优化:


首先,在上麦时刻,基于 SDK 的秒进房特性(在另外一篇 SDK 介绍文章《音视频实验室:服务于 130+客户的直播 SDK 是怎样炼成的》中有详细介绍),连麦观众能够实现快速进房间,主播也能够快速看到上麦观众的音视频画面。

其次,在编解码端,我们对编码器效率的持续优化使得编码器耗时更小,在同等质量下码率更低,从而需要传输的数据量更小,更有利于延迟的减少;对于视频编码,我们支持 IOS、Android、PC 三端的硬件编解码,使得编码耗时更低;同时也支持软、硬件编码实时互相切换,调整更灵活,响应及时。

接着,在传输端,我们采用基于实时性很高的 UDP 协议而优化的私有的 UDT 协议,而不是直播行业常用的 RTMP、HLS、FLV 等方式,从而减小了延迟,适合于对实时性要求高的应用场景。


小科普:


RTMP、HLS、FLV 等传输协议是基于 TCP 的上层协议。TCP 协议的几次握手挥手过程和丢包重传特性都会使得延迟无法降到很低,尤其当网络有丢包和抖动时,延迟变得更加不可控。


UDP 协议就没有这些繁琐的过程,因此它有非常高的实时性,延迟能够达到 1s 以下,因此一般用在视频会议、监控、IP 电话等实时场景。但 UDP 是简单不可靠的传输方式,本身没有 QoS 的保障机制,存在丢包和乱序现象,必须要额外增加网络 QoS 机制来保证传输的质量。



我们自研的 UDT 协议通过一系列策略优化,既保证了网络 QoS 抗性,也保证了连麦场景下能够有较高的实时性:


在流控层,连麦场场景下,专门调测一组低延迟的、对音视频质量无明显影响的编解码参数和网络传输控制参数。


在接入层,依托腾讯在全球强大的服务器部署,利用智能的接入分配策略,实现最优的就近接入、跨地域、跨运营商优化接入。


基于上述几个方面的优化,音视频实验室互动直播 SDK 的连麦场景实现了最低可达到 400ms,普通网络下平均 600+ms 的低延迟连麦体验,在兼顾低延迟的同时还能保证抗性能抗最大 45%的网络丢包:



结语

本文简单介绍了最近很火的互动直播基本情况和技术特性,接着对音视频实验室互动直播 SDK 及其音视频核心技术特点进行了分享(点击阅读原文按钮,可查看上篇直播 SDK 技术揭秘)。


针对音视频实验室互动直播 SDK 现有的高性能,我们还将持续深入地优化、精益求精,以实现更丰富多样的功能性、更强的网络适应性,和更优质的音视频体验。


本文转载自腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/BmLeVbM5wsZUKVcCH1skbw


2020 年 2 月 04 日 20:38221

评论

发布
暂无评论
发现更多内容

面向对象架构设计

Jeff

架构师训练营第三周作业

一剑

架构师训练营 - 命题作业 第3周

水边

极客大学架构师训练营

2020年6月23日 创建高性能的索引

瑞克与莫迪

ARTS 打卡week#2

对方正在输入…

ARTS 打卡计划

第三周作业

秦宝齐

学习

游戏夜读 | 你的名字记在那里

game1night

探究逻辑思维,姚华兴电影读《金字塔原理》提升自我

Geek_116789

第三周作业

手写负载均衡算法

小眼睛聊技术

Java 架构 算法 后端

我在星巴克买了张卡,意外发现一亿客户信息泄露

田晓旭

组合模式设计窗口组件

孙野

厦门科云:构建基于 SpreadJS 的管理会计综合实训平台

Geek_Willie

SpreadJS 管理会计综合实训平台

如何将100个Pod挂载卷的时间缩短10倍?

XSKY融合存储

架构师训练营第三周感悟

张锐

一个线上问题的思考:Eureka注册中心集群如何实现客户端请求负载及故障转移?

一枝花算不算浪漫

架构师培训 -03 设计模式

刘敏

架构师训练营 - 第3周学习总结

水边

极客大学架构师训练营

锦囊篇|一文摸懂RxJava

ClericYi

第三周总结

LEAF

ARTS|Week 04 (2020第25周)

MiracleWong

elasticsearch 算法 ARTS 打卡计划

架构师训练营第三周总结

一剑

JVM面试题68问,面试又可以多扯一个小时了!

Java小咖秀

JVM Java 面试 经验分享

面向对象架构设计-课后作业

Jeff

Websocket IM聊天教程-教你用GoEasy快速实现IM聊天

GoEasy消息推送

websocket 即时通讯 聊天室 聊天 IM

架构师训练营第三周作业

W_T

面向对象设计模式

陈皮

爆料一下:我的读书之道

非著名程序员

读书笔记 程序员 程序人生 读书 读书感悟

Glide都在用的LruCache,你学会了吗?

ClericYi

第三周学习总结

秦宝齐

学习

2020年6月22日 Schema与数据类型优化

瑞克与莫迪

音视频媒体QoS保障机制-InfoQ