写点什么

视频会议的迭代方向是打造更好的“临场感”

  • 2021-05-14
  • 本文字数:3306 字

    阅读完需:约 11 分钟

视频会议的迭代方向是打造更好的“临场感”

2020 年,突如其来的新冠肺炎疫情改变了许多人的生活和工作方式。疫情之下,RTC(实时音视频)产品受到越来越多的关注,用户对产品的质量也有着越来越高的要求。


“以往传统视频会议产品更侧重于大企业内部使用,形态上专用设备和 PC 端居多。疫情让所有企业,特别是中小微企业,对远程办公,视频会议产品有了广泛的需求,使用场景与之前相比也更为复杂,不再局限于办公场所的开会,而是要求能够随时随地便捷接入通讯,终端也从企业级设备、PC 向移动电话延伸。”近日,腾讯会议高级工程师赵珺接受 InfoQ 采访,就音视频的发展现状、不足以及改进方向等话题展开讨论。他表示,视频会议产品的迭代方向主要是针对这类复杂场景打造更好的“临场感”。


5 月 29 日,赵珺将于 QCon 全球软件开发大会(北京站)的《音视频体验提升实战》专题中,带来“音视频 QoE 优化工作的难点与挑战”的分享。希望借本次分享系统阐述 RTC 领域质量工作所面临的问题及难点,并结合在腾讯会议产品上的实践来介绍利用现网数据优化用户 QoE 的思考与成果。


以下是 InfoQ 与赵珺的对话纪要:


InfoQ:后疫情时代,远程会议工作模式越来越被接纳,而随着需求激增,视频会议产品也需要推陈出新,在您看来,从新冠疫情最初爆发至今,像视频会议这类音视频产品的更新迭代主要侧重在哪些方面?


赵珺:以往传统视频会议产品更侧重于大企业内部使用,形态上专用设备和 PC 端居多。去年年初疫情的突然爆发,让所有企业,特别是中小微企业对于远程办公,视频会议产品有了广泛的需求,使用场景与之前相比也更为复杂,不再局限于办公场所的开会,而是要求能够随时随地的便捷接入通讯,终端也从企业级设备,PC 向移动电话延伸。

视频会议产品的迭代方向主要是针对这类复杂场景打造更好的“临场感”。

首先从技术上说,会利用更优秀的网络抗性策略,更强大的语音降噪、回声消除能力等技术降低使用环境复杂化所带来的影响。

其次,针对不同的客户场景,如何贴近真实开会体验也是一个比较重要的问题,比如针对隐私需求的背景虚化能力,针对重要会议场景的等候室能力,针对交流讨论场景的白板能力,针对培训场景的录制能力等,都是让用户一方面体验线上会议的优势,另一方面降低无法现场交流的不便。


InfoQ:您如何看待现阶段音视频对质量的要求?能否结合音视频体验的发展趋势展开聊聊。


赵珺:与单纯的文字相比,音视频是人类视觉和听觉可以直接触达的媒体,人们对于音视频的主观评价会更为直接,对音视频产品的体验要求也是逐步提高的。以视频为例,几十年前,一个小小的黑白电视就能满足需求,而后的彩色电视,高清格式,4K 格式, HDR 等技术升级都在提升着对于视频体验的心理预期。

所以说人们对于音视频的体验需求是没有上限的,但是却有下限,那就是保持信息的有效传递。设想一下,如果出现火灾,打不通电话,或打通了说不清楚信息,后果将是灾难性的。


InfoQ:面对音视频服务的不同发展阶段,后台技术支撑框架发生了什么样的变化?


赵珺:互联网音视频业务大体可分为点播,直播,RTC 三个阶段。首先是点播业务,比如我们常用追剧的腾讯视频、爱奇艺更多的是关注视频流的快速送达,所以后台上多广泛使用 CDN 节点;

其次是直播业务,在点播业务的基础之上,为追求清晰度与流畅度体验的平衡,往往还会引入转码服务器,对于传输协议也有较多的个性化需求,需要后台来配合处理;

最后是 RTC 业务,与前两者相比,其对于传输 RTT 的要求会更高,后台结构也相对更复杂,会有流控,房间管理,混音等不同的服务类型来共同工作。


InfoQ:能否介绍下目前音视频产品的质量工作流程一般是怎么样的?


赵珺:以我们为例,目前的工作流程主要分为上线前测试和上线后质量管理两个部分。上线前会针对技术优化的一些点来针对性进行评测,评测标准主要参考了 ITU, 3GPP 这些组织的一些音视频相关国际标准。特性上线后,会通过产品的灰度策略,来进行 A/B Test 评估优化是否是正向的。

我们还有多维度的大盘质量报表,借助大量用户数据来评估产品质量的变化趋势,以此来发现问题和持续改进。


InfoQ:像直播中碰到卡顿、实时音视频通话延迟等情况,一般的解决方法是什么?随着用户体验要求越来越高,互动性也不断加大,对你们来说,这里面的挑战也会越来越大,能否展开介绍下这过程中面临的技术问题和挑战?


赵珺:网络带宽是有限的,直播卡顿,语音延迟这些问题多数时候是带宽竞争下所产生的结果。应该从两个维度来考虑解决。第一是编码器、传输协议是否有优化的空间,压缩码流体积,减少不必要的传输开销是根本。如果编码器和协议的选择已经相对较优了,下一步可以尝试的方案就是一个做取舍的策略问题,高清、流畅、低延迟三者不可兼得,应当根据业务场景做出必要的取舍。

所以这里最主要的挑战应该是编码器的优化,传输协议的优化和带宽探测几个方面。高效编码能让码流更小,高效传输能让带宽浪费更低,准确预测带宽能让分配策略更合理。


InfoQ:怎么利用用户数据确定音视频产品的改进方向?能否结合实际案例跟我们介绍下?


赵珺:为了提升用户体验,腾讯会议引入了媒体代理的架构,由分布在全球的代理节点来为用户提供“就近进入”的服务。如何评价用户接入分配的合理性是一个困扰团队的问题。我们通过对现网 QoE 用户数据的分析,不仅发现了某地运营商机房的问题, 还得出“最近接入” 并非 “最优接入” 的结论,指导全球接入调度的优化。这个案例也会在本次大会演讲上分享。


InfoQ:据您观察,现在的音视频产品还存在哪些不足?未来音视频产品有哪些可能的改进方向?


赵珺:现有音视频产品是个比较大的命题,受限经验,不敢妄谈。 还是说一下比较了解的 RTC 业务。从体验角度上来说,RTC 的追求目标是“身前 1 米”的面对面交流的体验,现在很多时候还是难以满足的。

伴随着 5G 时代的到来,未来音视频产品会对沉浸式体验的需求将更强,VR、AR 一类的技术也会是音视频产品新的载体,因此对于编码压缩,传输,视频高效转码,视频处理,语音降噪等技术都将会有更高的要求。


InfoQ:总的来看,面对前面提到的问题和挑战,您认为这里边需要什么样的体验质量优化体系?


赵珺:音视频体验是技术、人的生理、心理多因素共同作用的结果。音视频体验的评价不单是工业界关心的问题,也是学术界的研究热点之一。现有评价体系局限性还很强,所以对于评价方法的探索是质量优化体系建设最为重要的一环。另一方面,建立完备的,可以覆盖不同用户设备,不同用户场景的质量数据体系也是质量优化建设的努力方向。


InfoQ:在您看来,除了技术方面,QoE 是否也属于管理问题?


赵珺:答案是肯定的,QoE 本质是一个预期管理的问题,当技术无法满足预期时,最好的方法是降低用户预期,比如在网络差时的一些告知 tips, 会起到很好的效果。当然,有些场景下的用户预期管理可能比技术本身难度更高。


InfoQ:最后,能否说说咱们对未来音视频业务体验的规划方向是怎么样的?


赵珺:质量管理方面,除了对于评价标准的持续探索外,未来我们会投入更多的精力在实时监控,问题发现上,为用户使用腾讯会议提供更高级别的质量保障;

音视频技术上,相关团队也在加大对于音频降噪,回声消除,网络传输优化,视频编解码等技术方向的投入,在为会议产品服务的同时,也将成果输出给其他领域产品。


采访嘉宾介绍

赵珺,腾讯会议高级工程师,研究生毕业后先后于华为和腾讯任职。在腾讯 6 年多的时间里,历经 QQ 音视频,互动直播 SDK,游戏语音引擎,腾讯无线投屏,腾讯会议多个实时音视频产品的质量保证和优化工作,在 RTC 产品测试和基于 QoE 的监控分析方面有丰富的经验。


活动推荐

赵珺将在今年 5 月 29-31 日举办的 QCon 全球软件开发大会(北京站)「音视频体验提升实战」专场,发布《音视频 QoE 优化工作的难点与挑战》的演讲,将系统阐述 RTC 领域质量工作所面临的问题及难点,并结合在腾讯会议产品上的实践来介绍利用现网数据优化用户 QoE 的思考与成果。


QCon 大会北京站汇聚 150+ 演讲嘉宾,同时设立 29 个热点技术专场包括 Serverless、Flutter、DDD、音视频、云原生、智能金融、大数据、数字化转型、人工智能等,内容源于实践并面向社区。【扫码】或点此了解更多。


今天是大会门票 9 折特惠倒计时最后 1 天,现在购票立减 880 元。购票欢迎联系票务小姐姐 Doris :17310043226(电话同微信)



2021-05-14 11:473695
用户头像
罗燕珊 AI practitioner | Tech media

发布了 544 篇内容, 共 415.1 次阅读, 收获喜欢 855 次。

关注

评论

发布
暂无评论
发现更多内容

F5 2022财年安全营收10亿美金 服务应用安全做了哪些事?

F5 Inc

移动应用 安全 应用安全

Python读写txt文本(示例说明)

Python 数据读取 txt

Web、移动端、桌面端自动化测试工具或框架推荐

软件测试 自动化测试 自动化框架

大数据开发培训中心有哪些

小谷哥

StoneDB 源码解读系列|Tianmu 引擎工具类模块源码详解(一)

StoneDB

数据库 开源 HTAP StoneDB 企业号 2 月 PK 榜

前端开发哪家培训机构教的好

小谷哥

武汉前端开发培训哪家比较好

小谷哥

敏捷管理到底有没有捷径可走?

Onegun

开源 将本增效 敏捷迭代

业务“兔”飞猛进,只因他们做对了这件事

华为云开发者联盟

数据库 华为云 企业号 2 月 PK 榜 华为云开发者联盟

西安java培训班哪家好?

小谷哥

MQTT发布/订阅模式介绍

EMQ映云科技

物联网 IoT mqtt 客户端 企业号 2 月 PK 榜

Python读execl之xlrd库函数详解一:工作簿相关

Python Excel 数据读取

小游戏也能脱离微信运行到自己的app中

Onegun

微信小程序 小游戏 小游戏开发 微信小程序-游戏

基于Web的6个完美3D图形WebGL库

2D3D前端可视化开发

前端开发 WebGL webgl库 3d图形库 webgl框架

HummerRisk V0.9.1:操作审计增加百度云、增加主机检测规则等

HummerCloud

云安全 云原生安全

新春发版,大展宏“兔”:StoneDB-5.7-V1.0.2 版本正式发布!两分钟快速部署安装您的分析加速器~

StoneDB

开源 数据库· StoneDB 企业号 2 月 PK 榜

实践指南|如何在 Jina 中使用 OpenTelemetry 进行应用程序的监控和跟踪

Jina AI

Python 微服务 PyTorch 云技术 OpenTelemetry

嵌入式ARM设计编程(三) 处理器工作模式

timerring

arm

产品价值“三省”

QualityFocus

Linux中Sl命令的使用

Linux 操作系统 命令

恭喜! SelectDB 五位开发者成为 Apache Doris 新晋 PMC 成员和 Committer!

SelectDB

数据湖 Doris 程序猿 ;开源 企业号 2 月 PK 榜

JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云

边缘计算 存储 JuiceFS 火山引擎 渲染

「 Java基础-泛型 」一文说清Java泛型中的通配符T、E、K、V、N、?和Object的区别和含义

小刘学编程

Java 源码阅读 Java泛型 构架师

重磅!GitLab 提出五大预测,洞见 2023 年 DevSecOps 发展趋势

极狐GitLab

DevOps 安全 DevSecOps 安全左移 供应链安全

VOP消息仓库演进之路|如何设计一个亿级企业消息平台

京东科技开发者

软件架构 平台 VOP 客户调用 消息仓库

使用Python+Opencv从摄像头逐帧读取图片保存在本地

Python 数据读取 摄像头

大数据培训学习包含java技术吗

小谷哥

保险行业需要一个安全的大数据传输

镭速

API+DevOps:华为云API Arts一体化平台,端到端呵护您的API

API

通过案例理解MQTT主题与通配符

EMQ映云科技

物联网 IoT mqtt 企业号 2 月 PK 榜 通配符

视频会议的迭代方向是打造更好的“临场感”_行业深度_罗燕珊_InfoQ精选文章