写点什么

视频会议的迭代方向是打造更好的“临场感”

  • 2021-05-14
  • 本文字数:3306 字

    阅读完需:约 11 分钟

视频会议的迭代方向是打造更好的“临场感”

2020 年,突如其来的新冠肺炎疫情改变了许多人的生活和工作方式。疫情之下,RTC(实时音视频)产品受到越来越多的关注,用户对产品的质量也有着越来越高的要求。


“以往传统视频会议产品更侧重于大企业内部使用,形态上专用设备和 PC 端居多。疫情让所有企业,特别是中小微企业,对远程办公,视频会议产品有了广泛的需求,使用场景与之前相比也更为复杂,不再局限于办公场所的开会,而是要求能够随时随地便捷接入通讯,终端也从企业级设备、PC 向移动电话延伸。”近日,腾讯会议高级工程师赵珺接受 InfoQ 采访,就音视频的发展现状、不足以及改进方向等话题展开讨论。他表示,视频会议产品的迭代方向主要是针对这类复杂场景打造更好的“临场感”。


5 月 29 日,赵珺将于 QCon 全球软件开发大会(北京站)的《音视频体验提升实战》专题中,带来“音视频 QoE 优化工作的难点与挑战”的分享。希望借本次分享系统阐述 RTC 领域质量工作所面临的问题及难点,并结合在腾讯会议产品上的实践来介绍利用现网数据优化用户 QoE 的思考与成果。


以下是 InfoQ 与赵珺的对话纪要:


InfoQ:后疫情时代,远程会议工作模式越来越被接纳,而随着需求激增,视频会议产品也需要推陈出新,在您看来,从新冠疫情最初爆发至今,像视频会议这类音视频产品的更新迭代主要侧重在哪些方面?


赵珺:以往传统视频会议产品更侧重于大企业内部使用,形态上专用设备和 PC 端居多。去年年初疫情的突然爆发,让所有企业,特别是中小微企业对于远程办公,视频会议产品有了广泛的需求,使用场景与之前相比也更为复杂,不再局限于办公场所的开会,而是要求能够随时随地的便捷接入通讯,终端也从企业级设备,PC 向移动电话延伸。

视频会议产品的迭代方向主要是针对这类复杂场景打造更好的“临场感”。

首先从技术上说,会利用更优秀的网络抗性策略,更强大的语音降噪、回声消除能力等技术降低使用环境复杂化所带来的影响。

其次,针对不同的客户场景,如何贴近真实开会体验也是一个比较重要的问题,比如针对隐私需求的背景虚化能力,针对重要会议场景的等候室能力,针对交流讨论场景的白板能力,针对培训场景的录制能力等,都是让用户一方面体验线上会议的优势,另一方面降低无法现场交流的不便。


InfoQ:您如何看待现阶段音视频对质量的要求?能否结合音视频体验的发展趋势展开聊聊。


赵珺:与单纯的文字相比,音视频是人类视觉和听觉可以直接触达的媒体,人们对于音视频的主观评价会更为直接,对音视频产品的体验要求也是逐步提高的。以视频为例,几十年前,一个小小的黑白电视就能满足需求,而后的彩色电视,高清格式,4K 格式, HDR 等技术升级都在提升着对于视频体验的心理预期。

所以说人们对于音视频的体验需求是没有上限的,但是却有下限,那就是保持信息的有效传递。设想一下,如果出现火灾,打不通电话,或打通了说不清楚信息,后果将是灾难性的。


InfoQ:面对音视频服务的不同发展阶段,后台技术支撑框架发生了什么样的变化?


赵珺:互联网音视频业务大体可分为点播,直播,RTC 三个阶段。首先是点播业务,比如我们常用追剧的腾讯视频、爱奇艺更多的是关注视频流的快速送达,所以后台上多广泛使用 CDN 节点;

其次是直播业务,在点播业务的基础之上,为追求清晰度与流畅度体验的平衡,往往还会引入转码服务器,对于传输协议也有较多的个性化需求,需要后台来配合处理;

最后是 RTC 业务,与前两者相比,其对于传输 RTT 的要求会更高,后台结构也相对更复杂,会有流控,房间管理,混音等不同的服务类型来共同工作。


InfoQ:能否介绍下目前音视频产品的质量工作流程一般是怎么样的?


赵珺:以我们为例,目前的工作流程主要分为上线前测试和上线后质量管理两个部分。上线前会针对技术优化的一些点来针对性进行评测,评测标准主要参考了 ITU, 3GPP 这些组织的一些音视频相关国际标准。特性上线后,会通过产品的灰度策略,来进行 A/B Test 评估优化是否是正向的。

我们还有多维度的大盘质量报表,借助大量用户数据来评估产品质量的变化趋势,以此来发现问题和持续改进。


InfoQ:像直播中碰到卡顿、实时音视频通话延迟等情况,一般的解决方法是什么?随着用户体验要求越来越高,互动性也不断加大,对你们来说,这里面的挑战也会越来越大,能否展开介绍下这过程中面临的技术问题和挑战?


赵珺:网络带宽是有限的,直播卡顿,语音延迟这些问题多数时候是带宽竞争下所产生的结果。应该从两个维度来考虑解决。第一是编码器、传输协议是否有优化的空间,压缩码流体积,减少不必要的传输开销是根本。如果编码器和协议的选择已经相对较优了,下一步可以尝试的方案就是一个做取舍的策略问题,高清、流畅、低延迟三者不可兼得,应当根据业务场景做出必要的取舍。

所以这里最主要的挑战应该是编码器的优化,传输协议的优化和带宽探测几个方面。高效编码能让码流更小,高效传输能让带宽浪费更低,准确预测带宽能让分配策略更合理。


InfoQ:怎么利用用户数据确定音视频产品的改进方向?能否结合实际案例跟我们介绍下?


赵珺:为了提升用户体验,腾讯会议引入了媒体代理的架构,由分布在全球的代理节点来为用户提供“就近进入”的服务。如何评价用户接入分配的合理性是一个困扰团队的问题。我们通过对现网 QoE 用户数据的分析,不仅发现了某地运营商机房的问题, 还得出“最近接入” 并非 “最优接入” 的结论,指导全球接入调度的优化。这个案例也会在本次大会演讲上分享。


InfoQ:据您观察,现在的音视频产品还存在哪些不足?未来音视频产品有哪些可能的改进方向?


赵珺:现有音视频产品是个比较大的命题,受限经验,不敢妄谈。 还是说一下比较了解的 RTC 业务。从体验角度上来说,RTC 的追求目标是“身前 1 米”的面对面交流的体验,现在很多时候还是难以满足的。

伴随着 5G 时代的到来,未来音视频产品会对沉浸式体验的需求将更强,VR、AR 一类的技术也会是音视频产品新的载体,因此对于编码压缩,传输,视频高效转码,视频处理,语音降噪等技术都将会有更高的要求。


InfoQ:总的来看,面对前面提到的问题和挑战,您认为这里边需要什么样的体验质量优化体系?


赵珺:音视频体验是技术、人的生理、心理多因素共同作用的结果。音视频体验的评价不单是工业界关心的问题,也是学术界的研究热点之一。现有评价体系局限性还很强,所以对于评价方法的探索是质量优化体系建设最为重要的一环。另一方面,建立完备的,可以覆盖不同用户设备,不同用户场景的质量数据体系也是质量优化建设的努力方向。


InfoQ:在您看来,除了技术方面,QoE 是否也属于管理问题?


赵珺:答案是肯定的,QoE 本质是一个预期管理的问题,当技术无法满足预期时,最好的方法是降低用户预期,比如在网络差时的一些告知 tips, 会起到很好的效果。当然,有些场景下的用户预期管理可能比技术本身难度更高。


InfoQ:最后,能否说说咱们对未来音视频业务体验的规划方向是怎么样的?


赵珺:质量管理方面,除了对于评价标准的持续探索外,未来我们会投入更多的精力在实时监控,问题发现上,为用户使用腾讯会议提供更高级别的质量保障;

音视频技术上,相关团队也在加大对于音频降噪,回声消除,网络传输优化,视频编解码等技术方向的投入,在为会议产品服务的同时,也将成果输出给其他领域产品。


采访嘉宾介绍

赵珺,腾讯会议高级工程师,研究生毕业后先后于华为和腾讯任职。在腾讯 6 年多的时间里,历经 QQ 音视频,互动直播 SDK,游戏语音引擎,腾讯无线投屏,腾讯会议多个实时音视频产品的质量保证和优化工作,在 RTC 产品测试和基于 QoE 的监控分析方面有丰富的经验。


活动推荐

赵珺将在今年 5 月 29-31 日举办的 QCon 全球软件开发大会(北京站)「音视频体验提升实战」专场,发布《音视频 QoE 优化工作的难点与挑战》的演讲,将系统阐述 RTC 领域质量工作所面临的问题及难点,并结合在腾讯会议产品上的实践来介绍利用现网数据优化用户 QoE 的思考与成果。


QCon 大会北京站汇聚 150+ 演讲嘉宾,同时设立 29 个热点技术专场包括 Serverless、Flutter、DDD、音视频、云原生、智能金融、大数据、数字化转型、人工智能等,内容源于实践并面向社区。【扫码】或点此了解更多。


今天是大会门票 9 折特惠倒计时最后 1 天,现在购票立减 880 元。购票欢迎联系票务小姐姐 Doris :17310043226(电话同微信)



2021-05-14 11:473412
用户头像
罗燕珊 AI practitioner | Tech media

发布了 506 篇内容, 共 353.4 次阅读, 收获喜欢 816 次。

关注

评论

发布
暂无评论
发现更多内容

(已封装)电商API解析指南:深入理解店铺商品搜索结果

代码忍者

API Explorer API 编排 api 货币化 API 接口

如何选择最佳项目进度管理工具?一站式指南

爱吃小舅的鱼

项目管理 项目进度管理

天翼云TeleDB数据库获得中国信通院两项测试证书

Geek_2d6073

面对AI,我们如何给自己的工作留条“后路”?

脑极体

AI

又一成就,Pencils Protocol单链 TVL 突破 3 亿美元

股市老人

聚焦于 Melos 数据生命网络,用户如何参与到生态的建设中?

BlockChain先知

【活动预告】Easysearch 结合大模型实现 RAG

极限实验室

大模型 easysearch 极限科技 rag 搜索客社区

又一成就,Pencils Protocol单链 TVL 突破 3 亿美元

BlockChain先知

爱回收平台API:关键词搜索商品列表数据接口|爱回收平台数据采集

tbapi

爱回收 爱回收API 爱回收商品数据接口 爱回收商品列表数据接口 爱回收商品列表数据采集

为小团队挑选项目进度管理软件的终极指南

爱吃小舅的鱼

项目管理 项目进度管理

不断发展的AI监管如何影响网络安全

我再BUG界嘎嘎乱杀

人工智能 AI 网络安全 安全 网安

又一成就,Pencils Protocol单链 TVL 突破 3 亿美元

西柚子

全新征程,Pencils Protocol 成首个单链 TVL 突破 3 亿美元的项目

加密眼界

聚焦于 Melos 数据生命网络,用户如何参与到生态的建设中?

石头财经

SLS 数据加工全面升级,集成 SPL 语法

阿里巴巴云原生

阿里云 云原生 服务日志

你在找提升效率的解决方案还是追求效果的解决方案

客户在哪儿AI

内容营销 ToB营销 大客户营销

TapData 信创数据源 | 国产信创数据库达梦(Dameng)数据迁移指南,加速国产化进程,推进自主创新建设

tapdata

达梦数据库 达梦数据迁移 达梦增量同步

顶级项目管理系统大揭秘:全周期10大热门工具

爱吃小舅的鱼

项目管理 项目管理工具 项目管理软件

缺陷管理系统指南:中大企业的首选

爱吃小舅的鱼

缺陷管理 中大型企业 缺陷管理工具推荐

最佳缺陷管理解决方案:2024年8大工具

爱吃小舅的鱼

缺陷管理系统 缺陷管理 缺陷管理工具

LLM 应用可观测性:从 Trace 视角展开的探索与实践之旅

阿里巴巴云原生

阿里云 云原生 可观测

硅纪元视角 | 摩根大通拥抱AI:LLM Suite开启金融行业新篇章!

硅纪元

「漏洞原理」SQL 注入漏洞之理论讲解

我再BUG界嘎嘎乱杀

网络安全 安全 漏洞 SQL注入

EdgeOne安全专项实践:上传文件漏洞攻击详解与防范措施

我再BUG界嘎嘎乱杀

网络安全 安全 漏洞 文件上传 EdgeOne

全新征程,Pencils Protocol 成首个单链 TVL 突破 3 亿美元的项目

石头财经

演播室如何合理使用LED显示屏

Dylan

技术 活动 综艺节目 LED display LED显示屏

视频会议的迭代方向是打造更好的“临场感”_行业深度_罗燕珊_InfoQ精选文章