AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon

  • 2021-06-23
  • 本文字数:2307 字

    阅读完需:约 8 分钟

拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon

疫情过后,人们对在线课堂、视频会议等音视频服务的需求显著上升,对音视频的使用体验、产品质量也有了更高的要求。拍乐云作为实时通信云服务提供商,需要用专业的技术满足用户在不同场景、设备上的需求,采用不同的策略应对多样化的网络环境,才能不断提升用户在观看音视频过程中的体验。


InfoQ 记者有幸在QCon 2021 全球软件开发大会上,采访到了拍乐云的创始人 &CEO 赵加雨,由他亲自为我们讲解音视频领域的发展与挑战。


以下是视频采访内容,为方便读者查看,视频下方也附上了文字内容。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    InfoQ:非常感谢您参加 QCon 2021 的视频采访。首先,请您做一个简单的自我介绍。


    赵加雨:我曾经在 WebEx 工作了 14 年,17 年从美国回来后就加入了网易,担任网易云信的 CTO。2 年后出来创业,创立了拍乐云


    InfoQ:您一直在做专业视频音频方面,所以我对您的工作经验非常感兴趣。之前在网上看到您有聊到音视频领域的昨天、今天和明天,那在这里能和我们再进一步谈谈音视频领域里技术的演进过程吗?


    赵加雨:音视频领域经过这十几年的发展也是在快速演进的,这里可以从多个纬度来讨论。在我 2003 年最开始做视频会议的时候,那时的音视频还是以语音为主,视频还是低清的,但这之后视频就逐渐变得越来越高清。

     

    从设备角度来说,刚开始很多都是在 PC 上使用,随着移动互联网的发展,更多的移动设备也接入进来。

     

    另外,起初视频会议的使用场景一般就是在电脑上开会,但现在已经发展到了有各种场景都会使用音视频,包括娱乐、在线教育等等。

     

    从技术的角度来说,近几年也有 AI 与音视频的结合,这些都是非常好的发展。

     

    InfoQ:音视频技术以及处理流程都比较复杂,处理过程中包含编码、数据存储、弱网处理等等,所以能请您简单介绍一个实时音视频系统的处理流程是怎样的吗?

     

    赵加雨:比如说我们两个人是线上通话的,我们都需要听到对方的声音,看到对方的画面,这里就涉及到一个链路。一般情况下,系统会采集音频和视频,接下来会有一个前处理,前处理可能会完成美声、美颜和其他的一些视频优化。接下来,视频要经过编码再进入到网络传输,在互联网传输的过程中又需要实现网络加速。服务端分发后,需要有一个接收端,接收端收到数据包后会应用一些抗弱网的技术来保障质量,最后完成视频解码并在用户面前播放。

     

    InfoQ:音视频处理流程有这么多环节,各个环节的关键技术是怎样的?

     

    赵加雨:因为音视频都非常强调两高一低,尤其是在低时延的情况下,因此我们要求所有通话都最好能控制在 400 毫秒以内。同时,低时延的限制导致技术人员在各个环节都要把很多性能方面的问题调整到最优点。就像之前提到的,从采集到前处理,从编码到服务端,这里的每个链条都要考虑两高一低,最终实现一个真正的高清流畅的低时延视频通话效果。

     

    InfoQ:在各个环节中有哪些难点,它们分别是什么?

     

    赵加雨:这里一般会面临两大难点。第一个是网络环境是多种多样的,比如不同的网络环境里可能有很多弱网,所以在这些场景里就要考虑到抗弱网。

     

    第二个是视频运行的设备也是多种多样的,比如各种手机设备、低端或高端设备等等,但我们还是要在各个设备上都做到表现最优。

     

    所以,多样化的网络环境和多元化的设备,给音视频的处理带来了各种挑战。

     

    InfoQ:我了解到拥塞控制是保证音视频质量的一个关键环节,能谈谈你们在这方面的理解和解决方案吗?

     

    赵加雨:其实可以从两个维度来探讨拥塞控制。第一是要知道有哪些拥塞控制的方式,这里可能涉及到几十种策略算法,而且在各个环节都会有不同策略的算法来帮助技术人员处理对应的情况,所以首先是要知道这个工具箱里有这么多工具。

     

    第二点是在面对真实的弱网环境时,不同的弱网环境适用的拥塞控制策略不同,所以应该具体情况具体分析,采取合适的抗弱网算法,而使用这些算法最终都是为了保证两高一低的音视频体验。

     

    所以,不能为了抗弱网而抗弱网,丢弃了两高一低,一定要避免在错误的地方使用错误的工具,从而带来负向效果。

     

    InfoQ:从势能上看,整个音视频这个行业进入了快速增长期。那么从技术上来看,目前行业面临的挑战在哪里?

     

    赵加雨:在我看来,因为这次疫情,音视频变得更下沉,又变得更上浮。这里可以这样理解,下沉的意思是说有更多的场景和人来使用音视频,对应的设备种类也增加了。因此低端设备就变多了,差的网络变多了,这就是一种挑战。

     

    而上浮则代表着有更专业、高端的场景也开始需要音视频,比如怎样让音视频更高清、更有沉浸感和互动感,这些方面也出现了更多的需求。所以,比起过去,音视频的应用场景是在不断拓宽的,需求也变得更多样了。

     

    InfoQ:您觉得音视频行业未来的趋势会是怎样的?

     

    赵加雨:未来,音视频一定会随着新的技术以及大环境,包括 IT、基建等等来同步迭代。在音视频领域里,有很多东西是几十年都没有变过,也有很多东西在持续迭代。随着 AR、VR、AI 这些新技术的出现,以及 5G 的商用,音视频也一定会和它们有更多的结合,在更多场景里出现。

     

    InfoQ:最后想问问您的创业,音视频的创业赛道非常激烈,您在几年创业过程里有什么感触?

     

    赵加雨:我原来做了将近 20 年的技术,这两年创业的过程也看到了这个赛道里激烈的竞争。从自己的工作体会来说,现在会看到各种客户不同的场景、不同的问题,这个很有意思。

     

    以前只是专注把技术做深,离市场很远。现在带着一群专业的技术人员去解决客户面临的问题,一方面是积累专业的技术,一方面也缩短客户反馈的链路。在解决问题过程里,会有非常多的成就感。

     

    虽然这个赛道竞争很激烈,但我们也坚信要把音视频产品的质量做到最优,这样才能在市场获得发展的机会。所以我们希望在技术上做到极致,在产品上追求极简,把产品做好,给客户带来最好的产品,最终在市场上占领一席之地。

    2021-06-23 13:105888

    评论 1 条评论

    发布
    用户头像
    视频放错了吧
    2021-06-18 09:10
    回复
    没有更多了
    发现更多内容

    人工智能会取代人类成为地球的主宰么?| 社区征文

    毛小毛

    人工智能 ChatGPT 三周年征文

    Databend v1.1 版本发布!

    Databend

    阿里高工纯手写的《分布式架构手册》仅仅一天GitHub就标星128K

    Java你猿哥

    架构 分布式 分布式架构

    研究思考丨关于软件复杂度的困局

    阿里巴巴云原生

    阿里云 云原生 复杂度

    运维审计录像的作用是什么?用什么软件好?

    行云管家

    堡垒机 运维审计 审计录像

    直播预告 | TDengine & Apache SeaTunnel 联合应用最佳实践

    TDengine

    Apache tdengine 时序数据库

    Linux 修改系统时间的两种方式

    会踢球的程序源

    Java Linux

    【经验分享】硬件工程师需要知道的DFM可制造性设计

    华秋PCB

    工具 电路 PCB PCB设计 可制造性

    ReentrantLock和Synchronized使用与区别,多线程安全问题

    共饮一杯无

    synchronized ReentrantLock 三周年连更

    打造安全无忧软件应用的十大最佳实践

    龙智—DevSecOps解决方案

    软件开发 软件开发安全

    【Linux】系统中安装Go环境

    A-刘晨阳

    Go Linux 三周年连更

    涅槃重生!字节大牛力荐大型分布式手册,凤凰架构让你浴火成神

    Java你猿哥

    架构 分布式架构 凤凰架构

    如何将一个链表分组并对每组进行反转?

    Java你猿哥

    Java 链表 架构师 SSM框架 链表结构

    分布式文件系统FastDFS

    会踢球的程序源

    Java fastdfs 分布系统

    如何解决spring的循环依赖问题?

    Java spring 循环依赖

    Postman Runner 使用指南

    Liam

    Java 后端 Postman 接口测试 API 开发

    PostgreSQL技术内幕(七)索引扫描

    酷克数据HashData

    数据库 postgresql

    解析单存储库:定义、优势与挑战

    龙智—DevSecOps解决方案

    谷歌 Monorepo Monolith 单储存库

    关于自托管环境,您了解多少?

    龙智—DevSecOps解决方案

    Atlassian Data Center

    面试了个阿里P7大佬,他让我见识到什么才是“精通高并发与调优”

    Java 高并发 性能调优

    大咖力荐 |《中国企业软件研发管理白皮书》为什么值得看?

    万事ONES

    ElasticSearch 高级检索,按照顺序进行搜索

    alexgaoyh

    elasticsearch dsl 顺序搜索 高级检索 与或关系

    缓存一致性设计思路

    我爱娃哈哈😍

    redis 缓存 缓存一致性

    某程序员哀叹:写几年代码,回头一看80%都没用,没法写上简历!

    Java你猿哥

    Java 程序员 面试 简历

    解决流水线瓶颈、提升编码效率的五个方法(上篇)

    龙智—DevSecOps解决方案

    ci cicd 持续集成 流水线

    云服务是什么意思?有什么用?

    行云管家

    云计算 云服务

    RocketMQ 多级存储设计与实现

    阿里巴巴云原生

    阿里云 RocketMQ 云原生

    互联网工程师Java面试八股文及答案整理(2023最新版)

    Java你猿哥

    Spring Cloud springboot java面试 面经 JVM面试

    优秀的pdf编辑器:Acrobat Pro DC 中文直装版

    真大的脸盆

    Mac PDF Mac 软件 PDF格式转换

    OneCode 开源集成开发工具ESD功能介绍

    codebee

    开源 低代码平台

    实战分享丨 MySQL 与 Django 版本匹配相关经验

    Java你猿哥

    Java MySQL SSM框架 实战 Diango

    拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon_QCon_孔迪扬_InfoQ精选文章