AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon

  • 2021-06-23
  • 本文字数:2307 字

    阅读完需:约 8 分钟

拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon

疫情过后,人们对在线课堂、视频会议等音视频服务的需求显著上升,对音视频的使用体验、产品质量也有了更高的要求。拍乐云作为实时通信云服务提供商,需要用专业的技术满足用户在不同场景、设备上的需求,采用不同的策略应对多样化的网络环境,才能不断提升用户在观看音视频过程中的体验。


InfoQ 记者有幸在QCon 2021 全球软件开发大会上,采访到了拍乐云的创始人 &CEO 赵加雨,由他亲自为我们讲解音视频领域的发展与挑战。


以下是视频采访内容,为方便读者查看,视频下方也附上了文字内容。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    InfoQ:非常感谢您参加 QCon 2021 的视频采访。首先,请您做一个简单的自我介绍。


    赵加雨:我曾经在 WebEx 工作了 14 年,17 年从美国回来后就加入了网易,担任网易云信的 CTO。2 年后出来创业,创立了拍乐云


    InfoQ:您一直在做专业视频音频方面,所以我对您的工作经验非常感兴趣。之前在网上看到您有聊到音视频领域的昨天、今天和明天,那在这里能和我们再进一步谈谈音视频领域里技术的演进过程吗?


    赵加雨:音视频领域经过这十几年的发展也是在快速演进的,这里可以从多个纬度来讨论。在我 2003 年最开始做视频会议的时候,那时的音视频还是以语音为主,视频还是低清的,但这之后视频就逐渐变得越来越高清。

     

    从设备角度来说,刚开始很多都是在 PC 上使用,随着移动互联网的发展,更多的移动设备也接入进来。

     

    另外,起初视频会议的使用场景一般就是在电脑上开会,但现在已经发展到了有各种场景都会使用音视频,包括娱乐、在线教育等等。

     

    从技术的角度来说,近几年也有 AI 与音视频的结合,这些都是非常好的发展。

     

    InfoQ:音视频技术以及处理流程都比较复杂,处理过程中包含编码、数据存储、弱网处理等等,所以能请您简单介绍一个实时音视频系统的处理流程是怎样的吗?

     

    赵加雨:比如说我们两个人是线上通话的,我们都需要听到对方的声音,看到对方的画面,这里就涉及到一个链路。一般情况下,系统会采集音频和视频,接下来会有一个前处理,前处理可能会完成美声、美颜和其他的一些视频优化。接下来,视频要经过编码再进入到网络传输,在互联网传输的过程中又需要实现网络加速。服务端分发后,需要有一个接收端,接收端收到数据包后会应用一些抗弱网的技术来保障质量,最后完成视频解码并在用户面前播放。

     

    InfoQ:音视频处理流程有这么多环节,各个环节的关键技术是怎样的?

     

    赵加雨:因为音视频都非常强调两高一低,尤其是在低时延的情况下,因此我们要求所有通话都最好能控制在 400 毫秒以内。同时,低时延的限制导致技术人员在各个环节都要把很多性能方面的问题调整到最优点。就像之前提到的,从采集到前处理,从编码到服务端,这里的每个链条都要考虑两高一低,最终实现一个真正的高清流畅的低时延视频通话效果。

     

    InfoQ:在各个环节中有哪些难点,它们分别是什么?

     

    赵加雨:这里一般会面临两大难点。第一个是网络环境是多种多样的,比如不同的网络环境里可能有很多弱网,所以在这些场景里就要考虑到抗弱网。

     

    第二个是视频运行的设备也是多种多样的,比如各种手机设备、低端或高端设备等等,但我们还是要在各个设备上都做到表现最优。

     

    所以,多样化的网络环境和多元化的设备,给音视频的处理带来了各种挑战。

     

    InfoQ:我了解到拥塞控制是保证音视频质量的一个关键环节,能谈谈你们在这方面的理解和解决方案吗?

     

    赵加雨:其实可以从两个维度来探讨拥塞控制。第一是要知道有哪些拥塞控制的方式,这里可能涉及到几十种策略算法,而且在各个环节都会有不同策略的算法来帮助技术人员处理对应的情况,所以首先是要知道这个工具箱里有这么多工具。

     

    第二点是在面对真实的弱网环境时,不同的弱网环境适用的拥塞控制策略不同,所以应该具体情况具体分析,采取合适的抗弱网算法,而使用这些算法最终都是为了保证两高一低的音视频体验。

     

    所以,不能为了抗弱网而抗弱网,丢弃了两高一低,一定要避免在错误的地方使用错误的工具,从而带来负向效果。

     

    InfoQ:从势能上看,整个音视频这个行业进入了快速增长期。那么从技术上来看,目前行业面临的挑战在哪里?

     

    赵加雨:在我看来,因为这次疫情,音视频变得更下沉,又变得更上浮。这里可以这样理解,下沉的意思是说有更多的场景和人来使用音视频,对应的设备种类也增加了。因此低端设备就变多了,差的网络变多了,这就是一种挑战。

     

    而上浮则代表着有更专业、高端的场景也开始需要音视频,比如怎样让音视频更高清、更有沉浸感和互动感,这些方面也出现了更多的需求。所以,比起过去,音视频的应用场景是在不断拓宽的,需求也变得更多样了。

     

    InfoQ:您觉得音视频行业未来的趋势会是怎样的?

     

    赵加雨:未来,音视频一定会随着新的技术以及大环境,包括 IT、基建等等来同步迭代。在音视频领域里,有很多东西是几十年都没有变过,也有很多东西在持续迭代。随着 AR、VR、AI 这些新技术的出现,以及 5G 的商用,音视频也一定会和它们有更多的结合,在更多场景里出现。

     

    InfoQ:最后想问问您的创业,音视频的创业赛道非常激烈,您在几年创业过程里有什么感触?

     

    赵加雨:我原来做了将近 20 年的技术,这两年创业的过程也看到了这个赛道里激烈的竞争。从自己的工作体会来说,现在会看到各种客户不同的场景、不同的问题,这个很有意思。

     

    以前只是专注把技术做深,离市场很远。现在带着一群专业的技术人员去解决客户面临的问题,一方面是积累专业的技术,一方面也缩短客户反馈的链路。在解决问题过程里,会有非常多的成就感。

     

    虽然这个赛道竞争很激烈,但我们也坚信要把音视频产品的质量做到最优,这样才能在市场获得发展的机会。所以我们希望在技术上做到极致,在产品上追求极简,把产品做好,给客户带来最好的产品,最终在市场上占领一席之地。

    2021-06-23 13:105880

    评论 1 条评论

    发布
    用户头像
    视频放错了吧
    2021-06-18 09:10
    回复
    没有更多了
    发现更多内容

    理解 std::declval 和 decltype

    hedzr

    算法 元编程 C++11 c++17 纯虚函数

    技术分析| WebRTC开源服务器商业化过程中遇到的问题及挑战

    anyRTC开发者

    开源 音视频 WebRTC 服务器 实时通信

    官方线索|#1024小鹏汽车科技日#如约而至!关于未来出行,你有什么想象?

    搬砖人

    1024我在现场

    Prometheus 查询操作符(四) 示例合集

    耳东@Erdong

    Prometheus 10月月更

    Java 面试八股文之数据库篇(三)

    Dobbykim

    代码质量管理:SonarQube + Jenkins Pipeline配置

    看山

    DevOps 10月月更

    架构营模块一作业

    GTiger

    架构实战营

    👊 【Spring技术特性】采用protostuff和kryo高性能序列化框架实现RestTemplate的序列化组件

    码界西柚

    spring 序列化协议 序列化机制 10月月更

    【新】虚拟机深层系列「GC本质底层机制」SafePoint的深入分析和底层原理探究指南

    码界西柚

    JVM safepoint JVm虚拟机 10月月更

    把握数字经济发展趋势和规律 推动我国数字经济健康发展

    CECBC

    区块链的监管架构基本成型

    CECBC

    永续合约软件系统开发源码搭建

    揭秘!探访百度AI反诈第一线

    白洞计划

    一文读懂公共部门、区块链和数字太空竞赛三者之间的角色关系

    CECBC

    docker 系列:实践工具

    yuexin_tech

    【Flutter 专题】23 图解自定义 Dialog 对话框

    阿策小和尚

    Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 10月月更

    数字货币合约交易系统开发内容(源码)

    ConcurrentHashMap JDK1.8 源码分析

    黄敏

    java

    音视频:播放器与H.265播放探索

    程序员架构进阶

    视频流 播放器 H.265 10月月更

    第一周作业

    沐风

    数字货币期权交易软件系统开发内容(源码搭建)

    模块一的命题作业

    月影之臣

    架构实战营

    ZooKeeper分布式配置——看这篇就够了

    牧小农

    zookeeper 分布式配置

    【LeetCode】加一Java题解

    Albert

    算法 LeetCode 10月月更

    对自己深度学习方向的论文有idea,可是工程实践能力跟不上,实验搞不定怎么办?

    Giant

    自然语言处理 机器学习 深度学习 算法 论文

    持续测试、持续集成、持续交付、持续部署和DevOps

    FunTester

    持续集成 持续交付 持续测试 FunTester 持续构建

    数字货币合约交易APP系统开发介绍(案例)

    期货合约系统APP开发简介(搭建)

    Go 中如何写注释

    baiyutang

    golang 10月月更

    pygame 二次 hello world 项目感知

    梦想橡皮擦

    10月月更

    Vue进阶(幺肆叁):如何用绝对定位(position:absolute)完美定位布局及其注意事项

    No Silver Bullet

    Vue 绝对定位 10月月更

    拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon_QCon_孔迪扬_InfoQ精选文章