写点什么

2021 全球互联网通信云大会(WICC)亮点回顾:AI 赋能音视频,开发者生态服务将驱动行业未来发展

  • 2021-08-05
  • 本文字数:4332 字

    阅读完需:约 14 分钟

2021全球互联网通信云大会(WICC)亮点回顾:AI赋能音视频,开发者生态服务将驱动行业未来发展

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

7 月 24 日,由极客邦和融云联合举办的第三届全球互联网通信云大会(WICC 2021)在北京召开。上千位开发者相聚在大会现场,演讲场场爆满,还有近万人通过网络直播的形式,共同参与到这场大会中。

 

近一两年来,音视频行业得到了极大的发展,音视频技术已成为互联网信息服务的基础设施。无论是开发者还是普通用户,都能清楚地看到,视频已成为新的、重要的交互途径。视频直播和 WebRTC 的应用让我们能够更快地适应瞬息万变的世界,实时视频应用和远程呈现的重要性得到了进一步的提升。

 

融云每年都会举办全球互联网通信云大会(WICC),希望通过 WICC ,向行业普及前沿技术,以及各种应用实践案例,推动通信云行业的发展。

 

本次大会设置了上午的高峰论坛和下午三场技术分论坛,亮点主要集中在三个方面:第一,为促进产学研用的深度融合,构建了成效显著的交流互动平台;第二,为更好地建设开发者服务生态,提供了有益的解决方案;第三,分享音视频技术在在线教育、社交泛娱乐等多个垂直场景的最佳实践和思考,为开发者带来了新技术和新视野。

 

产学研用深度融合

 

在主论坛上,来自清华大学计算机科学与技术系的长聘教授孙立峰为大会带来了《互联网音视频服务:从 AI 赋能到智慧内生》的主题演讲。

 


孙教授的演讲,从产学研合作角度分享了 AI+音视频里面的思考和所做的一些工作,主要围绕:为什么互联网音视频的挑战让我们引入 AI,AI 如何让音视频性能得到提升,以及该领域未来有哪些演进途径等。

 

上图这些数据传达出来的信息,大家可以看到:音视频已经是互联网上主导的流量;音视频服务正在改变我们的生活和工作,以及产生新的产业格局和形态。互联网的音视频服务已经逐渐成为互联网基础服务设施。音视频变得重要,促进了业界和学界不断进行技术的创新,从而带动产业的提升和创新。

 


云-边-端协同已经成为大规模互联网音视频的基础架构,共同提供了音视频服务所需的存储、计算和网络资源。现在动辄数十万量级服务器资源部署、千万级的每日上传内容数量、亿级的用户终端数量,这种大规模带来的是整个系统的复杂性急剧增加。

 

在这种情况下,关注系统的动态性显得更为重要:比如 CDN 的服务质量、对云上资源的利用率、端到端的网络状态,这些动态性难以保证音视频服务的质量。用户行为的动态性决定音视频流的传输流向和资源需求,例如当有大主播上线,会导致对系统资源的需求发生急剧变化。而底层网络缺乏对视频类型、画面内容、用户主观质量的感知,难以满足用户对服务质量的要求。

 

所以,互联网音视频服务的挑战,我们可以总结为大规模复杂系统的决策问题。在云端,我们要决定视频转码和调度;在边侧,我们要决定部署哪些流行度高的内容,用户接入到哪个边缘节点来保障质量;在端侧,根据网络变化选择什么码率、拥塞控制策略。

 

目前的感知和决策,靠的是一些简单的、不精确的模型上得到的一些规则,很难达到优化的目标。所以,清华大学将 AI 的方法引入到了音视频服务领域,来提供更好的体验。他们将深度学习和(深度)强化学习使用到了音视频领域的感知智能和决策智能中,极大地减少了云厂商视频分发的接入成本和回源成本,提高了视频链路的利用率,同时还能满足不延迟、不卡顿的要求。

 

清华大学利用 CNN+LSTM 的深度神经网络,使用边缘节点的输入参数,时序预测边缘节点的 QoS 变化,选择汇聚节点,同时预测直播间的流行度,进行实时调度。这套方法部署到了华为的边缘云上,回源成本减少 30%以上,且无卡顿恶化。由于视频画面内容的不同,码率的提升对视频主观质量的增强有显著的差异,所以我们需要传输更高质量的视频而非更高码率。清华利用深度神经网络基于视频历史画面预测未来视频主观质量,在实时视频通信场景下,能将视频质量提升 18%-25%;在 CDN 调度方面,基于深度强化学习的方法能将 QoE 提升 5%,且同时将成本降低 24%......

 

目前上述多种基于深度学习和深度强化学习的视频传输优化算法已经在 GitHub 上开源。

 


除孙立峰教授外,大会还邀请了北京大学副教授张行功博士,天津大学智能与计算学部教授王晓飞,中国科学院声学研究所研究员、博士生导师李晓东等,这几位教授立足于各自领域的尖端学术成就,为大会分别带来了《16K 沉浸式视频技术》、《5G 时代的边缘智能与云边协同》和《通信声学新进展》的技术分享,这些技术实现将为 5G 下通信云的产业发展释放无限潜能,让未来的通信场景变得无处不在。

 

建设开发者服务生态

 

近年来,开发者服务生态建设的热度持续上升。在开发者服务生态方面,融云联合创始人兼 CTO 杨攀在高峰论坛上发表了《以通信为核心的开发者服务生态探索》的主题演讲,围绕着开发者需要什么样的服务和业务,分享了融云关于开发者服务生态的思考。

 

融云于 2014 年成立,开创了通信云服务,是一个全新的服务品类。从 IM 如何实现不丢消息,到弱网下如何提高音视频质量,再到音视频服务如何实现全球覆盖……在这个过程中,融云的思考不断迭代升级。杨攀指出:中国的开发者服务产业尚处于早期阶段,随着市场竞争的日趋激烈,人力成本将持续走高,企业要想优化成本结构,提升效率,就需要寻求与第三方 to B 厂商合作来进行工作替代,因此,开发者服务行业迟早会迎来爆发阶段。

 


在演讲中,杨攀分享了构建开发者服务生态的一些经验。

 

现在中国移动互联网业务席卷全球,杨攀认为,出海业务经历这么多年的发展,除了解决技术这一基础问题之外,还有相当多的其它问题需要开发者去考虑,其中就包括文化和法律法规。合规涉及的细节非常之多。在个人隐私方面国内出台了《信息安全技术 个人信息安全规范》,国外的法规有 GDPR、CCPA、HIPAA 等。

 

做全球业务的时候,开发者一定要注意 App 是否有违背相关法规的行为,或者 App 集成的第三方 SDK 是否有收集用户隐私。在国内可能因触犯用户隐私法规而受到相关处罚;在国外还有可能会被罚到“倾家荡产”,导致公司直接关闭。所以,在全球化过程中,通信云厂商应提醒开发者时刻保持内容合规与安全的意识,避免因触碰“红线”让企业遭受难以承受的损失。

 

合规化方面,概括起来包括个人隐私、数据安全、数据主权、内容安全和通信安全等。除了关注各种隐私、安全法规外,融云还为开发者在文档里提供了现成的说明参考模板。在内容安全上,融云的系统满足了内容审核多样性、多语言支持、多种审核模式的要求,而且还针对不同业务类型提供了不同的审核模型。另外,融云还以登陆凭证认证、链路安全、平台安全管理等措施,保障用户通信安全。

 

在应对开发者的全栈化需求方面,平台需要支持的技术栈越来越多:Flutter、React Native、Unity、uni-app、H5、Electron、Mini Program、Windows、Linux。不同的技术栈服务的是不同的业务场景,而这些不同的技术栈,还得考虑不同平台、不同版本的兼容性问题,厂商需要做不同的交叉验证。杨攀介绍道:“你在用一个开箱即用的业务的时候,实际上背后有非常多隐藏的细节,被融云这样的厂商所封装起来。”

 

从服务开发者实践角度来看,也有几个趋势值得注意。

 

一是要提供场景化能力,就是将业务逻辑抽象出来,封装出这一场景的最佳实践供用户使用。演讲中,杨攀以语聊房场景举例,使用融云封装的 SDK,只需 30 分钟就可以完成功能的集成。

 

二是要提供模块化能力,开发者在开发一个 App 的过程中,有时甚至需要集成二十几个 SDK,比如 IM 里的红包、表情、地图、语音转文字、翻译等,音视频中的美颜、美声、白板模块等,而这些原来都需要开发者自己去找第三方厂商沟通、付费。融云将这些专业、垂直领域厂商的功能与自身的通信能力对接,以模块化的形式提供,开发者无需再去对接多个供应商,从而能进一步地提升开发效率。

 

三是要提供集成化能力。集成化能力实际也是帮开发者降低开发成本,同样是产业发展的一个大趋势。以整合 Android 推送整合为例,原来开发者需要自己整合华为 HMS、小米、魅族、OPPO、vivo、FCM 等各种推送平台来保证推送到达率,但现在融云帮助开发者对接好了所有厂商,开发者可以直接使用这个集成好的功能。

 

在开发者服务生态建设方面,大会专门以《开发者生态》为主题展开了高峰对话,“对话”由蒋涛老师主持,由融云联合创始人兼 CTO 杨攀、DCloud CTO 崔红保、以及支流科技联合创始人温铭三位业界顶级大咖出任对话嘉宾。

 

 

“对话”围绕中国开发者生态演变进程的回顾与展望,通过三位 Top 级开发者嘉宾对于自己开发历程的分享和互动,在开发者如何驱动行业创新方面贡献了真知灼见。其中,最为一致的观点是:新技术背后的高水平开发者供不应求,中国开发者需要创新生态建设。开发者要不断跟随技术崛起的脚步,多渠道获取进阶技能。“对话”带来的全新思考和借鉴经验,将有益于打造技术与开发者生态对接的平台,进而推动产业应用的发展。

 

行业最佳实践和思考

 

在服务开发者的具体实践方面,本次大会围绕音视频技术及其场景化的解决方案,设立了三场技术分论坛,即:“网络传输与系统架构”、“RTC 新技术与应用”以及“场景化赋能与创新”。讲师们从不同技术领域、不同维度和不同场景带来了自有核心技术和最佳实践的分享。

 

在“网络传输与系统架构”中,支流科技联合创始人温铭的《Apache APISIX:如何做到七层网络流量的统一技术方案》,融云首席架构师李淼的《融云构建全球一体化网络的设计解析》,Akamai 中国区资深技术顾问程希的《全球 API 加速网络构建》,Telstra 资深解决方案顾问徐艳涛的《SDN 全球一体化人工智能网络——为您的实时数据传输保驾护航》,大家分享了如何实现高可靠、高质量、高并发和低延迟的音视频通信体验。

 

在“RTC 新技术与应用”中,除了中国科学院声学研究所研究员李晓东、北京大学副教授张行功博士的演讲分享外,亮亮视野产品负责人张昊阳分享了 RTC 技术在 AR 智能可穿戴设备行业的落地应用;商汤科技技术总监赵代平介绍了 AI 图像分割技术及种类,还带来了许多 AI 产品的展示;融云视频算法专家黄震坤则带来了基于人工智能的 ROI 视频编码的技术分享,重点介绍了在弱网环境下用人工智能中的目标检测和背景建模对视频压缩进行优化的方案。

 

在“场景化赋能与创新”中,荔枝高级音频工程师马朋飞、融云高级架构师臧其龙、好未来直播中台产品负责人冯权成、获得场景视频商业产品总经理任哲、依图科技语音架构师王芳,分别通过直播场景下高音质优化、语聊房场景化 SDK 设计、实时音视频在教育场景的应用实践、面向企业及教育机构的高质量音视频通信以及语音技术在内容安全方面的实践与趋势,分享了核心技术和最佳实践。

 

结语

 

2021 WICC 全球互联网通信云大会已圆满落幕。大会上的演讲场场精彩,为行业实践提供了切实可行的解决方案,同时也指引了未来技术方向和发展趋势。讲师们精辟入理的讲解获得了开发者的高度认可,我们提供了回看合集,可以让大家重温演讲内容:

 


公众号推荐:

AIGC 技术正以惊人的速度重塑着创新的边界,InfoQ 首期《大模型领航者AIGC实践案例集锦》电子书,深度对话 30 位国内顶尖大模型专家,洞悉大模型技术前沿与未来趋势,精选 10 余个行业一线实践案例,全面展示大模型在多个垂直行业的应用成果,同时,揭秘全球热门大模型效果,为创业者、开发者提供决策支持和选型参考。关注「AI前线」,回复「领航者」免费获取电子书。

2021-08-05 10:232911

评论

发布
暂无评论
发现更多内容

成为架构师之前,你一定要懂的-CAP-定理,Java程序员必备书籍

Java 程序员 后端

我用思维导图整理好了Java并发基础知识,还学不会就没救了!

Java 程序员 后端

我见过最详细的Redis解析:不懂Redis为什么高性能?如何做高可用

Java 程序员 后端

怎样成为全栈工程师(Full Stack Developer)(1),已拿offer

Java 程序员 后端

恕我直言,我怀疑你们并不会用 Java 枚举,java分布式架构面试题

Java 程序员 后端

意犹未尽的一篇Nginx原理详解,面试官看了都忍不住点赞

Java 程序员 后端

手撕ArrayList底层,透彻分析源码,mysql索引优化面试题

Java 程序员 后端

成功入职阿里,薪资翻倍~ 感谢这份顶级版,linux教程入门教程PDF

Java 程序员 后端

我画了19张图,彻底帮你搞定Redis,mybatisgenerator教程

Java 程序员 后端

手把手讲解-一个复杂动效的自定义绘制3,最全153道Spring全家桶面试题

Java 程序员 后端

快醒醒吧!互联网大厂面试必问的JVM底层原理,你还搞不清楚

Java 程序员 后端

想进阿里、京东?这些多线程并发的技术要点你需要知道,Java程序员怎么优雅迈过30K+这道坎

Java 程序员 后端

我丢,去面试初级Java开发岗位,被问到泛型,mysql索引原理面试题

Java 程序员 后端

我凭借这1000道java高频真题,顺利拿下京东、饿了么,java高级开发面试总结

Java 程序员 后端

手把手教你应用三种工厂模式在SpringIOC中创建对象实例【案例详解】

Java 程序员 后端

扫盲帖:聊聊微服务与分布式系统,Java校招面试指南

Java 程序员 后端

怎么可能?面试会被Spring难住?Spring框架从入门到精通

Java 程序员 后端

总结历年各大厂面试官传授的面试经验+阿里P8级架构师整理的Java高频核心知识点

Java 程序员 后端

意犹未尽的一篇Nginx原理详解,面试官看了都忍不住点赞(1)

Java 程序员 后端

成功拿到大厂offer的我熬夜整理了这份Java高频面试题(含答案)

Java 程序员 后端

我上高中的弟弟都能看懂的Docker学习教程,你看看讲的怎么样

Java 程序员 后端

技术分享成就现在的我:中间件兴趣圈荣获CSDN2020博客之星亚军

Java 程序员 后端

总是说spring难学?看完这些spring的注解及其解释,对你来说就是So-easy!

Java 程序员 后端

懵逼!阿里一面就被虐了,幸获内推华为技术四面,kafka高性能原理

Java 程序员 后端

我在北京已经几年了,Java百度网盘

Java 程序员 后端

我,48岁,上海外企高管,9次Java面试经验总结

Java 程序员 后端

技术干货:单体,SOA,微服务,分布式,集群架构详解,java开发面试简历

Java 程序员 后端

怎样成为全栈工程师(Full Stack Developer),sqlproformysql使用教程

Java 程序员 后端

我是全网最硬核的Java中间件领域作者,CSDN最值得关注的博主,大家同意吗

Java 程序员 后端

怎么用Redis分布式锁才能确保万无一失?,15个经典面试问题及答案

Java 程序员 后端

我出息了,给 JDK 上报了一个 BUG,mongodb入门到精通

Java 程序员 后端

2021全球互联网通信云大会(WICC)亮点回顾:AI赋能音视频,开发者生态服务将驱动行业未来发展_AI&大模型_Tina_InfoQ精选文章