写点什么

多窗口全视野 网易云信探索融合通信飞跃之路|QCon2021

  • 2021-10-26
  • 本文字数:3586 字

    阅读完需:约 12 分钟

多窗口全视野 网易云信探索融合通信飞跃之路|QCon2021

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

从云通信到融合通信,新一轮技术革命正在加速兴起。


新场景的应用,尤其是疫情推动下,各行各业对于线上化的积极探索使得通信技术的需求量大幅增加,同时对于实时互动体验也提出更高的要求;另一方面,新技术的推动,例如 AI/AR/VR 等技术的发展和 5G 时代的正式来临,使得即时通信、直播、实时音视频等应用场景有了新的想象空间,场景的复杂性和对于效率的高要求也让云通信技术呈现出更广范围、更深程度的融合趋势。

(网易智企技术 VP 陈功)

基于此背景,在「QCon 全球软件开发大会」2021·上海站网易智企技术 VP 陈功作为出品人发起了「AI 时代下的融合通信技术」专场,邀请到网易云信、网易音视频实验室、网易云音乐的技术专家与大家一起分享融合通信技术趋势和演进方向、视频通信关键技术探索及实践、音频 AI 算法在 RTC 中的实践、网易云音乐网络库跨平台化实践等话题。现场座无虚席,干货满满的分享更是获得参会者一致好评。

融合通信技术趋势和演进方向

曹佳俊 网易云信资深服务器开发工程师

随着 5G 等基础设施的完善以及"万物皆可线上化"的趋势,互联网用户对于实时互动体验提出了越来越高的要求。融合通信技术已成为产品创新、业务增长的重要基石。在本场专题论坛,网易云信资深服务器开发工程师曹佳俊首先带来了关于《融合通信技术趋势和演进方向》的分享。


曹佳俊认为,融合通信的关键在于融合,这其中,多种通信技术的融合带来了业务层面的革新,而业务场景的丰富多变又对通信技术的融合带来了更高的要求,业务与技术相互推动发展。


谈及融合通信的未来趋势,他认为,5G、AI、物联网、全球化、单元化……都是融合通信技术未来的演进方向。在本场论坛中,他以全球化与单元化为例,重点分享了网易云信在相关方面的实践。


网易云信之所以做全球化和单元化,主要是出于三方面的考虑:容量剧增(系统规模不断增长)、风险控制(鸡蛋不能放在一个篮子里)、质量保证(物理距离无法克服)。

实现全球化和单元化则有两个关键的前置条件:一是传输通信网的建设,例如网易云信 WE-CAN 全球智能路由网络就可以很好的解决遍布全球的边缘节点和数据中心节点之间的网络传输问题;二是服务质量监控,利用来自海量终端和服务节点的数据监控和改进服务质量。


在 WE-CAN 全球智能路由网络和服务质量监控系统的基础上,进一步介绍了网易云信在 IM 和 RTC 的服务器单元化 / 全球化上做的技术探索。

通过单元化和全球化的架构升级,提升了网易云信全球通信系统的链路稳定性、增强了机房抗风险能力,以及通过异地单元有效的隔离了全局的故障风险。


分享最后,曹佳俊总结道,随着融合通信市场的不断发展,全球化和单元化是必经之路。作为融合通信云服务商,网易云信将持续打磨技术,提供业界一流的融合通信服务,伴随客户一起成长。

视频通信关键技术探索及实践

韩庆瑞 网易音视频实验室高级技术专家

无论在娱乐社交、线上学习,还是远程银行等生活场景中,视频都已成为最重要的互动方式之一,用户对于视频效果也提出越来越高的要求。延时低,弱网对抗能力强,视频画质清晰...... 这也让企业面临了很高的技术挑战。


作为融合通信云服务专家,网易云信的业务覆盖了主要的视频场景,包括了甚低延时的实时音视频场景,允许部分延时的直播场景和不强调延时的点播场景,本次分享中,网易音视频实验室高级技术专家韩庆瑞介绍了网易云信视频在各个场景下的关键技术和应用尝试。

优秀的视频引擎是好的视频体验的基石,韩庆瑞指出,网易云信可以在各个场景中均获得优异视频表现,主要是得益于网易云信视频 RTC 引擎拥有很多关键技术。


  1. 针对场景移动端性能参差不齐、功耗敏感、小模型学习能力差、增强图像压缩效果难以保证以及视频降噪等难点,RTC 引擎在前期就能进行视频 AI 增强、视频降噪,提升视频效果;

  2. 在视频编解码方面,网易云信通过多个自研算法,进行快速模式决策,高效亚像素搜索,自适应参考帧,编码质量和速度领先业界知名编码器;

  3. 网易云信视频引擎 QoE 可根据不同性能设备、不同区域设置、配置不同的算法种类,参数,在任何网络状况下保证用户有最佳的视频体验,减少因数据丢失而引起的视频卡顿;

  4. 网易云信视频引擎解码支持几乎所有主流视频格式,通过自研轻量级网络加异构加速,功耗超低。自研 AI 推理引擎,进行数据集处理,超分效果明显。根据高精度文字识别以及针对文字的 AI 优化,配合“轻量级”网络、自研推理框架 NENN 实现桌面共享优化。

值得一提的是,网易云信的智码超清技术提前对转码前视频进行修复或增强,基于人眼感知的编码技术在保证主观质量的同时节省码率。不同于传统的 JND 编码,网易云信的 JND 编码能识别图像中的文字,人脸,前景及其他显著性区域,针对不同特征进行调整,保证主观体验。


目前,网易云信视频通信技术已经在 LOOK 直播、网易云音乐在线 K 歌等场景中广泛应用。

音频 AI 算法在 RTC 中的实践

郝一亚 网易云信音频算法专家

随着人工智能技术、计算机技术、神经网络等领域的不断发展,AI 音频算法也在学术界和其他行业不断涌现,包括了线上实时通信 Real-Time Communication(RTC)领域。本次分享,网易云信音频算法专家郝一亚从“RTC 应用 AI 音频算法的难点”、“AI 音频算法落地的解决方案”、“网易云信 AI 音频算法落地案例”三个维度,和大家分享 AI 音频算法和 RTC 的实战经验。


郝一亚表示,尽管 AI 的优势在很多领域已经被证实了,但由于算力和数据等各方面的问题以及 AI 模型本身的一些问题,其在 RTC 中还处于达不到完全替换传统信号处理方法的阶段。

这其中的挑战主要集中在三个方面

  1. AI 计算复杂度太高,终端设备难以满足;

  2. 泛化能力,RTC 覆盖场景众多,AI 音频算法难以全部覆盖;

  3. 鲁棒性,遇到突发情况,AI 算法是否有能力应对?


面对这些挑战,网易云信如何落地 AI 算法?谈及 AI 音频算法具体实现过程,郝一亚在技术层面给出三条建议


  1. 采用更合适的输入特征:减小特征量从而减小开销;弥补小模型带来的性能损失;

  2. 采用轻量级网络模型:压缩模型大小从而减小开销;有针对性的选择模型类型;

  3. 定向优化:大量收集 / 积累训练数据集;模型压缩、数据增强、推理框架;配合传统语音算法框架。


活动现场,郝一亚展示了网易云信落地 AI 算法的实例,效果非常明显。

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00

    值得一提的是,基于 AI 算法,网易云信从 0 到 1 研发落地了实时语音 3D 音效,这在 RTC 行业内属于首创,不仅实现了实时的 3D 空间音效,还加入了距离衰减以及房间建模特性,实现 6Dof。目前网易云信 3D 音效已经成功应用于多款 FPS(第一人称射击游戏)以及网易瑶台沉浸式活动平台中,可以预想在元宇宙时代,3D 音效将会迸发的无限价值。

    网易云音乐网络库跨平台化实践

    陈松茂 网易云音乐资深音视频开发工程师

    网络库作为音乐 APP 的核心,很大程度上决定着用户的"体感"和"快感",但在优化过程中,挑战可以说非常多。比如,系统网络库由于暴露的能力或接口有限,无法进行深层次定制或改造;各端系统网络库差异大,导致优化工作需要在各端进行定制或适配,工作量成倍增加……怎么办?


    网易云音乐资深音视频开发工程师陈松茂本次以《网易云音乐网络库跨平台化实践》为主题,带来了网易云音乐的实践分享。


    面对各端网络优化过程中重复造轮子、缺乏一致性、资源不充足、深度优化难等问题,陈松茂认为,跨平台化改造是解决上述问题的关键,在分享中陈松茂列举了多种跨平台化设计思路,并结合各自的优缺点,最终选择了最彻底的跨平台化方案,即整体链路跨平台化。

    要达成整体链路跨平台化的构想,选择一个合适的跨平台网络库是关键。陈松茂分享了网易云音乐的选型经验,经过各方对比,网易云音乐最终选择的是 Cronet,它是 Chromium 的网络堆栈,在开源协议、跨平台性、协议支持、网络优化、活跃程度等方面都具备优势,并且已经在 Google 系、百度、微博、网易传媒、头条系、蘑菇街广泛应用。


    网易云音乐在 Cronet 的基础上,进行了二次开发定制,构建了自己的统一网络库。为了达成后续能力复用和业务定制的述求,陈松茂提出了“可复用网络框架 + 可扩展组件能力集”的概念,并逐步将上层的网络策略和基础网络服务以组件的形式下沉到统一网络库。

    而面对后续 Cronet 升级过程中"代码冲突、合并冲突、功能衰退"这三大无法避免的问题,陈松茂在分享中也给出一些方法建议,他认为做好必要的升级铺垫,可以减少 Cronet 升级过程中的风险,具体体现在三个方面:减少入侵、做好隔离、单侧覆盖。


    当前,基于 Cronet 的统一网络库在网易云音乐已经实现了部分落地,比如 Android 端已经完整落地并在灰度放量中,iOS 端则还在接入中。据云音乐给出的线上数据,Cronet 在 HTTP/2 上有不错的性能优势,开启 QUIC 后优势进一步放大。后续,陈松茂和他们的团队,将继续挖掘 Cronet 的性能,并进行定制优化。另外,统一网络库也将逐步在网易云音乐,乃至整个网易内部实现更广泛的应用。


    如果你想获得本次 QCon 上海网易云信技术专场完整 PPT,可点击移步至大会官网下载观看。

    公众号推荐:

    AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

    2021-10-26 00:003064

    评论

    发布
    暂无评论
    发现更多内容

    GPT-3/ChatGPT复现的经验教训

    OneFlow

    人工智能 深度学习 GPT-3 ChatGPT

    秒懂算法 | 基于主成分分析法、随机森林算法和SVM算法的人脸识别问题

    TiAmo

    机器学习 算法 随机森林

    2022 IoTDB Summit:中航王闯《Apache IoTDB 在中航机载智能云制造系统的应用解决方案》

    Apache IoTDB

    数据库 大数据 IoTDB

    四步走搭建自己的专属 ChatGPT(附开源代码)| 社区征文

    FN0

    AI 话题广场 ChatGPT

    Docker 环境搭建

    流火

    Docker

    5分钟部署百台云上计算机,22支参赛队伍快速接入南网电力调度AI应用大赛

    云布道师

    无影云电脑

    推荐这5个很牛的开源项目,程序员直呼内行

    引迈信息

    开源 低代码

    三天吃透SpringMVC面试八股文

    程序员大彬

    Java spring springmvc

    好用的数据校验&修复工具gt-checksum开源啦

    GreatSQL

    greatsql社区 gt-checksum

    软件测试 | Sonarqube maven分析

    测吧(北京)科技有限公司

    测试

    软件测试 | 代码分析的持续集成应用

    测吧(北京)科技有限公司

    测试

    高并发场景下,如何优化服务器的性能

    华为云开发者联盟

    高并发 开发 华为云 华为云开发者联盟 企业号 3 月 PK 榜

    Matlab实现小波变换

    timerring

    图像处理 数字图像处理

    阿里云函数计算助力高德 RTA 广告投放系统架构升级

    Serverless Devs

    Serverless 高德

    IntelliJ IDEA中提高代码开发效率的10个快捷操作

    京东科技开发者

    var java 企业号 3 月 PK 榜 psvm sout

    软件测试 | Sonarqube中的覆盖率分析

    测吧(北京)科技有限公司

    测试

    2022 IoTDB Summit:IoTDB PMC 乔嘉林《端边云协同:Apache IoTDB 全新单机分布式架构》

    Apache IoTDB

    英特尔公司高级副总裁、中国区董事长王锐: 下一个中国是中国!

    科技之家

    软件测试 | Sonarqube架构

    测吧(北京)科技有限公司

    测试

    面向增长,用友招聘云发布新一代人才配置解决方案!

    用友BIP

    人才 平台 招聘管理系统

    用友成为铸基计划-2022标准建设贡献单位!

    用友BIP

    软件测试 | Sonarqube scanner使用

    测吧(北京)科技有限公司

    测试

    软件测试 | 精准化测试

    测吧(北京)科技有限公司

    测试

    DockQuery x 达梦 国产数据库生态“加速跑”

    BinTools图尔兹

    #数据库 信创产业 达梦认证

    这样在 C# 使用 LongRunnigTask 是错的

    newbe36524

    C# Docker Kubernetes

    2022 IoTDB Summit:长安汽车黄立《Apache IoTDB 在长安智能汽车数据平台的实践》

    Apache IoTDB

    一万年太久,只争朝夕 | Foundation model的进展仍不够快

    Baihai IDP

    人工智能 AI 大模型 企业号 3 月 PK 榜 Foundation Models

    从传统数据库痛点看分布式数据库选型问题

    OceanBase 数据库

    软件测试 | 测试左移代码分析

    测吧(北京)科技有限公司

    测试

    软件测试 | 常见覆盖率统计工具

    测吧(北京)科技有限公司

    测试

    某游戏公司基于OceanBase 4.0的运营分析AP实践

    OceanBase 数据库

    多窗口全视野 网易云信探索融合通信飞跃之路|QCon2021_服务革新_网易云信_InfoQ精选文章