装箱百万奖金,第六届全国工业互联网数据创新应用大赛火热报名中! 了解详情
写点什么

看似“佛系”的手游《QQ 炫舞》,背后的音频技术一点都不简单

  • 2019-10-29
  • 本文字数:1763 字

    阅读完需:约 6 分钟

看似“佛系”的手游《QQ炫舞》,背后的音频技术一点都不简单

3 月 14 日,腾讯旗下知名手游《QQ 炫舞》正式上线各大应用商店,并迅速登上 App Store 免费游戏总榜第一位。作为一代玩家的青春记忆,早在游戏发布前,《QQ 炫舞》手游全渠道预约人数就已突破 2000W,其火爆程度不亚于腾讯旗下两款吃鸡手游。


音字同步,腾讯音频技术解决业内难题

《QQ 炫舞》手游由端游原班人马打造,产品的核心体验与端游版本一致。此外,《QQ 炫舞》手游还推出了弹珠模式、游戏内实时 K 歌房等多种独创玩法。然而在创新的同时也带来了一些音频技术上的难题:比如 K 歌时 人声、伴奏与歌词的对齐,K 歌场景下多人同时语音时,如何做到声音清晰且避免回音等。


游戏语音多应用在实时语音、多人会话、发送语音消息等场景,而《QQ 炫舞》手游的实时 K 歌玩法在音频处理上的复杂度上远远超出了正常范畴。正常情况下,玩家在 K 歌过程中,是听到伴奏之后再演唱,声音由麦克风收录后再输出。但由于游戏场景中系统采集播放模块存在延时,尤其是 Android 系统机型多、采集播放延时大等因素的影响,如果仅按照正常模式来进行合成,会出现明显的人声、伴奏和歌词不对齐的情况。一旦出现这种情况,再美妙的天籁歌声也会变成“车祸现场”,给玩家带来非常糟糕的游戏体验。


这些技术难题对于《QQ 炫舞》手游来说,无疑是一项重量级挑战。腾讯音视频实验室提供的游戏多媒体引擎 GME(Game Multimedia Engine)作为游戏内 K 歌玩法和多人实时语音的解决方案,使得《QQ 炫舞》手游呈现出的效果超乎预期:


从视频可以看到,玩家 K 歌时,人声、伴奏和歌词都是对齐的,并且彼此之间还有一定程度的混响效果。当玩家说话时,歌声和说话声 “彼此隔离”,使每个声源都可以清晰呈现,且在混合发声时也不存在嘈杂感,极大程度地提升玩家在游戏时的线上 K 歌体验。


对此,腾讯音视频实验室的技术专家们解释说:“我们充分考虑到网络抖动对声音传输的影响,通过处理由此引入的波形变换,做到了帧级的人声、歌词与伴奏的精准同步。”


基于自研、优秀的高音质回声抵消技术,GME 能保证玩家在多人实时语音场景下听清每个人说话的声音,且不会发生人声被剪切的情况。更富创意的是,如果玩家在其他玩家唱歌时说话,还能切换成电台的 duking 效果,提升观众与发声者的声音体验。


除此之外,GME 的一些“看不见”的能力也为玩家所称道,比如为玩家提供 30ms 级别的超低延时耳返;此外,由于 K 歌场景下的高音质对网络传输要求更高,对弱网优化、抗抖动的要求也更加苛刻,GME 也很好地满足了这些需求。


GME 攻克音频难点,为游戏提供一站式游戏语音解决方案

除了实时 K 歌场景,GME 还对《QQ 炫舞》手游的实时语音功能进行了技术支持。GME 产品有着成熟的音频处理经验,特别在基础性能方面,已为 400 多个产品提供了音频技术支持,技术在业内可谓遥遥领先。GME 支持游戏开黑、休闲游戏、音频直播等不同场景,在不同场景下提供不同的音质体验和不同的抗网络损伤技术,力求给用户带来最佳的游戏体验。实时语音音质在网络无损的场景下的平均 MOS 分达到 4.38(满分 5 分),平均延时低于 200ms;通过先进的丢包恢复技术、丢包补偿算法以及优秀的网络抗性,即使在 50%以上丢包、1000ms 的网络抖动下,也能保持顺畅的沟通和很好的音质。


对于游戏玩家很关心的流量消耗和 CPU 占用问题,GME 也做了相应优化,例如在 MOBA 类游戏中,在保证正常的语音沟通和良好的性能前提下,移动网络模式每分钟流量消耗低于 500KB,CPU 占用率平均在 10%以下等。


值得一提的是,GME 自研的 3D 实时语音技术,利用 HRTF 算法对双耳之间的时间差异和频谱差异建立人耳获取声音模型,将无方位感的声音处理成带有声源方位感的声音,从而虚拟出空间中任意位置的声源对人耳造成的感觉。这种技术可以应用在“吃鸡”和棋牌类游戏场景上,通过提供听声辨位的能力,让玩家获得更好的游戏体验。


凭借语音效果好、接入门槛低的方案特点,GME 覆盖了休闲社交类、MOBA 类、MMORPG 等多种游戏类型,提供实时语音、语音消息、语音转文本等功能。如今,通过针对游戏类型、游戏场景的深度优化,GME 积累了深厚的技术底蕴,同时通过覆盖超过 400+游戏产品的技术支持,不断积累技术经验,为玩家打造畅爽的游戏语音体验,展示了领先业内的技术实力。


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接:


https://mp.weixin.qq.com/s/b9m5R-IgXXM_vthna2vnow


2019-10-29 15:29913

评论

发布
暂无评论
发现更多内容

HTML学习笔记(二)

lxmoe

html 前端 学习笔记 11月月更

从零到一带你构建可靠的大型分布式系统,不愧是IT领域又一神作!

Java永远的神

Java 分布式 程序人生 后端 架构师

华为开发者大会2022:HMS Core 3D建模服务再升级,万物皆可驱动

HMS Core

hdc HMS Core

【C语言】char 关键字

謓泽

11月月更

Fastjson最想版本RCE漏洞【漏洞分析】

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

易观千帆 | 2022年9月银行APP月活跃用户规模盘点

易观分析

金融 手机银行

去哪儿的常态化容量保障是怎么做的?

TakinTalks稳定性社区

计算机网络:差错控制

timerring

计算机网络 11月月更

美图是如何搭建压测监控一体化平台的?

TakinTalks稳定性社区

压测平台

2022-11-05:给定一个逆波兰式,转化成正确的中序表达式。要求只有必要加括号的地方才加括号。

福大大架构师每日一题

算法 rust 福大大

Vue组合式函数(二)封装一个请求

Augus

Vue3 11月月更

Go语言入门13—并发

良猿

Go golang 后端 开发 11月月更

简单剖析开发:区块链杠杆合约交易所的核心优势

W13902449729

区块链交易所 合约交易所开发

从3开始,在业务系统中增加分页功能

Barry Yan

go语言 11月月更 后端系统

永续合约交易所的开发有哪些特征?

W13902449729

合约交易所开发 区块链交易所开发

MetaForce佛萨奇2.0矩阵系统开发(搭建)

l8l259l3365

还担心接口乱糟糟?快来试试“斯瓦格”在线文档管理平台!

wljslmz

华为云 接口管理 swagger 11月月更

GIT团队协作

追风少年

11月月更

GIT分支操作

追风少年

11月月更

SQL Sever提供的字符串类型

乔乔

11月月更

架构实战营模块 4 作业

陌生流云

#架构实战营

一款设计和模拟数字逻辑电路的LogiSim工具

向阳逐梦

集成电路 Verilog 11月月更 logisim 模电与书店

基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v6.1版已发布

JackJiang

即时通讯 MobileIMSDK im开发 开源im

Sonatype Nexus 如何把多仓库合并在一起

HoneyMoose

QUIC不是TCP的替代品

俞凡

TCP 网络 QUIC

GIT详细基础笔记

追风少年

11月月更

看似“佛系”的手游《QQ炫舞》,背后的音频技术一点都不简单_文化 & 方法_云加社区_InfoQ精选文章