我们都是追梦人——爱奇艺 8K VR 直播技术方案

爱奇艺终端网络团队

阅读数:4404 2019 年 8 月 23 日 13:59

我们都是追梦人——爱奇艺8K VR直播技术方案

闲梦江南梅熟日,夜船吹笛雨萧萧,人语驿边桥。梦里不知身是客,人们在互道晚安时,不忘加一句好梦。VR 虚拟现实技术,意图是带给用户梦境般身临其境的感觉。怀着忐忑激动的心情,兴致冲冲的购买了一套 VR 设备,却在用过几次后扔到角落吃灰,相信不少童鞋有过类似经历。看不清楚,像隔了一层纱?画面模糊,一点也不清晰?视频画面品质不够真实,成为虚拟现实走向造梦空间的最大阻碍。

在爱奇艺有一群追逐梦想的”工匠”,致力于为用户提供身临其境的观影体验,不断创新,反复打磨,利用技术不断加持,在 8K VR 直播方案上做了很多优化,实现了码率降低 75%,端到端挥手延迟降低到 3 秒,移动画面延迟降低到 0 秒,领跑行业的解决方案。

随着 5G 技术的发展,VR 直播将是一个重点的应用项目,5G 价值在于高带宽和低延迟,采用创新“采编播”技术架构, 利用 4K/8K 全景拍摄技术构建直播现场影像。通过 5G-CPE 环境实现数据快速传输同步,利用爱奇艺云提供计算能力完成视频编辑转码,最终通过爱奇艺 VR 一体机实现 4K/8K 全景直播。将为用户提供更加沉浸,码率更高的观影体验。

VR 视频多数都是球形模型,观看的时候视野只能看到球形上的局部区域,视野能覆盖的区域取决于 FOV 大小与视野的纵横比,以常见水平方向 90 度视野纵横比 1:1 为例: 当头部不转动,目视正前方,视野中的区域只有整个 VR 视频的 1/8,水平方向 1/4,竖直方向 1/2;最坏的情况下,转动头部方向正对极点,视野中的区域为整个视频区域的 1/4。

8K、12K、16K 分辨率的必要性

VR 设备为了呈现最优显示效果,视野区域能覆盖的像素越高越好,以常见 4K 分辨率视频源为例,视野中只有 1K 左右分辨率的区域,这个 1K 左右的图片呈现出来只能达到普通视频的 720P 效果;为了达到普通视频 1080P 效果,VR 视频源至少需要 8K 分辨率; 考虑到目前 2K、3K 屏成为 VR 设备的标配,对超大分辨率的 VR 视频源需求越来越强烈。

整体流程

爱奇艺 8K 直播整体流程可分为现场采集推流、云端编码、CDN 传输、终端播放 4 个环节。

现场采集推流指技术团队通过 8K 摄像机采集会场 360 度全景信号,编码为码率 80Mbps 的 8K H.265 直播信号,回传到直播云编码服务器。

云端编码对 8K 全景直播信号进行前处理和编码,生产适合传输和终端播放的编码格式。

然后直播云 CDN 传输将已经编码的直播流进行分发到用户最近的边缘服务器。

最后在终端进行 VR 全景直播流的下载解码渲染播放。

我们都是追梦人——爱奇艺8K VR直播技术方案

8K 分辨率高达 7680x3840,是 1080P 的 16 倍,码率是 60Mbps 到 120Mbps 左右,这对直播从采集到播放的直播链路各环节,都是一次挑战。

技术挑战

首先是码率高,直播流需要从网络下载,码率越高直播视频加载的时间就越长,用户等待的时间就越长,卡顿也会越多。

第二是有效传输利用率低,全景信号拼接使用等距投影,相当于把球体地球仪球面上的点,展开为一幅矩形世界地图。在 VR 设备中,用户看到的图像仅仅是全景视频画面的一个小部分,即使用户没有转动视角,那些视角外的大量图像像素也会被编码传输到终端播放设备,这是极大的浪费。另外,现在主流芯片解码能力还是 4K,更加需要针对 VR 视频设计一套性价比高的涵盖编码、传输、解码的端到端技术方案。

第三是传输延迟大,这和码率高有直接关系。只有在用户头部转动时,零延时切换视野内的画面,才能让用户切身体会到 VR 虚拟现实的空间沉浸感,这就对 8K VR 直播低时延有极高的要求。在降低码率的同时,我们也使用了一些额外技术来降低这类延迟。

解决方案

整体技术方案如下图所示,使用该方案后,码率降低 75%,端到端挥手延迟降低到 3 秒,移动画面延迟降低到 0 毫秒。

我们都是追梦人——爱奇艺8K VR直播技术方案

使用 VR 设备观看图像时,只会看到一个小矩形的区域。当头部转动时,会移动到另一个尺寸相同的矩形区域。这个矩形区域称为视野 (FOV, field-of-view)。视野内的图像画面,我们称为 ROI(region-of-interest)。ROI 决定了用户能体验到的画面品质,ROI 区域外的图像由于用户看不到从而不会带来任何收益。

因此我们在直播编码器前处理环节将完整全景画面分割成 N * N 个子画面(如图示),例如分辨率是 7680x3840 的全景视频画面,切割成 4*4=16 个子画面,每个子画面分辨率 1920x960。用户使用 VR 设备播放的时候,只传输 ROI 的画面,终端也只解码 ROI 的画面。

如下图,16 个子画面是 tile0,tile1,…,tile15,ROI 是{tile0,tile1,tile2,tile4,tile5,tile6,tile8,tile9,tile10},终端只会下载 ROI 对应的码流。

我们都是追梦人——爱奇艺8K VR直播技术方案

头部转动时画面的延迟称为移动画面延迟(Motion-To-Photon Latency)。头部转动时 ROI 变化,终端缓存的 buffer 不再有效,移动画面延迟对应重新下载新 ROI 下的 buffer 的耗时。通过同时生产一路将完整全景画面缩小后的低质量画面,移动画面延迟优化为 0ms 没有延时。在网络下行差或者网络抖动的时候,播放低质量画面兜底,而一旦高质量 ROI 下载完成,便会优先呈现,保证直播画面清晰度和流畅度。

N * N+1 路画面之间用 PTS 严格同步,为了加快处理速度,直播云开发的并行处理程序能满足 8K60 帧视频的实时分割、编码。解码、画面前处理、编码全部使用硬件加速,每个模块间通过纹理内存传递,无需置换到内存成本,达到单机同时运行 17 路 1080p H.265 编码并发或者 65 路 540p H.265 编码并发。N*N+1 路码流除了 PTS 严格同步,关闭场景检测来严格对齐 I 帧,使用 Closed GOP、1s GOP size 来降低直播延时。

经过编码后的 8K 码流,总码率是 30Mbps 左右,通过直播云就近多点直播树回源、预推,快速分发到终端。由于用户在观看过程中随时可能转动视角,为了降低延时,我们设计了分块同源技术,保障终端设备在播放过程中只需从就近一台 CDN 边缘节点下载数据,极大降低终端设备与 CDN 间建立连接的次数。

目前,爱奇艺已完成多场大型活动 VR 直播项目,包括北京国际电影节、北京世界园艺博览会等。

未来爱奇艺也会在 VR 直播中提供支持环绕杜比全景声音的观赏体验,通过三维空间音效将用户更好的融入到直播现场中。

评论

发布