沉浸式文旅新玩法 - 基于 4D GS 技术的真人数字人赋能 VR 体验升级

线下沉浸式剧场与 LBE VR 相结合，会碰撞出什么样的火花？本次 PICO 视频、东方演艺集团与火山引擎一起，将沉浸式演出《只此周庄》的部分场景复刻到了 VR 世界，让用户在虚拟的古代周庄夜市里，体验了古老的故事以及精彩纷呈的歌舞表演。

在传统的 VR 内容中，通常使用全景相机录制或 CG 技术制作人物资产。这两种方法，前者只能满足 3DoF 场景，后者往往受到成本和制作期的约束，难以呈现高质量人物效果。本次项目采用火山引擎的「空间视频制作服务」完成 3D 真人数字人的制作，让数字人保留了真人表演的细腻感，同时满足 LBE VR 这种 6DoF 自由游览的体验形式。

除了惊艳的视觉效果，产品还配套提供了渲染 SDK，降低创作者的集成复杂度，帮助用户实现拍摄到 3D 模型的快速转换。

• 支持主流游戏引擎版本：稳定支持主流版本的 UE 和 Unity；

• 多平台兼容：支持 PICO 4 Ultra MR 渲染、本地串流等多种串流方案，并支持火山云 XR 适配；

• 丰富的参数调节：提供了阴影、光照、色彩等调节控制，让效果调整更便捷。

真实重建，表演即 3D 资产

「3D 真人数字人」是利用火山引擎的空间视频产品完成制作的，核心算法采用了 4D GS 技术（一种动态 3D 高斯泼溅技术的升级）。利用多视角相机拍摄，对人物进行动态重建，具备强大的真实重建能力，能够 1: 1 精准还原真人的动作及微表情。

在传统的虚拟体验中，受到成本制约，人物的动作和表情往往显得生硬、不够自然，本方法通过先进的扫描和重建算法，能够捕捉到真人表演中的每一个细节，从肢体的细微动作变化，到演员的瞬间表情，完整进行复刻，并制作成 3D 资产进行还原。演员嘴角的微微上扬、眼神的闪烁变化，都得以在虚拟世界中完美呈现，让观众在 VR 中自由漫游的同时，又能体验前所未有的真实感。

自由交互，体验代替观看

该技术打破了传统观看模式的限制，观众可以自由环绕观察表演者的每个细节。以往，观众只能从固定的角度观看表演，无法对感兴趣的部分进行深入探究。而有了空间视频技术，观众就如同置身于现场一样，可以围绕表演者进行 360° 的自由移动，无论是表演者背后的动作、侧面的姿态，都能一览无余。这种深度交互的方式，极大地增强了观众的参与感和体验感。

智能融合，带来视觉盛宴

带上 VR 头显，享受虚拟与现实相结合，亦真亦幻的视觉享受。空间视频技术实现了数字人与 3D 场景的实时动态交互，数字人物与场景智能融合，结合不同的场景光影，实时渲染阴影和光效，增强整体氛围感。结合引擎的特效系统，在真实表演基础上，叠加了绚丽的影视级视觉特效，增强了 VR 画面的视觉冲击力和内容感染力。

产能升级，云端重建加速 3D 人物资产制作

传统的 3D 人物资产制作往往需要耗费大量的时间和精力，而空间视频技术带来了一次效率革命。通过影棚拍摄，即可生成高质量的 3D 人物资产，大大节省了制作成本和时间。传统方法一个月的工作量，可压缩至一个星期内完成，让开发者能够更快速地将创意转化为实际产品。

本次项目中，为了方便用户在不同场地体验，在分发侧采用了云 XR 渲染方案。利用火山引擎的云端算力，渲染出高质量的 VR 内容，帮助用户更便捷地体验精彩的 VR 内容。火山引擎视频与边缘创新产品线负责人侯希明表示，利用「空间视频制作服务」与云 XR 服务，打造整体解决方案，助力 LBE VR 方向的制作团队加速 VR 内容制作与分发。让创作者聚焦创意，简化复杂的开发过程。

面向未来，通过火山引擎空间视频产品制作「3D 真人数字人」还将拥有更多应用场景，比如将京剧大师的形象和表演数字化，形成数字分身，在虚拟场馆中进行驻场表演，让更多观众欣赏到京剧大师的精彩演出；又比如打造明星导游数字人，为游客提供 24 小时不间断的服务等等。

火山引擎「空间视频制作服务」不仅具备强大的真实重建能力，打造惊艳的视觉效果，还能满足自由游览的体验形式，同时，通过产能升级节省了制作成本和时间，将推动「3D 真人数字人」在非遗、剧场、文旅等场景加速落地。

点击阅读原文，了解产品更多信息。

访问链接：https://bytedance.larkoffice.com/share/base/form/shrcnoy1jLCZYmbZE4gm6kaWCvg