ARKit 3 新增人物遮挡、动作捕捉等特性

阅读数:9002 2019 年 6 月 18 日 08:00

ARKit 3 新增人物遮挡、动作捕捉等特性

ARKit 3 最近在 WWDC 2019 大会上发布,新增把人物与虚拟物体相结合及将人物动作加入 AR 体验的支持,进一步向更具沉浸感的增强现实体验方向迈进。ARKit 3 的其他新特性包括多人脸跟踪、支持同时使用前后摄像头以及协作会话。

人物遮挡使在同一个 AR 场景中混合人与虚拟物体成为可能,实现了逼真的沉浸效果。ARKit 3 能够理解人们在哪里,并将他们放置在虚拟物体前面,从而部分地遮挡它们。相对于 ARKit 2,这是一个重大变化。在 ARKit 2 中,添加到场景中的虚拟对象总是出现在摄像机所捕获的图像的最前端,就像漂浮在场景之上一样。ARKit 3 中的这个新特性将允许人们在 AR 世界中围着虚拟对象移动(甚至穿过虚拟对象)。

动作捕捉使跟踪和使用身体动作作为输入成为可能,从而进一步提高了对人体的觉察。在一个演示视频中,苹果公司展示了一个人工合成的机器人和一个真人在一起,这个机器人能够模仿真人的身体动作,具有良好的反应能力和精确度。从这个极其简单的演示来看,动作捕捉可能仍然处于起步阶段,但使用肢体动作作为增强现实场景输入的能力似乎带来了许多新用户体验的可能。正如苹果演示的一个游戏那样,人们可以在虚拟保龄球馆比赛,设法击中大球,使它击倒每个对手后面的保龄球瓶。

ARKit 的另一个新特性似乎与以新颖的方式向应用程序提供输入和命令的可能性有关,那就是同时激活前后摄像头。例如,利用 TrueDepth 前置摄像头检测和跟踪面部运动的能力,使得使用用户的面部表情、头部动作,与在后置摄像头捕捉到的场景中创建的虚拟内容进行交互成为可能。说到人脸检测,借助 TrueDepth 前置摄像头,ARKit 现在能够探测和跟踪设备上多达三张脸的动作。

ARKit 3 也增强了创建共享增强现实体验的可能性,通过引入协作会话,即指示 ARKit 定期与他人分享你的世界地图,其中包含 ARKit 用来在真实空间中定位你的设备的所有空间映射信息的快照。使用 ARKit 2,你必须选择合适的时间来创造自己的世界地图快照,并在发送之前将其序列化。使用 ARKit 3,你只需要关心在网络上发送数据,框架会选择何时共享数据及序列化。

ARKit 3 还对之前的一些特性进行了若干改进,如引用图像加载速度更快、能够一次检测 100 张图像、自动化的图像大小估计和更健壮的 3D 对象检测。

ARKit 3 在 Xcode 11 和 iOS 13 已有 Beta 版供已注册开发人员使用。

查看英文原文 ARKit 3 Brings People Occlusion, Motion Capture, and More

评论

发布