Facebook 开源了应用于 VR 渲染的图像系统 DeepFocus

阅读数:5853 2019 年 1 月 2 日

DeepFocus 是一个由 AI 驱动的新框架,用以在 VR 中渲染自然逼真的对焦效果。DeepFocus 可以与高级原型头戴式设备配合工作,实时显现不同焦距下的模糊效果。例如,当佩戴受 DeepFocus 支持的头戴式设备的人观看附近的物体时,它立即聚焦清晰地显示出来,而将背景物体虚化,就像在现实生活中的体验一样。这种散焦模糊(也称为视网膜模糊)对实现 VR 中的真实感和深度感知是非常重要的。DeepFocus 是首个能够为 VR 应用程序实时生成这种效果的系统。现在,Facebook 宣布开源工作和数据集,以帮助 VR 研究界的其他人员。

它的工作原理:

像使用累积缓冲器这样的传统方法能够实现物理上的精确散焦模糊。但是,它们无法为复杂丰富的内容生成实时效果,原因是这样的处理需求即使对最先进的芯片来说也很难做到。相反,Facebook 利用深度学习解决了这个问题。他们开发了一种新颖的端到端卷积神经网络,在眼睛看到某个场景的不同部分时,该网络会生成具有精确视网膜模糊的图像。该网络包括保持容量的新交织层,以在完全保留图像细节的同时减少输入的空间维度。然后,该网络的卷积层以相同的、降低的空间分辨率运行,并且运行时间明显减少。

它的重要意义:

随着对新的 VR 头戴式设备的研究进展,DeepFocus 将能够模拟所需的精确视网膜模糊以生成极其逼真的视觉效果。该平台还演示了 AI 能够帮助解决在 VR 中渲染高度计算密集性视觉效果的挑战。DeepFocus 为未来新型的显示系统解决实际渲染和优化限制打下了基础。

由于 DeepFocus 只依赖标准 RGB-D 颜色和深度输入,它几乎适用于所有现有的 VR 游戏和应用程序。它还兼容目前 VR 研究界在探索的所有 3 种支持调节的头戴式设备:变焦显示器(如 Half Dome)、多焦点显示器(如 FRL之前的产品)和光场显示器。

请点击这里了解更多 Facebook Reality Labs 创建 DeepFocus 的细节。

参考原文:Open-sourcing DeepFocus, an AI-powered system for more realistic VR images;https://code.fb.com/virtual-reality/deepfocus/

收藏

评论

微博

发表评论

注册/登录 InfoQ 发表评论

最新评论

wwwasfsd 2019 年 01 月 02 日 20:33 0 回复
企鹅3362六295林3 高速外..网.梯.子 免.费测...试
没有更多了