写点什么

Facebook开源了应用于VR渲染的图像系统DeepFocus

2019 年 1 月 02 日

Facebook开源了应用于VR渲染的图像系统DeepFocus

DeepFocus 是一个由 AI 驱动的新框架,用以在 VR 中渲染自然逼真的对焦效果。DeepFocus 可以与高级原型头戴式设备配合工作,实时显现不同焦距下的模糊效果。例如,当佩戴受 DeepFocus 支持的头戴式设备的人观看附近的物体时,它立即聚焦清晰地显示出来,而将背景物体虚化,就像在现实生活中的体验一样。这种散焦模糊(也称为视网膜模糊)对实现 VR 中的真实感和深度感知是非常重要的。DeepFocus 是首个能够为 VR 应用程序实时生成这种效果的系统。现在,Facebook 宣布开源工作和数据集,以帮助 VR 研究界的其他人员。


它的工作原理:


像使用累积缓冲器这样的传统方法能够实现物理上的精确散焦模糊。但是,它们无法为复杂丰富的内容生成实时效果,原因是这样的处理需求即使对最先进的芯片来说也很难做到。相反,Facebook 利用深度学习解决了这个问题。他们开发了一种新颖的端到端卷积神经网络,在眼睛看到某个场景的不同部分时,该网络会生成具有精确视网膜模糊的图像。该网络包括保持容量的新交织层,以在完全保留图像细节的同时减少输入的空间维度。然后,该网络的卷积层以相同的、降低的空间分辨率运行,并且运行时间明显减少。


它的重要意义:


随着对新的 VR 头戴式设备的研究进展,DeepFocus 将能够模拟所需的精确视网膜模糊以生成极其逼真的视觉效果。该平台还演示了 AI 能够帮助解决在 VR 中渲染高度计算密集性视觉效果的挑战。DeepFocus 为未来新型的显示系统解决实际渲染和优化限制打下了基础。


由于 DeepFocus 只依赖标准 RGB-D 颜色和深度输入,它几乎适用于所有现有的 VR 游戏和应用程序。它还兼容目前 VR 研究界在探索的所有 3 种支持调节的头戴式设备:变焦显示器(如 Half Dome)、多焦点显示器(如 FRL之前的产品)和光场显示器。


请点击这里了解更多 Facebook Reality Labs 创建 DeepFocus 的细节。


参考原文:Open-sourcing DeepFocus, an AI-powered system for more realistic VR images;https://code.fb.com/virtual-reality/deepfocus/


2019 年 1 月 02 日 17:116226
用户头像

发布了 199 篇内容, 共 65.1 次阅读, 收获喜欢 272 次。

关注

评论 1 条评论

发布
用户头像
企鹅3362六295林3 高速外..网.梯.子 免.费测...试
2019 年 01 月 02 日 20:33
回复
没有更多了
发现更多内容

架构师训练营二期 1周总结

月下独酌

极客大学架构师训练营

架构师训练营 1 期第 5 周:技术选型(一) - 作业

灵霄

极客大学架构师训练营

Week_05 作业

golangboy

极客大学架构师训练营

第五周 作业1

Yangjing

极客大学架构师训练营

Week 5 作业01

Croesus

第一周 架构方法-学习总结

jizhi7

极客大学架构师训练营

第1周作业-学习总结

jingx

架构方法-学习总结笔记

Xuenqlve

食堂就餐卡系统UML设计

Calvin

架构师

第五周作业

Geek_ac4080

架构师训练营第五周命题作业

一马行千里

极客大学架构师训练营 命题作业

架构师训练营第五周总结

xs-geek

极客大学架构师训练营

【架构师训练营第 1 期 05 周】 学习总结

Bear在挨踢

极客大学架构师训练营

5.4消息队列:如何避免系统故障传递?

张荣召

第五周 技术选型 作业一

应鹏

极客大学架构师训练营 课程作业

5.1分布式缓存架构:架构原理与注意事项

张荣召

5.2分布式缓存架构:常见的缓存实现形式

张荣召

第五周总结

Geek_ac4080

第五周作业

fmouse

极客大学架构师训练营

食堂就餐卡系统设计-week1

Mr_No爱学习

架构师训练营第 5 周:技术选型(一)

子青

架构师训练营第5周作业

TheSRE

极客大学架构师训练营

架构师训练营第 1 期 - 第 5 周 - 学习总结

wgl

极客大学架构师训练营

AirPods过河,苹果拆桥:被“钞能力”征服的Beats何以至此?

脑极体

学习总结-week1

Mr_No爱学习

week1 学习总结

幸福小子

week1作业

幸福小子

第五周 作业二

Yangjing

极客大学架构师训练营

5.3分布式缓存架构:一致性hash算法

张荣召

第一周10/25

张冬冬

总结

第一周作业-食堂就餐卡设计

hunk

极客大学架构师训练营

Facebook开源了应用于VR渲染的图像系统DeepFocus-InfoQ