AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

谷歌联合哈佛大学发布最新研究,使用 NeRF 创建 360 度完整神经场景视频

  • 2021-12-16
  • 本文字数:1290 字

    阅读完需:约 4 分钟

谷歌联合哈佛大学发布最新研究,使用NeRF创建360度完整神经场景视频

Google Research 与哈佛大学最新的合作研究,提出了一种称为“Mip-NeRF 360”的新方法。该方法使用 NeRF(Neural Radiance Fields)创建 360 度完整神经场景(neural scene)的视频,进一步推动了 NeRF 适用于在任何环境中随意抽象,不再受限于桌面模型封闭室内场景


不同于大多数前期方法,Mip-NeRF 360 给定了对光线的解释方式,并通过建立关注区域边界降低了原本冗长的训练时间,实现可处理背景的扩展和天空这样的“非受限”场景。


新论文的标题为“Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields”,由 Google Research 高级研究科学家 Jon Barron 牵头完成的。


为深入理解该论文的技术突破,首先对基于 NeRF 的图像生成做一个基础的阐释。

什么是 NeRF?


NeRF 网络并非真正地去描述一个视频,而是使用对单张照片和视频各帧的多个视角拼接出场景,因此更类似于一种基于 AI 实现的完全 3D 虚拟环境。该场景从技术上看只存在于机器学习算法的隐空间(latent space),但可从中任意抽取出大量的视角和视频。


图1 多摄像头捕获点示意图(左图);NeRF获取各捕获点,并拼接出神经场景(右图)


给定一张照片,通过训练其中的信息,生成一个类似于传统 CGI 工作流中体素网格(Voxel grids)的矩阵。矩阵中为 3D 空间中的每个点赋予了一个值,形成可被访问的场景。


图2:体素矩阵示例,其中以三维空间存储像素信息。像素通常采用二维形式表示,例如JPEG文件的像素网格。图片来源:ResearchGate。


该方法在完成各照片间必要的间质空间计算后,通过“光线追踪”确定光照路径上每张照片的每个可能像素点,并对其分配一个颜色值和透明度值。如果没有指定透明度,那么神经矩阵可能是完全不透明的,也可能是完为空的。


NeRF 矩阵与基于 CGI 的三维坐标空间不同,但与体素网格类似,其中的“封闭”对象并不存在任何内部表示。例如,一个架子鼓对象在 CGI 中是可以拆开查看其内部的,但在 NeRF 中一旦将该对象的表面不透明度值设置为 1,那么这台架子鼓就会消失。

像素视角的扩展


Mip-NeRF 360 是对2021年3月发表的一项研究的进一步拓展。该研究提出的 Mip-NeRF 方法通过在 NeRF 中引入有效的抗锯齿,避免做过量的超采样(supersampling)。


NeRF 一般只计算单条像素路径,易于产生早期互联网图像格式和游戏系统中所特有的“锯齿感”。为消除锯齿感边缘,已有方法通常是对相邻像素进行采样,并给出平均表示。


针对传统 NeRF 仅对单条像素路径采样,Mip-NeRF 提出了一种类似宽光束手电筒的“锥形”汇集区,对相关相邻像素提供了充分的信息,形成细节改进的低代价抗锯齿方法。


图3 Mip-NeRF使用的“锥形”汇集区被切片成视锥(下图),并做进一步的模糊化处理,生成用于计算像素精度和锯齿的高斯空间。图片来源:https://www.youtube.com/watch?v=EpH175PY1A0


该方法显著改进了标准 NeRF 实现,如下图所示:


图4 发表于2021年3月的Mip-NeRF方法(右图)。它通过更全面和低代价的锯齿流水线而非对像素的模糊化处理,实现细节改进,避免边缘产生锯齿状。图片来源:https://jonbarron.info/mipnerf/

无界 NeRF


但 Mip-NeRF 依然存在三个尚未解决的问题。首先,要应用于天空这样的无界环境中,其中可能包含超远距离的对象。Mip-NeRF 360 通过对 Mip-NeRF 高斯空间应用Kalman扭曲解决了该问题。


第二,更大的场景需要更高的处理能力和更长的训练时间。为解决该问题,Mip-NeRF 360 使用小规模“提议”多层感知器(MLP,multi-layer perceptron)去“提炼”场景的几何形状。MLP 根据大规模标准 NeRF MLP 预测的几何形状,预先限定了当前形状范围,将训练速度提高了三倍。


第三,更大的场景往往会导致需解构几何体的离散化存在模糊不清的问题,进而导致输出游戏玩家可能非常熟知的“画面撕裂”伪影。Mip-NeRF 360 通过新建对 Mip-NeRF 射线间隔的正则化处理而解决了该问题。


图5 图右侧使用Mip-NeRF,难以对如此规模的场景进行界定,因此产生了不必要的伪影。图左侧使用了新的正则化处理,完全可优化消除这些干扰。


原文链接: Neural Rendering: NeRF Takes a Walk in the Fresh Air

2021-12-16 15:042952

评论

发布
暂无评论
发现更多内容

手写单例模式

GalaxyCreater

设计模式

架构师训练营--第三周作业

_MISSYOURLOVE

极客大学架构师训练营 第三周

Lesson 3 设计模式 心得笔记

edd

架构师训练营第三章作业

饶军

区块链+医疗,能否有效避免问题疫苗?

CECBC

区块链技术 溯源 疫苗

架构师训练营第三周总结

Geek_2dfa9a

奈学教育:“混沌工程”的基本理念和使用原则

奈学教育

混沌工程

架构师训练营 第三周作业

孙有能希

极客大学架构师训练营 组合模式

组合模式例子

GalaxyCreater

设计模式

第三周·作业一·命题作业

刘璐

架构师训练营」第 3 周作业

edd

极客大学架构师训练营

第三周作业

冯凯

了解概率知识,概率作为机器学习的底层逻辑

古月木易

概率

了解概率知识,概率作为机器学习的底层逻辑

奈学教育

概率

昆明全国领先打响“公共资源交易+区块链”新生态

CECBC

区块链技术 存证 昆易链

第三周作业2

飞翔的风

架构师训练营第三周作业

Geek_2dfa9a

使用了 iOS 14 发布的翻译工具,觉得还差点儿意思

神经星星

apple 机器翻译 翻译软件 WWDC2020 语音识别

【总结】架构师的基本能力之-代码重构

魔曦

架构师 极客大学架构师训练营 代码重构

第三周作业一

飞翔的风

双帆与雾洋:腾讯TAD Sim 2.0的仿真大航海

脑极体

架构师训练营第三周作业

Geek_2dfa9a

架构师 0 期 | 面向对象的设计模式

刁架构

极客大学架构师训练营

第三周设计模式命题作业

石刻掌纹

第三周学习总结

设计模式

eazonshaw

极客大学架构师训练营

week3作业一

任鑫

架构

第三周学习总结

冯凯

架构师训练营week03作业

小高

奈学教育:“混沌工程”的基本理念和使用原则

古月木易

混沌工程

单例模式的九种实现 & 组合模式练习

Geek_2dfa9a

谷歌联合哈佛大学发布最新研究,使用NeRF创建360度完整神经场景视频_文化 & 方法_Martin Anderson_InfoQ精选文章