写点什么

用 2D 照片创造出逼真的 3D 乐器,英伟达在 CVPR 2022 开了一场爵士乐“音乐会”

  • 2022-06-23
  • 本文字数:1372 字

    阅读完需:约 5 分钟

用2D照片创造出逼真的3D乐器,英伟达在CVPR 2022开了一场爵士乐“音乐会”

英伟达公布计算机图形学新进展,「可逆渲染流程」支持基于 2D 图像创建 3D 物体。


InfoQ 获悉,6 月 23 日,在新奥尔良举行的计算机视觉顶会 CVPR 2022 上,英伟达公布了其在计算机视觉和计算机图形学方面的新进展 — 可逆渲染流程“NVIDIA 3D MoMa”。


NVIDIA 3D MoMa 地址:https://nvlabs.github.io/nvdiffrec/


查看 NVIDIA 3D MoMa 论文:https://nvlabs.github.io/nvdiffrec/assets/paper.pdf


爵士乐的精髓在于即兴演奏,NVIDIA 希望通过 AI 研究向这一流派致敬。也许有一天,图形创作者可以使用快速创建出的 3D 物体,来一场即兴表演。


NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。



这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理 —— 修改比例、改变材质或尝试不同的照明效果。

基于 2D 图像创建 3D 物体


逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。NVIDIA 图形学研究副总裁 David Luebke 表示:“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”


他表示:“NVIDIA 3D MoMa 渲染流水线可以将逆渲染问题的每个部分表示为 GPU 加速的可微分组件,然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”


为了使艺术家或工程师能够充分利用 3D 物体,其形式应能够导入游戏引擎、3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类 3D 工具使用的通用语言。



三角网格是用于定义 3D 图形和建模形状的基本框架。


游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的 3D 模型,但并不是使用易于编辑的三角网格形式。


当在单个NVIDIA Tensor Core GPU上运行时,NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。


流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理,就像人的皮肤一样。NVIDIA 3D MoMa 通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。

为虚拟爵士乐队调校乐器


为了展示 NVIDIA 3D MoMa 的功能,NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约 100 张图片。


NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示,并以网格形式呈现。然后,NVIDIA 团队将这些乐器从原始场景中取出,并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。



在任何传统图形引擎中,创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。


然后,创作者可以将新编辑的物体放入任何虚拟场景中。NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。


这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。

2022-06-23 17:543777
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 571.2 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

新官网心体验,腾讯WeTest全新产品功能与解决方案发布!

WeTest

Linux云计算之使用rsync+sersync 实现数据实时同步

学神来啦

Linux centos linux运维 rsync linux云计算

SphereEx 亮相 openGauss Summit 2021,同云和恩墨签订战略合作协议

SphereEx

开源 ShardingSphere SphereEx 云和恩墨 战略合作

近百万条数据、3秒查询,TDengine助力北微云平台的搭建

TDengine

数据库 tdengine 物联网

科技令生活“焕然一新”|年末清洁黑科技:美菱洗地机!

联营汇聚

美菱洗地机

盘点 2021|从零开始,向前出发

Middleware

生涯规划 个人成长 盘点2021 2021年终总结

PingCode 技术架构揭秘

PingCode研发中心

架构 技术架构 研发 PingCode

持续创新·驱动计算:英特尔2021年技术发展大盘点

科技新消息

面向 web 开发人员的免费托管服务

开源之巅

Flink CDC 系列 - Flink MongoDB CDC 在 XTransfer 的生产实践

XTransfer技术

flink 分布式数据库mongodb

并发场景加锁优化小技巧

程序员小航

jdk 并发

带你了解家居智能的心脏:物联网关

华为云开发者联盟

物联网 智能家居 物联网关 智能网关 家庭网络

如何在 Go 中将 []byte 转换为 io.Reader?

AlwaysBeta

golang Go 语言

TiDB Hackathon 项目白皮书—LotusDB

roseduan

TiDB KV存储引擎 kv

Hoo虎符研究院 | Mir Protocol 调研报告

区块链前沿News

Hoo虎符 虎符交易所 好项目

FFmpeg的一些应用实践-补充

为自己带盐

ffmpeg 28天写作 12月日更

检索、问答、情感分析场景前沿技术方案分享!

百度开发者中心

自然语言处理

【Netty技术专题】「原理分析系列」Netty强大特性之ByteBuf零拷贝技术原理分析

码界西柚

Netty 零拷贝 zero copy 12月日更

RandomAccessFile 解决多线程下载及断点续传

李尚智

微服务架构 断点续传 大文件断点续传 RandomAccessFile 微服务附件

大数据开发之Spark SQL及基础引擎知识分享

@零度

大数据 spark SQL

QCon-小布助手对话系统工程实践

安第斯智能云

SLICK: Facebook基于SLO的可靠性保障实践

俞凡

facebook 架构 大厂实践

面试官:this和super有什么区别?this能调用到父类吗?

王磊

四款常见IT自动化运维工具简单介绍-行云管家

行云管家

运维 IT运维 自动化运维

Babel 学习日记(0)

恒生LIGHT云社区

前端 babel

中国联通、欧莱雅和钉钉都在争相打造的秘密武器?虚拟IP未来还有怎样的可能

行者AI

人工智能 虚拟

在线JSON转MySQL建表语句工具

入门小站

工具

【鲲鹏 DevKit黑科技揭秘】│如何实现全链路系统问题90%精准诊断?

华为云开发者联盟

内存 性能分析 内存泄漏 鲲鹏 鲲鹏 DevKit

等保五级怎么划分?适用于哪些系统?

行云管家

网络安全 等级保护 等保测评 信息安全等级保护

【转】前端开发之React Native SDK 升级问题

@零度

前端 React Native

Linux之find常用命令汇总

入门小站

用2D照片创造出逼真的3D乐器,英伟达在CVPR 2022开了一场爵士乐“音乐会”_AI&大模型_刘燕_InfoQ精选文章