AI 前线导读： 这个简单的驾驶模拟器将变革视频游戏图像处理领域。
更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）
（真实视频录像和英伟达 AI 生成视频对比）
最近，人工智能领域的繁荣已取得让人惊叹的成果，尤其是在图像和视频生成领域。最新的成果来自于芯片设计商英伟达，今天，该公司演示了如何结合传统视频游戏引擎和 AI 生成视频。这个混合型的图像系统将来可能会被用于视频游戏、电影和虚拟现实应用中去。
英伟达应用深度学习副总裁 Bryan Catanzaro 表示，“这是一种使用深度学习生成视频的新方法，很明显英伟达很重视生成图像，并在思考 AI 将如何变革这个领域。”
英伟达的这一工作成果其实不是真实的，和大部分 AI 生成的图像一样，英伟达生成的视频中商标也是模糊的。这也并非一项全新的技术。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个名为 pix2pix 的有影响力的开源系统，部署了生成对抗网络（GAN）。这种神经网络被广泛用于 AI 图像生成，包括最近由佳士得出售的AI肖像。
但英伟达此次有所创新，发布了第一个由 AI 生成图像的视频游戏演示。利用这个简单的驾驶模拟器，玩家可以在 AI 生成的几个城市街区空间中导航，但不能离开车内或以其他方式与世界互动。该演示仅使用一个 GPU 即可实现，这一点非常领先。（虽然不可否认，他们使用的 GPU 是该公司价值 3000 美元的顶级产品 Titan V，据称是“有史以来最强大的 PC GPU”，而且通常用于高级模拟处理而不是游戏。）
英伟达系统可以在几个步骤内生成图像。
收集训练数据，数据来自用于自动驾驶研究的开源数据集。
将该镜头分段，每个帧被分成不同的类别：天空、车、树木、道路、建筑物等。
使用分段数据训练生成对抗网络，生成这些对象的新版本。
工程师使用传统流行的游戏引擎 Unreal Engine 4 创建虚拟环境的基本拓扑。使用此环境作为框架，深度学习算法实时生成每个不同类别项目的图像，将它们粘贴到游戏引擎的模型上。
“结构还是用传统的方法创建，”Catanzaro 解释说，“人工智能生成的唯一东西就是图像。”他补充道，演示本身是基本的操作，由一名工程师完成。 “这是概念验证，而不是一个有趣的游戏。”
（AI 生成图像比较：左上角是分割图；右上角是 pix2pixHD；左下角 COVST；右下角，英伟达系统 vid2vid。图片来源：英伟达）
解决方案是给系统一个短期记忆，以便将每个新帧与之前的帧进行比较。它尝试预测这些图像中的运动等因素，并创建与屏幕上的内容一致的新帧。所有这些计算都很昂贵，因此游戏只能以每秒 25 帧的速度运行。
Catanzaro 强调，这项技术处于早期阶段，而且人工智能生成的图像可能需要几十年时间才能成为消费级产品。他将这种情况与光线跟踪的发展进行了比较，光线跟踪是当前图像渲染的热门技术，它能实时生成单独的光线，在虚拟环境中创建逼真的反射、阴影和不透明度。“第一次交互式光线追踪演示发生在很久很久以前，但直到几周前，我们还没有在游戏中得实现它，”他说。
这项工作确实在其他研究领域有应用潜力，包括机器人和自动驾驶汽车，它可以用来生成训练环境。不久之后，它可能会出现在消费产品中，尽管范围有限。
例如，该技术可用于混合图像系统，其中大多数游戏使用传统方法渲染，但使用 AI 创建人或物体的相似性。消费者可以使用智能手机自己获取素材，然后将这些数据上传到云端，算法将学习复制并将其插入到游戏中。例如，它可以更容易地创建看起来和玩家相似的头像。
然而，这种技术引起了一些明显的问题。近年来，专家越来越担心别有用心之人使用 AI 生成的伪造品进行虚假宣传。研究人员已经证明，生成一些政治家和名人从未说过的话合或做过的事非常简单，AI 将变成一把双刃剑。
同时，英伟达还提出，该技术可能会用于生成一些具有误导性的内容。Catanzaro 表示，英伟达正在和合作伙伴合作探索检测虚假 AI 的方法，但这种假消息最终是“信任问题”。和之前很多信任问题相似，此问题需要一些列的方法来解决，而不仅是技术手段。
Catanzaro 表示，英伟达需要负一部分责任，“难道 AI 生成假视频，发明电力的公司也需要负责任吗？”
对于英伟达来说，推动 AI 生成图像技术总的来说将会对其有益：它将帮助英伟达售卖更多的硬件，英伟达的股价也随着 2010 年深度学习的火爆而上升（虽然最近有下降的趋势），因为该公司的芯片与机器学习发展的需求非常契合。
原文链接：
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
评论 1 条评论