ML-Agents Unity Package v1.0 发布

作者: Marwan Matta 等人

发布于:2020 年 5 月 28 日 12:00

ML-Agents Unity Package v1.0 发布

导读:前不久有关虚幻引擎 5.0 的新闻,引起了人们的阵阵惊叹,被誉为“来自外星的黑科技”。其实,除了虚幻引擎外,还有一个游戏引擎也非常牛逼:Unity 引擎。它也是全球开发人员中最受欢迎的第三方游戏开发软件。虚幻引擎集成了人工智能,Unity 自然也不甘落后。今天,Unity 的 ML-Agents v1.0 已经正式发布了!从 1950 年香农教授提出为计算机象棋博弈编写程序开始,无数的科学家贡献了自己的才华和岁月,取得了许多里程碑意义的成果。游戏人工智能就是人工智能技术研究的前沿,被誉为人工智能界的 “果蝇”,推动着人工智能技术的发展,并对社会产生深远影响。InfoQ 中文站曾经翻译过《漫谈电子游戏中的人工智能》,读者可以先看看这篇文章。

2017 年 9 月 17 日,Unity Machine Learning Agents Toolkit(ML-Agents)(意即 Unity 机器学习智能体工具包)的第一个版本发布了。它的任务很简单,就是让游戏开发者和人工智能研究人员都能使用 Unity 作为平台,利用机器学习的最新进展来训练、嵌入智能体。自从最初的“Hello World”发布以来,我们见证了该工具包的社区和发展都得到了极大的增长,该项目已经积累超过 8400 个 GitHub 星。今天,经过两年半的发展和 15 个以上的版本更新,我们很高兴地宣布,ML-Agents Unity Package 版本已达到 v1.0,并以预览包的形式发布。同时,我们还为 ML-Agents 发布了新的产品和资源页面

让我们首先介绍一些背景知识。ML-Agents 是一个开源项目,它使游戏和模拟能够成为训练智能体的环境。它包括一个用于设置场景并在其中定义智能体的 C#SDK,以及一个最先进的机器学习库,用于训练 2D、3D 和 VR/AR 环境中的智能体。

今天,ML-Agents 达到了一个重要的里程碑:C#SDK 已经升级到第一个主要版本 v1.0,现在可以以预览包的形式(com.unity.ML-Agents)通过 Unity Package Manager(包管理器)获得。这为我们的用户带来了三个主要优势:

  • API 稳定性:经过两年多的开发和测试,从我们自己的 Unity 演示环境(从运动任务到多人游戏和机械臂)再到使用 Unity 制作真实游戏,ML-Agents C#SDK 得到不断的发展,为我们带来一个灵活的、功能丰富且稳定的 API,可以轻松集成到任何游戏或 Unity 环境中。
  • 易于安装:现在,你可以直接在 Package Manager 开始使用 ML-Agents Unity Package,而无需克隆 GitHub 项目。
  • 经验证的 Unity 软件包(即将推出):现在,ML-Agents Unity 软件包有望成为 Unity Editor 2020.2 版本经过验证的软件包。

本文将介绍 ML-Agents 的简史,概述我们最新的里程碑版本 ML-Agents Release 1 ,并提供了即将到来的 ML-Agents 改进的一瞥。

ML-Agents 的简史

在我们的首篇博文中,我们曾写道:

作为世界上最受欢迎的创作引擎,Unity 正处于机器学习和游戏之间的十字路口。对于我们的使命而言,至关重要的是为机器学习研究人员提供最强大的训练场景,让他们能够用最新的机器学习技术来回馈游戏社区。

ML-Agents Unity Package v1.0 发布

ML-Agents 中从简单到复杂的训练场景

在接下来的两年半时间里,ML-Agents 恪守自己的使命,并在游戏和机器学习社区的交汇处中不断发展。我们不断改进工具包,添加了新的训练选项,如课程学习(Curriculum Learning),启用 Curiosity 模块的稀疏回报环境,提高训练的速度和效率,启用多智能体场景下的自我对局(Self-play),以及为所有使用 ML-Agents 训练的模型提供原生的、跨平台的推理支持。(请参见我们的 GitHub ML-Agents 概述页面,以了解 ML-Agents 的所有功能介绍。)我们已经见证这些改进如何实现新的演示和环境,如 Puppo 以及与真实游戏的集成,如 Jam City 的《史努比泡泡》(Snoopy Pop) 和 Carry Castle 的《狂怒之源》(Source of Madness)。

ML-Agents Unity Package v1.0 发布

Snoopy Pop(左上),Puppo Day at the Races(右上),Source of Madness(下)

我们专门为人工智能研究人员创建了障碍塔(Obstacle Tower)环境和挑战(用 ML-Agents 构建),作为视觉、控制和规划的基准。我们还看到其他研究人员和实验室采用 ML-Agents 来创建研究基准。典范包括竞技场(Arena)多智能体环境、动物人工智能奥运会(Animal AI Olympics)和连续控制的马拉松(Marathon)环境

ML-Agents Unity Package v1.0 发布

Obstacle Tower(左上),Marathon Environments(右上),Animal AI Olympics(左下),Arena(右下)

自我们的最初版本开始,ML-Agents 社区就从一个由人工智能研究人员、游戏开发人员和学生组成的松散联盟,发展成了成千上万的社区参与者。这其中包括一些 ML-Agents 的创意演示,可直接与我们在线分享。我们的 GitHub 仓库得到了超过 8400 个星标(star)和 2300 个复刻(fork),我们的研究论文《 Unity:智能体的通用平台》(Unity: A General Platform for Intelligent Agents) 的引用次数超过 115 次。

ML-Agents Unity Package v1.0

今天,我们很高兴地宣布,我们最新发布 ML-Agents Unity Package 的版本已经达到 v1.0.0,并在 Unity Package Manager 中以预览包的形式提供。为了反映这一新版本的 ML-Agents,我们的论文《 Unity:智能体的通用平台》(Unity: A General Platform for Intelligent Agents) 也已更新。

这一版本的更改体现了 ML-Agents 的两个核心改进:

  1. 软件包的组织。ML-Agents 现在有四个软件包:一个 Unity 软件包和三个 Python 软件包,其中包括 Unity 到 Python 的通讯和机器学习算法,除非你打算修改我们的训练算法,或构建自己的训练算法,否则你只能将 Unity 软件包集成到你的项目中并使用我们的训练 CLI 来与 ML-Agents 进行交互。
  2. API 的改进。几个月前,我们开始对 C#SDK 进行全面修改,使其使用起来更简单、更直观。其结果是,从 2019 年 9 月的 V0.10.0 开始,我们在几个版本中分阶段进行了大量的重大改进,并最终发布了我们的最新版本。有关这些改进的更多详细信息,请参阅我们的发行说明

ML-Agents Release 1 开始,每个 GitHub 版本都将为构成 ML-Agents 的每个包发布一个新版本。对于 ML-Agents Release 1,我们设置了以下版本:

  • com.unity.ml-agents (v1.0.0, C#)
    • 已经定义 Public API(公共 API),并将在未来版本中遵循语义版本控制。此外,该软件包已经作为预览包被添加到 Unity 包管理器中。我们计划为 Unity 2020.2 版本发布一个经过验证的软件包。
  • Communicator (v1.0.0, C#/Python)
    • Unity 和 Python 之间的通讯协议已经稳定,并将遵循语义版本控制。该功能将在使用同一主要版本的通讯协议的 C#和 Python 包之间实现向后和向前兼容。
  • ml-agents、ml-agents-envs、gym-unity (v0.16.0, Python).
    • Python 包将以一种非向后兼容的方式继续发展和改进。虽然未来对 CLI 的改进可能会引起突破性的变化,但我们计划尽快完成并稳定 CLI。

更多关于我们的软件包的版本控制,以及对 GitHub 版本的相应修改的详细信息,可以在版本控制页面上找到。

下一步是什么?

ML-Agents Release 1 是一个非常令人兴奋的旅程的开始。我们计划通过提高训练算法的性能和效率,根据用户的反馈改进我们的 Unity 软件包,并增加更多的示例环境,这些示例环境受 ML-Agents 的游戏和工业应用启发。你可以在 ML-Agents 论坛上跟进我们的路线图并提供建议。

除了改进核心工具包之外,我们还计划进行一些激动人心的改进,现在,我们将简要描述这些改进。

已验证的 Unity 2020.2 验证软件包

在 Unity 中,作为一个经过验证的软件包,部分目的是为了让用户安心,因为这个软件包将经过重大测试,并经过验证,可以安全地在特定版本的 Unity 中使用。这意味着,如果你想在生产游戏中使用 ML-Agents,我们希望确保我们能够提供支持。我们正计划为 Unity 2020.2 发布一个验证软件包。这也意味着,我们将在 Unity 2020.2 LTS 周期中支持 ML-Agents Unity 软件包。

ML-Agents Cloud

ML-Agents Unity Package v1.0 发布

使用 ML-Agents Cloud 扩展训练

我们从 ML-Agents 用户那里得到的一个常见反馈是,他们希望能够无需安装 Python 即可进行训练。我们还看到了用户在本地机器上进行训练的限制,限制了一次可训练的环境和超参数变化的数量。ML-Agents Cloud 是我们计划在今年晚些时候推出的云服务,它将使 ML-Agents 用户能够在我们可扩展的云基础设施上进行训练。用户将能够提交多个并发的训练,或者轻松地将一个训练扩展到多台机器上,以获得更快的结果。

当前我们正在开放注册,以便考虑人们能够提前预览访问 ML-Agents Cloud。如果你是现有的 ML-Agents 用户,并且需要扩展和管理实验方面的帮助,请点击此处进行注册。

DOTS 世界的 ML-Agents

请下载上传视频 https://youtu.be/4hckoKnIgBU

Unity 的核心正在使用面向数据的技术栈(Data-Oriented Technology Stack, DOTS )进行重建。DOTS 通过使构建的规模更小,运行速度更快,从而提供了显著的性能优势。这些优势在模拟和机器学习的背景下被放大了。因此,我们一直在内部开发一个为 DOTS 构建的 ML-Agent 版本。我们已经成功地将我们的 DOTS 原型集成到示例场景(见上文)和 Unity 演示中,如 MegaCity TinyRacing 。成绩非常出色。我们在标准的笔记本电脑上只用了几个小时就能在 MegaCity 等复杂的大型环境中训练智能体。我们打算在今年晚些时候发布用于 DOTS 的 ML-Agent 实验版本。

请下载上传此视频: https://youtu.be/A740jfboGBw

机器人技术

请下载上传此视频: https://youtu.be/VqR7pEyy5sM

对机器人研究人员来说,Unity 与 NVIDIA PhysX 4.0 已经显著提高了机器人仿真的质量(参见 Unity 2019.3 中的物理学更新)。Unity 2020.1 中包含了由 NVIDIA 的 PhysX 4.1 驱动的新的关节系统,在模拟机械臂和连续关节方面有了显著的改进。它使用 Fratherstone 算法、简化坐标表示法,并采用了新的非线性迭代求解器,大幅减少了关节中不需要的拉伸动作。在实际应用中,这意味着我们现在可以将许多关节串联起来,仍然能够实现稳定而精确的运动。

现在,你可以在 Unity 2020.1(测试版)中开始使用新的关节系统。如果你想尝试使用上面的机器人环境,或者将其作为示例项目来创建自己的机器人环境,请查看 Unity Robotics Demo 项目(与 ML-Agents Release 1 集成)。此外,我们还计划扩展 ML-Agents 中的示例环境,以包含更多的机器人和连续控制环境。

了解如何实现 ML-Agents Release 1

我们与 Immersive Limit 合作开发了 ML-Agents: Hummingbirds ,这是 Unity Learn 平台上的一门课程,通过练习、代码演练和有用的讨论,教你如何实现 ML-Agent Release 1。

ML-Agents Unity Package v1.0 发布

学习如何训练神经网络来执行一项具有挑战性的任务:让蜂鸟拥有六自由度并沿着复杂的飞行路径到达它们的花朵。在本课程结束时,你将掌握如何利用 ML-Agents Release 1 来创建智能体,并将它们集成到你自己的 Unity 游戏和模拟项目中。

原文链接:

https://sourl.cn/Pgudsj

阅读数:1 发布于:2020 年 5 月 28 日 12:00

评论

发布
暂无评论