强化学习（RL）已成为最受欢迎的机器学习领域之一，并且在过去几年中取得了许多重大进展。因此，研究人员和教育工作者越来越需要获得一个清晰可靠的 RL 研究和教育框架。去年 8 月，谷歌发布了一款全新的开源强化学习框架 Dopamine，该框架基于 TensorFlow，主打灵活性、稳定性、复现性，能够提供快速的基准测试。
今天，谷歌发布 Dopamine 2.0，为强化学习提供了更高的灵活性以及更多的测试环境。
去年八月，谷歌发布了 Dopamine，这是一款灵活的强化学习框架。初始版本专注于特定类型的 RL 研究：基于 Arcade 学习环境（一个成熟的、易于理解的基准）和四个基于值的代理 DQN、C51、Rainbow 代理的简化版本以及隐式分位数网络代理实现的。
开源地址：https://github.com/google/dopamine
据官方博客介绍：
开发小组收到的最常见的请求之一是对更多环境的支持。这证实了他们在内部看到的情况，在测试新算法时，OpenAI 的 Gym 支持的简单环境非常有用。于是，谷歌正式发布 Dopamine 2.0，这一版本包括了对离散域 Gym 环境(如离散状态和动作)的支持。框架的核心保持不变，只是简单地概括了与环境的接口。为了向后兼容，用户仍然可以下载 1.0 版本。
此外，新版本还包括两个经典控制环境的默认配置：CartPole 和 Acrobot；在这些环境中，用户可以在几分钟内训练 Dopamine 代理。与标准 Atari 2600 游戏的训练时间（标准 GPU 上大约 5 天）相比，这些环境允许研究人员在更大规模的 Atari 游戏上测试比之前更快地迭代研究思路。新版本还包括一个合作实验室，演示如何在 Cartpole 和 Acrobot 上训练代理。最后，GymPreprocessing 类为如何将 Dopamine 与其他自定义环境一起使用提供了示例。
拓展阅读
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
InfoQ编辑
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论