和许多企业一样，在过去几年中，InfoSys 见证了从“大数据”到越来越重视机器学习和 AI 研究这一重大转变。但和他们的竞争者不同，InfoSys 断定，合作是更有效方式，而不是大力投资专有解决方案，比如微软的 Azure Machine Learning Studio。
这一决策的结果就是 OpenAI，一家非营利性的人工智能研究企业。自 2015 年 12 月正式成立以来，该研究组织已经从 InfoSys 、 Amazon Web Services 和多个私人捐助者那里获得了 10 亿美元的资金。
我们在这里谈论 OpenAI，是因为他们近日发布了 OpenAI Gym 的公开测试版本。该工具集用于开发和对比强化学习（RL）算法，这是现代机器学习研究的基础。发布公告中提到了他们致力于强化学习算法的两个主要原因：
RL 是通用算法，适应所有涉及一系列决策的问题：例如，控制机器人的电动机，让它跑跑跳跳，做出业务决策，如价格和库存管理，或者玩视频游戏和棋盘游戏。RL 甚至适用于产生序列化或结构化输出的监督学习问题。
在许多不同的环境中，RL 算法已经开始取得很好的成果。RL 有很长的历史，但在深度学习取得最新进展之前，它都需要针对特定问题进行大量的设计。DeepMind 的 Atari 成果、来自 Pieter Abbeel 研究小组的 BRETT 以及 AlphaGo 都使用了深度 RL 算法，并且没有对它们的应用环境做太多的假设，因此可以应用在其他场合。
目前，RL 研究的发展受到了限制，它需要更好的基准测试，而且“出版物中缺少标准化的环境”。不难想象，当另一位科学家的研究论文假定你可以使用一套专有的工具集，你就很难再现他的结果。更糟糕的是，一个内部构建的工具集是多少钱都买不来的。
机器学习的一个重要方面是有一个可以在其中工作的实验环境。这不只是因为创建一个实验环境有很高的开发成本，还因为没有一个共同的环境，比较两个算法就没有意义。因此，OpenAI Gym 提供了这些开箱即用的环境： Classic control 、 Toy text 、 Algorithmic 、 Atari （基于 Arcade 学习环境）、棋盘游戏和 2D/3D 机器人（最后一项需要一个 MuJoCo 物理引擎许可。）
目前，OpenAI Gym 在 Linux 和 OSX 上支持 Python 2.7。如果大家有足够的兴趣，他们也会考虑支持 Python 3 和 Windows。该工具集的代码遵循 MIT 许可协议。
公众号推荐：
2024 年 1 月，InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》，揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步，预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」，回复「大模型报告」免费获取电子版研究报告。
暂无签名
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论