Facebook 开源深度学习框架 Pythia，支持视觉和语言多任务处理

Pythia 简介

Pythia是一个深度学习框架，支持视觉和语言领域的多任务处理。Pythia 基于 Facebook 开源的 PyTorch 框架，采用模块化和即插即用设计，研究人员能够基于它快速构建、复制 AI 模型和进行基准测试。Pythia 专为视觉和语言任务而设计，例如回答与视觉数据相关的问题、自动生成图像标题等。

Pythia 能做什么

Pythia 涵盖了 Facebook 在近期多项 AI 竞赛（VQA Challenge 2018 和 Vizwiz Challenge 2018）获胜成果中的元素。其功能特性包括一些最新模型的参考实现方法，能够帮助研究人员了解这些先进模型如何实现对应的基准测试结果，同时快速评估新模型的性能。除了多任务，Pythia 还支持分布式训练和各种数据集，以及自定义的损失、度量、调度和优化。

具体功能特性如下：

• Model Zoo：最先进的视觉和语言模型的参考实现，包括 LoRRA（SoQ on VQA 和 TextVQA）、Pythia 模型（VQA 2018 挑战获胜者）和 BAN。

• 多任务：支持多任务，允许多个数据集同时训练。

• 数据集：内置多种数据集，包括 VQA、VizWiz、TextVQA 和 VisualDialog。

• 模块：提供视觉和语言领域中常用层的实现方法。

• 分布式：支持基于 DataParallel 和 DistributedDataParallel 的分布式训练。

• Unopinionated：不影响基于它构建任何数据集和模型。

• 可定制：支持自定义损失、度量、调度、优化器、TensorBoard 等任何定制化需求。

点这里可以了解有关 Pythia 的更多信息。

开源 Pythia 的重要性

Pythia 让研究人员能够更加轻松地展开视觉和语言子领域的工作，研究人员能够专注于更快的原型设计和实验。Facebook 官网博客表示，Pythia 的目标是通过提高这些模型和结果的可重复性来加速进步。这将使社区更容易在成功系统的基础上构建自己的模型和进行基准测试。Pythia 旨在消除模型重现的障碍，进而使研究人员能够更快地为人和智能机器开发新的交流方式。这项工作将帮助研究人员开发自适应人工智能，将多种理解融合到更基于情境的多模式理解中。

除了当前开源的版本，Facebook 还计划继续为 Pythia 添加更多工具、任务、数据集和参考模型。

Pythia 开源项目地址：https://github.com/facebookresearch/pythia