写点什么

Facebook 开源深度学习框架 Pythia,支持视觉和语言多任务处理

2019 年 5 月 22 日

Facebook开源深度学习框架Pythia,支持视觉和语言多任务处理

Pythia 简介

Pythia是一个深度学习框架,支持视觉和语言领域的多任务处理。Pythia 基于 Facebook 开源的 PyTorch 框架,采用模块化和即插即用设计,研究人员能够基于它快速构建、复制 AI 模型和进行基准测试。Pythia 专为视觉和语言任务而设计,例如回答与视觉数据相关的问题、自动生成图像标题等。


Pythia 能做什么

Pythia 涵盖了 Facebook 在近期多项 AI 竞赛(VQA Challenge 2018 和 Vizwiz Challenge 2018)获胜成果中的元素。其功能特性包括一些最新模型的参考实现方法,能够帮助研究人员了解这些先进模型如何实现对应的基准测试结果,同时快速评估新模型的性能。除了多任务,Pythia 还支持分布式训练和各种数据集,以及自定义的损失、度量、调度和优化。


具体功能特性如下:


  • Model Zoo:最先进的视觉和语言模型的参考实现,包括 LoRRA(SoQ on VQA 和 TextVQA)、Pythia 模型(VQA 2018 挑战获胜者)和 BAN。

  • 多任务:支持多任务,允许多个数据集同时训练。

  • 数据集:内置多种数据集,包括 VQA、VizWiz、TextVQA 和 VisualDialog。

  • 模块:提供视觉和语言领域中常用层的实现方法。

  • 分布式:支持基于 DataParallel 和 DistributedDataParallel 的分布式训练。

  • Unopinionated:不影响基于它构建任何数据集和模型。

  • 可定制:支持自定义损失、度量、调度、优化器、TensorBoard 等任何定制化需求。


这里可以了解有关 Pythia 的更多信息。


开源 Pythia 的重要性

Pythia 让研究人员能够更加轻松地展开视觉和语言子领域的工作,研究人员能够专注于更快的原型设计和实验。Facebook 官网博客表示,Pythia 的目标是通过提高这些模型和结果的可重复性来加速进步。这将使社区更容易在成功系统的基础上构建自己的模型和进行基准测试。Pythia 旨在消除模型重现的障碍,进而使研究人员能够更快地为人和智能机器开发新的交流方式。这项工作将帮助研究人员开发自适应人工智能,将多种理解融合到更基于情境的多模式理解中。


除了当前开源的版本,Facebook 还计划继续为 Pythia 添加更多工具、任务、数据集和参考模型。


Pythia 开源项目地址:https://github.com/facebookresearch/pythia


2019 年 5 月 22 日 15:496795
用户头像
蔡芳芳 InfoQ高级编辑

发布了 586 篇内容, 共 283.5 次阅读, 收获喜欢 1843 次。

关注

评论

发布
暂无评论
发现更多内容

链改,改的是什么?

CECBC区块链专委会

区块链技术 不可篡改 链改 上链 Token

第一周学习笔记

丿淡忘

极客大学架构师训练营

食堂就餐卡系统设计

莫莫大人

餐卡系统设计

YY

什么是架构师?

呆呆栋

架构师训练营第0期-第1周-作业一

极客大学架构师训练营

第一周作业:食堂就餐卡系统设计

尔东雨田

极客大学架构师训练营

架构方法学习小结

Tech Guy

极客大学架构师训练营

架构文档编写

清风明月

架构师训练营第一周总结

皓首不倦

架构师训练营第一周学习总结

阿德

架构师训练营 Week 01 学习总结

Kun

极客大学架构师训练营

食堂就餐卡系统架构视图

Tech Guy

极客大学架构师训练营

01周学习总结

dao

极客大学架构师训练营

架构师训练营第0期第1周学习总结

upupup

极客大学架构师训练营

就餐卡系统架构设计

祝好

架构师训练营-食堂就餐卡系统设计

彭灵俊

极客大学架构师训练营

技术管理者标准管理模板

飒然Hang

架构师训-总结

leis

食堂就餐卡系统设计

upupup

极客大学架构师训练营

关于架构师

莫莫大人

食堂就餐卡系统架构设计

~就这样~

食堂就餐卡系统设计

八两

架构师训练营-第1周学习总结

红了哟

程序员需要学会画UML图

张瑞浩

食堂就餐卡系统设计方案-week01

老A

架构 架构师 极客大学架构师训练营 架构文档

食堂就餐卡系统架构设计文档

呆呆栋

第一课 架构师的自我修养

Geek_bobo

架构师训练营第01周——UML练习

李伟

极客大学架构师训练营

食堂就餐卡系统架构设计

嘻哈

作业一:食堂就餐卡系统设计

丿淡忘

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

Facebook开源深度学习框架Pythia,支持视觉和语言多任务处理-InfoQ