写点什么

滴滴开源自然语言理解模型训练平台 DELTA

  • 2019-08-05
  • 本文字数:1197 字

    阅读完需:约 4 分钟

滴滴开源自然语言理解模型训练平台DELTA

当地时间 7 月 28 日至 8 月 2 日,自然语言处理领域顶级会议 ACL2019 在意大利佛洛伦萨召开,会上滴滴正式宣布开源基于深度学习的语音和自然语言理解模型训练平台 DELTA,以进一步帮助 AI 开发者创建、部署自然语言处理和语音模型,构建高效的解决方案,助力 NLP 应用更好落地。


自然语言处理模型和语音模型是很多 AI 系统与用户交互的接口,此次滴滴正式开源深度学习模型训练框架 DELTA,旨在进一步降低开发者创建、部署自然语言处理系统和语音模型的难度。


DELTA 是滴滴第 22 个开源项目,主要基于 TensorFlow 构建,能同时支持 NLP(自然语言处理)和语音任务及数值型特征的训练。


据了解,滴滴在 NLP 和语音领域已有一定积累,希望借开源 DELTA 这个机会将自身能力开放,进一步降低开发者创建、部署自然语言处理系统和语音模型的难度。同时 DELTA 专门针对工业界场景做了优化设计,填补了从算法模型到产品上线之间的空缺。


目前 DELTA 整合了包括文本分类、命名实体识别、自然语言推理、问答、序列到序列文本生成、语音识别、说话人验证、语音情感识别等重要算法模型,形成一致的代码组织架构,整体包装统一接口。


用户只需要准备好模型训练数据,并指定好配置,模型训练 pipeline 就可以根据配置进行数据处理,并选择相应的任务和模型,进行模型训练。在训练结束之后,DELTA 会自动生成模型文件保存。该模型文件形成统一接口,可以直接上线使用,快速产品化,能让从研究到生产变得更容易。



DELTA 研发团队告诉 InfoQ 记者,NLP 和语音模型训练需要对数据做各种特征抽取和预处理,针对这一情况,团队优化了文本和语音特征和数据处理模块,将这一部分整合进整体模型框架之中,开发者只需提供数据,所有预处理和特征抽取可以由模型框架自动实现。另外,NLP 和语音更关注对序列的建模,DELTA 针对性地提供了大量序列的建模方法。


值得注意的是,除可支持多种模型的训练,DELTA 还支持灵活配置,开发者可基于 DELTA 搭建成多达几十种的复杂的模型;此外,DELTA 在多种常用任务上提供了稳定高效的 benchmark,用户可以简单快速的复现论文中的模型的结果,同时也可以在此基础上扩展新的模型。在模型构建完成后,用户可以使用 DELTA 的部署流程工具,迅速完成模型上线,实现从论文到产品部署无缝衔接。


目前业内还没有与 DELTA 完全一样的开源项目,业界的开源项目多用于研究目的,DELTA 是专注学术界和工业界级别的开源项目。此外,相较业界已有项目,DELTA 同时支持 NLP 和语音任务,也支持数值型特征的训练,及几种特征输入的联合多模态训练,这是实际应用中常见的场景,也是 DELTA 性能更加优越的地方。


目前 AI 开发者可登陆Github查看 DELTA 的详细介绍和源代码,利用 DELTA 加快实验进度,部署用于文本分类、命名实体识别、自然语言推理、问答、序列到序列文本生成、语音识别、说话人验证、语音情感识别等任务的系统。用户亦可在滴滴开源平台上获取更多滴滴开源项目的相关信息。


2019-08-05 16:212609
用户头像
蔡芳芳 InfoQ 总编辑

发布了 812 篇内容, 共 588.9 次阅读, 收获喜欢 2805 次。

关注

评论

发布
暂无评论
发现更多内容

OneData之OneID

KAMI

大数据 数据中台 数据治理 OneData

浅谈Cloud Native技术对云上产品的影响

韩超

Docker Kubernetes 云原生 IaaS PaaS

从连续两届图灵奖(2018-2019)看GPU发展史

GPU

人工智能 gpu 计算机基础 计算机图形学 计算机体系结构

数据治理与OneData 体系

KAMI

大数据 数据中台 数据治理 OneData

OneData之OneService

KAMI

大数据 数据中台 数据治理 OneData

计算机中的递归对普通人有什么启示?

BitSea

算法

一种练好英语口语的方法

董一凡

学习

微服务为什么要有服务发现与注册?

攀岩飞鱼

微服务

11 万字的字节码编程系列合集放送(ASM、Javassist、Byte-buddy、Javaagent)

小傅哥

Java asm bytebuddy 《字节码编程》

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(一)

图雀社区

node.js vue.js Vue

回“疫”录(19):都什么时候了,还在搞“填表抗疫”

小天同学

疫情 回忆录 现实纪录 纪实 形式主义

有问必答(2020-05-09):如何督促自己做好一件事情?

冯夷

生活

sync.Map源码分析

陈思敏捷

源码 源码分析 Go 语言

OneData之OneModel

KAMI

大数据 数据中台 数据治理 OneData

EasyExcel最权威教程

知春秋

Java Excel EasyExcel

写作对我的意义

Neco.W

总结 思考 写作 感悟

程序员的晚餐 | 5 月 17 日 当西红柿遇上鱼

清远

美食

【高级进阶】写给大忙人看的JDK14新特性

知春秋

Java java 14 java 14 新特性

Kotlin协程实践之进程、线程、协程

陈吉米

Java kotlin 协程 Coroutine

都前后端分离了,咱就别做页面跳转了!统统 JSON 交互

江南一点雨

spring Spring Boot spring security

码农理财(一)

北漂码农有话说

理财

Collaboration on SaaS

zhenglei

SaaS Collaboration Cisco Webex

Docker 镜像制作教程:针对不同语言的精简策略

硅基新手村

Docker Dockerfile

游戏夜读 | Scikit-learn迎来0.21版本

game1night

微服务涉及的技术生态有哪些?

攀岩飞鱼

分布式 微服务 方法论 软件架构

少说废话,先干起来

大辉辉

学习 个人成长 自律

Java如何处理异常情况

Rayjun

Java 异常

2020年比以往任何时候更想做成的使命感

乐少

机会,是不会让你准备好的

Winann

学习 生活 知识管理 机会

发布Maven包的正确姿势

廖雪峰

maven 开源

DevOps生命周期,你想知道的全都在这里了!

禅道项目管理

DevOps 测试 持续集成

滴滴开源自然语言理解模型训练平台DELTA_AI&大模型_蔡芳芳_InfoQ精选文章