PCon全球产品创新大会开幕在即,查看大会全部精彩内容这里直达 了解详情
写点什么

零门槛开发 AI 模型!国际 AI 科学家联合开源算法训练平台 YMIR

  • 2022 年 6 月 10 日
  • 本文字数:4838 字

    阅读完需:约 16 分钟

零门槛开发AI模型!国际AI科学家联合开源算法训练平台YMIR

5 月,YMIR 正式发布全新里程碑 1.0 版本,新增模型生产项目管理功能,并无缝对接开放免费的标注工具 LabelFree。

 

当前,人工智能商业化在算力、算法和技术方面基本进入成熟阶段,但在人才、规模化生产等方面仍存在诸多挑战。一方面,随着 AI 被越来越多地应用到千行百业中,AI 人才缺口逐渐增大,市场上缺乏熟练的 AI 开发人员;另一方面,AI 的广泛应用也带来了庞大的算法需求量,而算法的开发成本高、迭代周期长,企业难以规模化生产。

 

在此背景下,一个名为 YMIR(中文名:挖米匠)的数据驱动的开源算法训练平台应运而生。

 

YMIR 是一个数据驱动的模型生产平台。具体而言,YMIR 通过集成模型迭代的组件,能够做到以无代码开发的方式,将模型开发行为抽象为数据收集、模型训练、数据挖掘、数据标注等基本操作,并形成标准流程,提供一站式服务,帮助用户快速开发高质量的 AI 模型。此外,YMIR 还遵从 Apache 2.0 许可协议,商用及个人使用均免费。

 

项目官网:https://www.viesc.com/ymir.html

GitHub 地址:https://github.com/IndustryEssentials/ymir

试用申请地址:https://github.com/IndustryEssentials/ymir#12-apply-for-trial

 

值得一提的是,YMIR 的发起人员包括多位国内外 AI 大咖:前 Snap 计算机视觉主席、云天励飞首席科学家王孝宇;美国硅谷 NEC 实验室媒体分析部主管、UCSD 教授,印裔科学家 Manmohan Chandraker;前谷歌、亚马逊、Snap 机器学习研究员,硅谷初创公司 Heali 联合创始人、首席 AI 官,法裔科学家 William Brendel 等。此前,YMIR 几位发起人和核心开发人员撰写的论文 《YMIR: A Rapid Data-centric Development Platform for Vision Applications》被国际顶级机器学习会议 NIPS 2021 收录。

 

近日,InfoQ 有幸采访到了云天励飞首席科学家、YMIR 发起人王孝宇博士,云天励飞未来工厂技术总监、YMIR 核心开发成员胡文泽博士,进一步了解 YMIR 的技术实践与研发历程。

YMIR 的设计理念及特性

 

“助力 AI 走向千家万户”是 YMIR 诞生的意义,也是它的终极目标。

 

王孝宇博士认为,人工智能是第四次工业革命,它会像计算机技术一样影响到每一个行业。“在 40 年前,如果你会使用电脑,会打字,大家会认为你具备一项电脑的专业技能。而在今天,我们发现每一个人都会用电脑,会打字。我们坚信在未来的 10 到 20 年,人工智能也会像计算机技术一样得到普及。

 

那么在这个过程中,我们需要一些技术性的平台去驱动它的发生,就像在计算机年代,微软的 Windows、Office 极大程度上驱动了电脑技术的普及一样,我们也需要这样一个平台,去驱动人工智能由专业化到大众化的普及。”

 

YMIR 正是这样一个低门槛的 AI 模型生产平台,它提供了一个端到端的 AI 开发系统。降低了使用人工智能的公司的成本,并加速了人工智能的采用。

 

“让各行各业有一个低成本的开发计算机视觉模型的方法,也让行业内有相似想法的开发者有一个共同的开发平台,真正地实现我们 AI 赋能百业的愿望,这就是为什么我们去打造 YMIR。”胡文泽博士表示。

开放式设计与数据驱动

 

据了解,YMIR 集成了主动学习方法、数据和模型版本控制以及工作空间等概念,应用在 AI 模型研发环节,专注于标准化的流程管理,降低 AI 模型研发的技能要求。使用者不需具备专业的 AI 技能,只要对数据集、模型训练、模型迭代等概念知识加以少量培训,便具备模型开发的能力。

 

具体而言,YMIR 具备五大特点:

 

  • 流程化,遵循 RPA 设计理念,将模型开发过程流程化。

  • 一站式,覆盖 AI 算法研发迭代端到端全过程。

  • 开放式设计,可通过开放接口集成第三方标注工具、训练代码等。

  • 无代码,采用图形化操作界面,降低算法开发门槛。

  • 免费,平台对个人及商业用户完全免费。

 

其中,开放式设计主要是针对具备一定专业能力的算法开发人员,提供开放 API,使用者可藉此将自己开发的模型训练、数据挖掘、数据标注、模型诊断等工具对接 YMIR 开放接口实现端到端的一站式模型开发。

 

这也是 YMIR 团队挣扎许久做出的决策。据项目团队介绍,当时团队面临两个选择:一是自己写一套工具,做一个封闭的系统;二是做一套相对统一的开放接口,集成第三方工具,用开放的模块化方式去实现整套系统。

 

“显然这两种方式都有各自的优势,第一种方式比较快,但第二种方式对用户而言体验会更好。我们认为这也是一个平台真正的核心价值,不是封闭地将全部功能都实现一遍,而是要尽量充分地发挥平台中的每个角色自身的特点,再将各个角色串联起来。”胡文泽博士说道。

 

在王孝宇博士看来,“AI 的整个链条环节比较长,所以 YMIR 的设计理念就是保持开放性,同时注重流程化,形成一个有生产力的工具。”王孝宇博士坦言,从设计架构上来看,做一个封闭的系统复杂度更低,但 YMIR 选择仅将流程固定,每个环节开放化,让用户既能享受到平台化的红利,又能根据自己需求定制化生产 AI 模型。

 

YMIR 的另一个设计理念是采用数据驱动的方式,以数据迭代为中心,完成计算机视觉模型开发。据介绍,这也是国际上新出现的一种 AI 开发模式。

 

在过去,AI 模型开发通常以模型为中心,大多数的 AI 研究都集中在提升模型或者算法上。但作为 AI 研发过程中最重要的资产,数据也扮演着关键角色。甚至有些时候,调参数、改模型得到的收益,远远低于改数据并提高数据质量得到的收益。此外,也有数据表明,与以模型为中心的 AI 模型开发模式相比,以数据为中心的模型开发效率更高。

 

去年,知名 AI 学者吴恩达提出了机器学习中的二八定律:80% 的数据 + 20% 的模型 = 更好的 AI。他认为,一个机器学习团队 80% 的工作应该放在数据准备上,确保数据质量是最重要的工作。如果更多地强调以数据为中心而不是以模型为中心,那么机器学习的发展会更快。

 

YMIR 的设计理念与吴恩达的想法不谋而合。王孝宇博士表示,“人工智能已经从技术驱动发展到数据驱动,YMIR 采用数据驱动的设计思维,并将其体现在显著位置,目的是希望用户可以将精力更多地放在高质量数据的获取,以及数据的迭代上。”

 

在 AI 模型开发的周期里,模型迭代占据 90% 以上的时间,而数据迭代是模型迭代的关键部分,通过不停地挖掘数据、添加数据,快速提升模型的精度。而 YMIR 主要以数据为中心,集成了数据和模型版本控制,同时引入工作空间等概念,实现多个模型开发任务的并行快速迭代,为模型的大规模批量生产提供平台性支持。

研发历程与未来规划

 

YMIR 的正式启动时间是在去年春天,但早在 2015 年,团队就已设计出了产品的早期雏形,只是当时并没有集团化的力量继续推动。经过几年的技术积累,2021 年三四月份,YMIR 项目正式启动。除了此前提到的多位国外 AI 大咖参与讨论产品设计和未来方向,YMIR 研发团队还聚集了十余位技术人员。

 

回顾 YMIR 的整个研发历程,王孝宇博士表示,在第一阶段,团队做的关键事情是确定 YMIR 的开源设计思想,并实现了端到端的模型研发过程。“我们采用模块化的设计,开源且开放,避免将其打造成封闭的系统。”

 

完成 YMIR 的基本功能后,团队开始在产品的易用性上下功夫,“我们都是懂这套产品的人,但在设计上需要假定用户完全不懂。一开始,我们在易用性设计上会有偏差,在与用户打交道之后,也会有新的收获,一步步完善产品体验。”

 

下一步,YMIR 将提供更多的训练方法、可视化方法,以及数据标注方法。“数据标注方面,目前我们支持两套标注工具。算法方面,目前主要支持检测的算法,后续也会支持分割以及其他算法的镜像,并继续提升产品的易用性。”

YMIR 1.0 有哪些新变化?

 

2022 年 5 月,YMIR 正式发布全新里程碑 1.0 版本。

 

与上一版本相比,新版本引入了项目管理式的工作流程,使 AI 模型的生产进一步标准化。在以项目管理为理念的研发制式下,模型研发项目被切分为几个关键模块。每个模块对应一个任务,这些任务具备前后依赖关系形成研发流程。只有流程前方任务完成后,流程后方任务才能被启动。

 

新版本还新增数据集版本管理功能,能自动生成数据集版本并记录每次对数据集的操作。使用者无需通过手动命名数据集对不同功能数据集进行区分,系统会自动进行数据整理,归入训练集、挖掘集、测试集等,并对这些数据集的更新进行版本控制。数据集和模型的一一对应关系亦被记录下来。

 

此外,新版本还可无缝对接开放免费的标注工具 LabelFree。LabelFree 是一个开放的、可私有化部署的高性能数据标注系统,其操作简单、数据可靠,为算法服务提供可靠的底层数据支撑。

 

LabelFree GitHub 地址:https://github.com/IndustryEssentials/label-free

 

由于使用门槛较低,YMIR 的应用场景相当广泛,尤其在项目开源之后,团队发现 YMIR 可以在各式不同的行业中得到应用,甚至有些原本离人工智能相对较远的企业,也能利用 YMIR 解决自身的业务问题。

 

比如服务业一般都有统一的着装要求,不同的企业也有不同款式的工作服,企业通过 YMIR 定制工作服模型,可以有效降低开发成本。在物流和仓储行业,企业经常会遇到货物堆积问题,通过模型培训,可以识别并估算每个仓库的快递包裹数量,及时转移快递包裹,有效规避仓库爆仓的风险。

 

此外,也有一些本身具备 AI 能力,但核心能力聚焦在其他方面的技术公司,也会采用 YMIR 提升业务效率。

 

“很多大企业在研发 AI 模型时都有自己统一的平台、常用的工具,彼此之间井水不犯河水,但这不利于 AI 技术的普及,以及彼此间的沟通和交流。YMIR 的特点在于它具有普适性和开放性。同时,在未来,这种规模化、平台化的 AI 研发一定会成为趋势。”

 

王孝宇博士表示,一项技术如果能得到大众的广泛采用,那么这项技术也将迅速迭代,就像过去无线电话发展到民用阶段,经过大规模地采用后,手机芯片也实现了跨越式发展,“我们希望 YMIR 可以达到四两拨千斤的效果”。

AI 模型开发将朝向平台化与多融合发展

 

通常而言,典型的 AI 模型开发可以概括为几个步骤:定义任务、准备数据、训练模型、评估模型和部署模型。在过去,这个流程需要开发者具备多项技能,如掌握常用的 AI 开发语言,了解机器学习和深度学习相关算法,等等。随着 YMIR 这类零门槛 AI 模型开发平台不断涌现,AI 模型开发将从“神坛”变得越来越“平民化”,真正进入千家万户。

 

在王孝宇博士看来,AI 模型开发在未来将呈现两个发展趋势:平台化与多融合。

 

“在未来,每一家企业都会从 AI 的角度去看如何提升生产力,即使不使用 AI 的能力,也必须要有 AI 的思维去设计整套研发流程,让整个流程更智能化、数字化。这也会使得越来越多的企业开始采用 AI 模型开发平台,并加入到这类平台的开发和完善中。”

 

此外,在未来,AI 技术也将走向多融合发展。

 

事实上早在去年,多融合 AI 技术就已得到了应用。2021 年年初,OpenAI 推出了两个结合计算机视觉和 NLP 结合的多模态模型:DALL-E 和 CLIP,前者可以基于文本生成图像,后者可以基于文本对图片进行分类。2022 年 4 月,OpenAI 发布升级版 DALL-E 2,除了能基于文本生成图像,还能二次创作。

 

“目前 AI 应用比较多,也比较成熟的领域包括自然语言处理、计算机视觉,但这几个方向在实际应用的交叉并不多。随着视觉算法越来越多,我们对视觉理解的维度越来越高;自然语言处理的模型越来越精确,我们对语音的识别越来越准确,必将会融合出新的技术和应用,并且现在已慢慢有这样的发展趋势。”王孝宇博士说道。

写在最后:开源加速 AI 技术发展

 

回看 AI 技术的整个发展历程,可以清晰地看到开源在其中起到的促进作用,毫无疑问,开源大大加速了 AI 技术的发展。也正因如此,越来越多的 AI 项目选择开源,形成正向反馈。

 

王孝宇博士表示,开源有几大益处:第一,避免“重复造轮子”,大幅节约开发者时间;第二,当大家采用同一套开源框架时,技术能够得到快速迭代。“通过开源可以把模型、项目经验等分享给更多的人,这对产业界的繁荣也起到了促进作用。”

 

而至于一个开源项目才能走得更远,王孝宇博士认为,首先,产品要真正有用,有用户需求,这个是核心。其次,要有持续的研发投入,就像模型迭代一样,开源项目也需要不断迭代,更好地适配业界需求。

2022 年 6 月 10 日 14:011687

评论

发布
暂无评论
发现更多内容

webpack打包过程如何调试?

Jerry Wang

前端 前端开发 webpack 28天写作 12月日更

一文详解TDSQL PG版Oracle兼容性实践

腾讯云数据库

tdsql 国产数据库

云图说|初识数据库和应用迁移UGO

华为云开发者联盟

数据库 华为云 UGO 异构迁移

又拿奖了!腾讯云原生数据库TDSQL-C斩获2021PostgreSQL中国最佳数据库产品奖

腾讯云数据库

tdsql 国产数据库

XEngine:深度学习模型推理优化

华为云开发者联盟

深度学习 模型推理 显存优化 计算优化 XEngine

跟着动画学Go数据结构之堆排序

宇宙之一粟

golang 数据结构 排序算法 Go 语言 12月日更

利用极狐GitLab DevSecOps 功能检测 log4j 的多种方式

极狐GitLab

轻松驾驭EB级千万QPS集群,TDSQL新敏态引擎元数据管控与集群调度的演进之路

腾讯云数据库

tdsql 国产数据库

内核干货不容错过,龙蜥内核的Load Averages剖析直播回顾上线了

OpenAnolis小助手

Linux Kenel 内核 龙蜥社区

蓝格赛(中国)用TDengine落地聚合查询场景,效果如何?

TDengine

数据库 tdengine 后端

解析Redis操作五大数据类型常用命令

华为云开发者联盟

数据库 redis string 数据类型 getset

java开发之SSM开发框架

@零度

Java ssm

元宇宙地产:品牌和投资者的大好机会?

devpoint

以太坊 NFT 元宇宙 12月日更

前沿干货!深度揭秘TDSQL新敏态引擎Online DDL技术原理

腾讯云数据库

tdsql 国产数据库

一文带你梳理Clang编译步骤及命令

华为云开发者联盟

编译 LLVM Clang编译 Clang 编译命令

DM 分库分表 DDL “悲观协调” 模式介绍丨TiDB 工具分享

PingCAP

Go编译原理系列2(词法分析&语法分析基础)

书旅

Go 后端 编译原理

重装上阵——Graviton2提升Aurora性价比

亚马逊云科技 (Amazon Web Services)

Data

「山东城商行联盟」数据库准实时数据采集系统上线,DataPipeline助力城市商业银行加快数字化转型

DataPipeline数见科技

数据库 中间件 数据同步 数据融合 数据管理

​使用 Amazon Neptune 通过数据仓库构建知识图谱,借此补充商务智能体系

亚马逊云科技 (Amazon Web Services)

Data

MySQL 中 blob 和 text 数据类型详解

Simon

MySQL

JDK ThreadPoolExecutor核心原理与实践

vivo互联网技术

jdk ThreadPoolExecutor Java 开发

一个简单的单体服务流量标记demo

zuozewei

Java 性能测试 全链路压测 12月日更

发布你的开源软件到 Ubuntu PPA

hedzr

#Ubuntu Debian packaging ppa

如何将Amazon RDS与Amazon Aurora数据库迁移至Graviton2?

亚马逊云科技 (Amazon Web Services)

Data

IM即时消息系统在荔枝的落地实践

IM即时消息系统在荔枝的落地实践

零门槛开发AI模型!国际AI科学家联合开源算法训练平台YMIR_开源_凌敏_InfoQ精选文章