【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

教堂与集市的有机结合,昇思 MindSpore 的发展之路

郭磊、晓亮

  • 2022-03-31
  • 本文字数:3390 字

    阅读完需:约 11 分钟

教堂与集市的有机结合,昇思MindSpore的发展之路

当前在 AI 领域研究的过程中存在一些亟需解决的问题,比如缺乏高质量的学习资源,导致新手入门难,有经验的开发者也因为找不到成熟完善的工具和框架,使开发效率受到限制。

 

以智慧交通中的车辆识别为例,开发者虽然可以在网络上找到很多预训练模型,但其准确率却难以保障,而如果要在企业内部重新训练模型,又需要一系列工具做支撑。当前的 AI 框架,在性能和易用性方面,多倾向于前者,导致框架的布署和使用都比较复杂。且大部分框架都存在场景覆盖不足、功能尚不完善的问题,如果开发者遇见了困难,基本也不存在太有效的求助渠道,只能靠自己钻研,研发效率很低。

 

以上种种,都是当今 AI 开发者正在遭遇的真实困境。

 

好消息是,许多企业、开源作者也注意到了这些问题,AI 工具、框架无论在品类还是成熟度上,正快速发展,华为的昇思 MindSpore 就是其中之一。昇思 MindSpore 是由华为于 2019 年 8 月推出的 AI 计算框架,提供全场景通用 API。2020 年 3 月 28 日,华为宣布 MindSpore 正式开源,随即,开源战略成为整个 MindSpore 项目运转的重中之重。

 

可以说,对开源生态建设的投入,是 MindSpore 在社区内获得高关注度的原因之一。而 MindSpore 之所以能帮助 AI 开发者解决问题,也恰恰是因为开源。

2020 - 2022 :昇思 MindSpore 的开源与生态建设“秘法”

 

著名的开源运动旗手 Eric Raymond 曾于 1997 年在极具影响力的论文《大教堂与集市》中提出一个核心议题:Linux 社区“开放到几乎是混乱”的合作模式,竟然可以构建出这样一个世界级的安全、稳定、易扩展的操作系统,这背后的原因是什么?答案是 Linux 没有采用大多数闭源商业软件的“大教堂模式”,而是采用了协作、开放的“集市模式”,也就是开源的模式。

 

也恰恰是开源,帮助当今世界众多主流基础软件,构建起了成熟的生态。尤其是在 AI 领域,开源可以最大程度地聚集全球顶尖开发者的技术力量,保持软件快速、高质量的迭代。可以说,开源是解决工具框架类在行业发展早期,场景覆盖不全、模型精度不够、易用性不高等问题的主流方案。

 

而开源的 MindSpore 之所以能在短短 2 年时间里就获得众多组织和机构的认可,并仍然保持着高速发展的态势,也与其完善的开源运营理念密不可分。

 

MindSpore 社区一直本着以技术为核心的运营理念,构建能够为开发者带来核心价值的技术框架,“核心价值”指的是社区带给开发者的技术、人文、商业、生态等价值。围绕这一价值理念,MindSpore 社区成立了丰富多彩的 SIG,开展了各具特色的开发者社群、泛内容平台等系列活动。同时,MindSpore 在社区运作和管理等制度方面采用了“教堂”模式,让社区透明、高效、规范的健康发展。

 

这一系列运营理念,使 MindSpore 借助开源的力量,迅速在多个维度取得成绩,并进一步建设整个 AI 开发生态。

与高校、科研机构广泛合作,基础研究与人才培养并驾齐驱

MindSpore 成功联合多所知名高校与科研机构进行项目合作,相继签约支持了武汉.Luojia、紫东.太初、鹏程.盘古、鹏程.神农等千亿级参数的大型项目。这让 MindSpore 的生态圈从产业界扩展至学界。

 

此外,MindSpore 还与 100 多家高校展开教学合作,开设深度学习、计算机视觉、自然语言处理、机器学习/模式识别、人工智能导论等智能基座课程,出版  MindSpore 相关教辅书籍,让学习 AI 技术变得更容易。MindSpore 社区还将持续积极响应国家 AI 人才培养的号召,致力于打造学习成长型社区,关注个人发展,为每一位开发者规划由浅入深的学习成长路线。

社区帮助开发者能力提升,拓宽职业发展路径

MindSpore 一直秉承开发者第一的运营理念,在社区发展中十分注重开发者的成长。

 

MindSpore MSG 的河南组织者就是个很好的代表。最初他只是偏业务边缘的开发者,加入 MindSpore 开源社区后,一方面他积极参与社区组织的各项活动;另一方面,不断加强个人学习能力,参加社区的多项技能考试。此外,他还在去年河南遭受重大水灾和地铁事件时果断伸出援手组织当地开发者进行相应救援活动。在去年年底的一次社区反馈中,他陈述自己在大厂找到了 AI 解决方案相关的工作。MindSpore 的经历使他从一个边缘开发者一步步成长为核心 AI 开发者,完成了个人的华丽蜕变。

 

社区还在多个国家和地区成立了 MSG,在 MSG 中,成员可以一起探讨技术问题、分享实际案例,这使得开发者之间可以快速高效的进行沟通,共同进步。

产业创新与社会责任并重

截止目前, MindSpore 服务了超过 5000 家企业,涉及医疗、交通、金融、制造、能源等诸多领域,在此基础上推进支撑了智能遥感开源生态和多模态人工智能产业两大联盟的成立。

 

搭载 MindSpore 框架推出的首个一站式标注软件 Pair 就是个很好的例子。Pair 基于 MindSpore 快速的 CPU 推理,提供智能医学影像标注功能,对于操作者来说只需一步框定操作就能快速实现目标轮廓的全自动精确标注。目前已经服务 2000+ 医院类机构客户。此外,MindSpore 还联合山水自然保护中心,将 AI 技术应用于实际的生物多样性保护场景,共同开展红外相机照片 AI 物种识别模型训练工作。这也是国内首个基于国产 AI 框架的红外摄像预训练模型。

 

以上几个维度的突破,也反哺了 MindSpore 在开源层面的建设工作。截止目前,MindSpore 在 Gitee 的下载量已经超过 142 万次,项目总 Star 数 16000 多个,累计 PR 数超过 5 万个,社区开发者人数超过 7 万人。除此之外,在 2021 年 MindSpore 成为热度最高的 AI 开源社区并荣获 AI 开源领域的多项大奖。当然,最大的收获还是来自全球各个地区的,越来越多的开发者加入到社区中来,一起推动 MindSpore 的开源建设。



MindSpore 社区数据概览

厚积薄发,MindSpore 1.6 发布


在开源、社区、生态方面的建设工作,众多开发者帮助 MindSpore 在工具层面本身实现了新一轮的突破。反过来看,只有工具变得更好用了,开发者才会真正受益。在 2022 年的 MindSpore TechDay 上,介绍了 MindSpore 1.6 的很多新特性和功能。

 

为了解决开发者在实际使用中遇到的问题和诉求,MindSpore 与开发者开展了系统、深入的交流,针对来自一线开发者的反馈,进一步在开发效率、易用性和性能优化等诸多方面进行了升级改进。如控制流性能提升并支持副作用训练,发布高效易用的图学习框架 MindSpore Graph Learning、高性能可扩展的强化学习计算框架 MindSpore Reinforcement,还提供了第三方框架模型迁移工具和开发套件 MindSpore Dev ToolKit。此外 1.6 版本还为对量子计算感兴趣的开发者带来了支持快速上手的 MindSpore Quantum 量子模块。

 


MindSpore 架构图

更高的开发效率和性能优化

MindSpore 1.6 基于新版本高效语法,重构 Yolo v5 等 Model Zoo 模型,让开发者的编码更为顺畅,在调试、调优等功能特性上,昇思 MindSpore 进行了系统的改进,帮助开发者提升开发效率。

 

在 MindSpore 1.6 版本中,对控制流的 IR 表达设计进行了重构,优化了控制流子图数量,同时新增支持副作用训练,优化带来的直观表现就是执行性能和编译性能上的显著提升。

自定义算子能力升级

早期,社区不少开发者反馈提供的算子种类太少,针对这个问题,MindSpore 1.6 对自定义算子能力进行了全面升级,提供了支撑包括 Ascend、GPU 和 CPU 在内的多平台统一算子开发接口 Custom,基于这一实现,开发者可以方便地自定义并使用自己的算子。 

全场景快速布署

MindSpore 的定位是面向全场景的 AI 框架,全场景支持是指对终端、边缘、云环境等场景的支持,并打通云到端全流程,开发者的精力应该聚焦于 AI 应用的创造,而不应该深陷于复杂的安装布署过程中,MindSpore 屏蔽了针对不同平台、环境的布署细节,提供一键环境布署,5 分钟完即可成环境搭建并使用。 

未来:坚持做正确的事情

 

2022 年的 昇思 MindSpore TechDay 已经落下帷幕,紧接着将迎来 MindSpore 2 周年的日子。回顾开源至今,MindSpore 今天取得的成果足以证明开源开放、开发者至上、社区优先的理念是正确的,是值得长期践行下去的。

 

未来 MindSpore 会继续奉行这一原则,吸引更多优秀的开发者加入进来一起打造有竞争力的开源社区,聚焦开发者需求,帮助更多的开发者成长,同时持续打造更优秀的 AI 框架,汇聚科研与产业的力量,更好地为开发者、用户与合作伙伴提供服务和支持。

 

参考文献:

 

MindSpore 官网:

https://www.mindspore.cn/

 

Mindspore 技术白皮书:

https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/white_paper/MindSpore_white_paperV1.1.pdf

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2022-03-31 14:243165

评论

发布
暂无评论
发现更多内容

赋能后疫情时代的商业创新,用友BIP的力量

海比研究院

Vue进阶(一):Vue 学习资料汇总

No Silver Bullet

Vue 8月日更

使用SpringAop对方法进行增强

捡对象的cy

spring aop

应届生如何拿到高薪和职业方向

hanaper

编程 程序员 音视频 软件工程师 应届生

分布式性能测试框架用例方案设想(三)

FunTester

性能测试 接口测试 测试框架 测试开发

格物致知,零代码训练营第三期顺利结业

明道云

【IT运维】快速解决IT疑难故障就用行云管家!

行云管家

系统运维 堡垒机 IT运维

打造区块链“三大平台” 助推数字化转型

CECBC

大数据训练营hive作业

Clarke

Express Flutter SDK 全面支持空安全

ZEGO即构

flutter 大前端 音视频 空安全

Vue进阶(二):Vue 项目文件结构介绍

No Silver Bullet

Vue 8月日更 项目结构

工作中如何使用GULP构建项目?

加百利

JavaScript 大前端 8月日更 gulp

请珍惜每一次被 Code Review 的机会

escray

学习 极客时间 朱赟的技术管理课 8月日更

他是如何被公司辞退,再到1000个小时后拿到阿里巴巴offer的?

Java架构师迁哥

详解Guitar Pro的自动化编辑器之节拍自动化

懒得勤快

客户选型零代码软件到底在对比哪些方面?

明道云

用好这两个小工具,制作乐谱更高效!

懒得勤快

斯图飞腾产品升级!Stratifyd数据分析平台全新改版

Fil行情:投资fil的成本有哪些?

区块链 分布式存储 IPFS fil fil成本

基于docker的分布式性能测试框架功能验证(三)

FunTester

分布式 性能测试 接口测试 测试框架 测试开发

阿里高工从入门,基础,进阶到项目实战,全面讲解spring boot

Java 程序员 架构 面试 spring Boot Starter

Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?

阿里云大数据AI技术

我国数字经济规模已达41万亿元 总量跃居世界第二

CECBC

拼拼有礼系统软件开发案例介绍

開發15347427695

Java程序员面试需要准备的一些东西

北游学Java

Java 面试

下午4点半,浪潮云说直播间精彩继续

浪潮云

云计算

拼拼有礼模式系统开发详解APP

開發15347427695

鬼斧神工!阿里架构师把多线程编程精华全部总结到这份《Java并发手册》里面了

Java 编程 架构 面试 计算机

【案例】服务邮政快递业安全监管 星环科技助力国家邮政局“绿盾”大数据平台建设

星环科技

万人连麦的幕后技术详解

拍乐云Pano

NLP随笔(二)

毛显新

人工智能 自然语言处理 深度学习

教堂与集市的有机结合,昇思MindSpore的发展之路_AI&大模型_InfoQ编辑部_InfoQ精选文章