【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

MindSpore 社区经理黄之鹏:国产自研的开源 AI 框架机会在哪里?

  • 2020-10-25
  • 本文字数:6063 字

    阅读完需:约 20 分钟

MindSpore社区经理黄之鹏:国产自研的开源AI框架机会在哪里?

人工智能行业蓬勃发展,而 AI 应用能否快速落地,与 AI 计算框架息息相关。近两年,国内涌现了一批国产自研的 AI 框架,包括旷视的天元、清华大学的计图、华为的 MindSpore,还有更早的百度飞桨等。但与此同时,在全球范围内堪称成功的主流 AI 框架似乎只剩下 PyTorch 和 TensorFlow 两座大山。当前 AI 开源框架领域到底处于一个什么样的发展阶段?国产自研 AI 框架的机会在哪里?


10 月 15 日-17 日,“有你有我开源节”(开源技术研讨会)于深圳召开,InfoQ 有幸在会上采访到了华为计算开源开发与运营部副总监黄之鹏老师,本期 InfoQ 大咖说就来聊聊国内 AI 框架的开源和发展趋势。


以下是采访视频回顾,为方便读者查看,视频下方也附上了采访问答实录。


00:00 / 00:00
    1.0x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    InfoQ:去年 3 月 MindSpore 正式开源,上个月又发布了 1.0 版本,能否跟我们重点介绍一下 MindSpore 1.0 的特性?


    黄之鹏:MindSpore1.0 版本主要集中在稳定性的优化上,一般来说,一个软件不管它是开源还是闭源,进入到 1.0 版本的一个业界普遍认知,就是它的稳定性已经足够好,可以达到生产部署级别。所以 1.0 版本主要是做了大量的面向稳定性的优化,从而让后面所有使用 MindSpore 1.0 的用户和 ISV 集成商都可以非常放心地在生产环境使用。

    另外,1.0 版本也交付了一些比较新的东西,比如 DenseNet121、UNet2D-Medical 等新模型,还有新的 GNN 模型 BGCF(全称 Bayesian Graph Convolutional Filtering)。其中图神经网络模型(GNN 模型)是最近比较火的一个领域,非常适合用在电商领域的推荐场景。

    除此之外,我们还推出了 MindSpore Lite 的许多新特性。现在华为手机上,大家所使用的所有跟 AI 相关的应用,大多数背后都是 MindSpore Lite 作为引擎在驱动。对于 MindSpore Lite,1.0 版本也交付了很多新的支持,比如说在 Windows 开发的支持,比如算子层面新增了对 ONNX 的支持,支持像 TF Lite、Caffe 的算子的转换。整体来说,MindSpore 1.0 是朝着易用性、稳定性的方向做了大量的优化工作,与此同时交付了一些比较新的有意思的网络模型特性。


    InfoQ:谢谢黄老师的介绍。我们还想了解一下,MindSpore 设计之初的目标是希望做成什么样的 AI 框架?现在进展如何?符合团队的预期吗?


    黄之鹏:我们认为 MindSpore 现在的发展其实是超出我们预期的。在开源的时候,MindSpore 的定位一直是面向端边云全场景的深度学习训练和推理框架。在开源这半年多,现在应该快 7 个月了,我们发现开源的力量真的非常强大。它带给了我们非常多之前自己其实没有想象到的场景,比如像深圳湾实验室,他们将 MindSpore 用在分子动力学研究和科学计算上,这是非常有趣的一个新型研究领域;包括有开发者自己用 MindSpore 去做生成性对抗网络模型(GAN)。我们发现,开源之后有很多开发者会在他感兴趣的领域去尝试使用这个项目。开源 7 个月到现在,我们发现了很多非常有趣的 MindSpore 应用案例和应用场景,整体发展完全超出我们的预期。


    InfoQ:能否跟我们再说一下,MindSpore 开源以来收到了哪些反馈?开源之初你们曾表示 MindSpore 未来会由社区来主要运营,那么现在 MindSpore 开源社区建设进展如何?有没有遇到过什么困难?


    黄之鹏:MindSpore 一直秉承的是社区运营的这么一个方式。开源以来,我们收到了很多鼓励,也收到了很多吐槽,当然这些吐槽也伴随着对 MindSpore 易用性和稳定性方面很多非常好的建议。开源这 7 个月以来,我们收到了大量来自开发者的各种各样的建议,甚至有的开发者觉得官方的入门教程还是太难了,自己写了一个更简易的入门教程。像深圳湾实验室的老师在写完之后,会作为一个 PR 提交给我们,然后社区按照规则评审之后合入了 MindSpore,现在在 MindSpore 官网就能找到开发者贡献的内容,这是之前我们完全想不到的。

    回到社区运营的问题,我们之所以一直给 MindSpore 定位在希望它是一个以社区运营为主的开源共同体,就是因为我们知道开发者的力量。一旦开源出来一个项目,就意味着我们希望能够借助更多人的新思想和开发能力来做一个发展更快、更有创新、能服务更多人的项目。MindSpore 在开源之初也是这么一个定位,华为经常说普惠 AI,就是希望人工智能技术能够造福全社会。深度学习框架作为人工智能技术的一项核心能力,必然是要通过开源、社区运营的方式,让大家都来参与一起建设这,这是一个非常自然且合理的逻辑。


    InfoQ:除了 MindSpore,近两年国内也涌现了很多国产自研的 AI 框架,包括旷视的天元、清华大学的计图,还有更早的百度飞桨。相比其他框架来说,MindSpore 的定位跟优势是什么?


    黄之鹏:一般来说,对于开源项目,我们不会太强调开源项目之间对比优势是什么。对于开源项目来说,我们的一个宗旨是,第一,我们非常高兴能够看到有很多同类的开源项目涌现,因为这意味着这个领域是受到大家关注的,要不然死气沉沉的只有一到两家,那做了也没有意思。

    第二,我们一直秉承着一点,所有的开源项目都希望尽可能合作,从 MindSpore 刚开源的时候,我就在不同场合多次表达过这个观点,只要有合作的非常好的点,我们都特别希望跟其他开源框架合作。因为开源本身就更加强调合作而非竞争。

    回到 MindSpore 本身,我不想把它说成一个优势,只能说是我们给自己的定位。第一,我们的定位是全场景的深度学习框架,MindSpore 也设计成了在手机、边缘硬件、数据中心、云等不同硬件环境都可以非常好地使用的一个框架,当然这目前还不是特别常见的一种能力。第二,MindSpore 一定是一个通过开放治理、开源开发、社区运营的开源项目。MindSpore 从开源到现在,我们自认为还是营造了一个比较好的开发者氛围的。虽然现在有很多的深度学习开源框架,但大多数都是由一个非常资深的公司来主导。

    但是其实参加 MindSpore 开发的开发者,没有人会感觉自己是在为项目背后的公司打工。社区会举办很多活动,我们的核心开发团队在收到开发者的吐槽之后,会很快去回复他们,看我们的改进方法他们是否认可。这 7 个月时间里,我们一直在营造的这种开发者氛围,我觉得是成功的。我不知道这是不是一个优势,但至少对于我们自己来说,还是比较满意的一个点。


    InfoQ:未来 MindSpore 还有哪些重点工作要做呢?


    黄之鹏:我们 8 月份在社区成立了—个研究工作组(Research Working Group),并在工作组里发布了未来 AI 的五大方向和十大课题,这也是我们认为 MindSpore 在未来需要着力去解决的。我们选择在社区发布,也是希望能够得到更多社区开发者的反馈。

    仅就我们自己的理解来说,有这么几个方面:

    • 可解释 AI,在深度学习的数据准备或者数据处理的整个过程里,现在 AI 的可解释性非常差,MindSpore 后面会着力解决这个问题。

    • 自动并行,自动化的并行能力不管对于企业、研究机构还是开发者来说,都是够非常有用的能力,可以帮助他们在一个大的集群上非常快速的上手,很方便地去训练一些大模型。自动并行在 MindSpore 已经有一些尝试了,包括一些并行策略的搜索和优化,但我们觉得未来远不只于此,这可能是未来非常大的一个发展方向。

    • 低比特网络的训练,包括内存优化,希望未来大家通过 MindSpore 可以实现用更少的算力消耗训练好一个模型。我们希望 MindSpore 能够为未来更加绿色的环境贡献一份力量。

    • AI 安全,这是所有企业都会关注的方向。AI 安全方面有一些发展方向值得关注,比如密态 AI,现在已经有这样的技术,叫 Confidential  Computing(机密计算、可信计算)。它主要是借助硬件的能力,相当于在内存独立开辟出一块区域专门用来处理数据。而不像常用的手机、电脑,所有的数据都共享同一块内存,很容易被攻击和窃取。人工智能其实还有很多安全上的隐患,我们希望 MindSpore 未来可以在 AI 安全方面有更多的发展。

    • 科学计算的 AI 应用及模型创新,包括引入面向科学计算的深度学习模型,以及通过深度学习框架支持大量的高阶微分计算等大计算量任务。

    刚才提到这五个大方向,又会分出来十个大的课题,这些是我们认为 MindSpore 在未来可能会着力的点。我们也欢迎业界专家、开发者跟我们分享更多新的想法,一起发展。


    InfoQ:接下来我们进一步聊聊行业。您认为当前 AI 框架领域处于一个什么样的发展阶段?目前这么多开源 AI 框架,未来会是什么样的一个演进趋势?是否有可能一定程度地融合?又或者是淘汰到只剩下少数一两个主流框架?


    黄之鹏:这里只能分享我个人的观点。我个人的观点是,大家可以把 AI 框架或深度学习框架比作编程语言,然后想想现在编程语言是一个什么样的状态。我认为框架现在还处于一个蓬勃发展的阶段,虽然深度学习框架的前端基本上已经定型了,但是 AI 基础设施(比如编译器、硬件等)一直在创新发展。这也是为什么单单在今年就有很多开源框架推出。

    至于未来会怎么发展,还是借用刚才的比喻,大家会觉得编程语言最后就剩一到两门吗?肯定不会。我们现在依然有很多编程语言,C、C++、Java、JavaScript、Python,现在还有不少新的语言,比如 Rust。每一种编程语言存在的意义在于,它一定是解决一系列特定的问题解决的非常好,因而受到需要解决这一系列特定问题的开发者的欢迎。

    我个人认为,深度学习框架未来的发展,可能也是类似于编程语言,只要是能够解决特定问题的框架,后面就会有非常好的一个开发者的小生态,可能会有很多个生态并行存在。这并不矛盾,类似于自由市场的竞争,开发者用手投票,他们愿意用什么就用什么。比如,如果他们觉得 MindSpore 在解决全场景、科学计算等领域好用,MindSpore 就一直会服务大家,这个生态就能够持续发展下去。


    InfoQ:所以,黄老师认为未来 AI 框架可能更多会是百花齐放这样的一个状态。那我们还有另一个问题,当前 TensorFlow 和 PyTorch 都已经拥有非常庞大的开发者社区,也有很多企业已经大量采用。在这种情况下,国内自研的 AI 框架如何突围?


    黄之鹏:我觉得我们根本不用去用“突围”这样的字眼,用这样的字眼是因为我们经常还是用一种比较静态的思维方式去想这个事情。我们总会想,截止到现在,TensorFlow 跟 PyTorch 两个加一起可能占到 80%-90%的市场份额,好强大,这个怎么搞?但其实动态地去看,整个中国的 AI 产业还处于一个起飞的阶段,未来的想象力是非常大的。

    举一个例子,我们来自中国科研院校、研究机构或者企业的数据集,现在才刚刚开始,等到我们自己的很多非常好的数据集慢慢出现,面向这些数据集就会有模型的创新,只要有模型的创新,就意味着是框架创新的推动力。模型对于深度学习框架来说,就好比应用之于编程语言,新的模型就是新的应用场景。

    我认为未来可想象的空间非常大,根本不用纠结于“突围”,可能一个更恰当的问题是,未来 TensorFlow 和 PyTorch 的阵地能有多大?因为肯定会被我们蚕食的,这是毋庸置疑的。只要大家踏踏实实地去开发技术解决问题,把开源社区搞好,不要辜负开发者的信任,不要去浪费大家的注意力,好好弄这些东西,我觉得多几个框架都是好事情,只要大家都认真好好干,未来市场是非常大的。


    InfoQ:近两年国内的开源氛围越来越热烈,华为最近也做了很多开源方面的工作。您如何评价目前国内企业在开源社区方面所做的工作和国内开源产业现状?有哪些玩家类型?


    黄之鹏:先说整体趋势,就像你刚才问题里面描述的,整体趋势还是非常好的。做开源的人哪怕十年前应该都不敢想象现在的发展,我们之前在 CCF 的会上做一个论坛分享,当时我也说,哪怕五年前,我们要做一个类似的 Panel,你能想象到可以邀请到五个国内做框架的代表来吗?不可能吧,肯定都是国外的专家。所以整体而言国内开源的发展势头和氛围是非常好的,以后肯定会有大发展。

    企业方面,至少从我们了解到的情况,比较大型的企业参与开源的意愿应该是越来越强的。其实不管对于中国企业,还是国外企业来说,只要是一个商业化的组织,参与开源终究都需要回答一个问题:参加一个开源社区对于公司最终的盈利到底有没有什么帮助?

    这几年越来越多的中国企业开始了解开源的玩法,包括涉及到开源的商业模式是什么样的,这是一个非常好的现象。不光是华为,像阿里、腾讯、百度,国内很多公司都开始加大力度投入到开源的参与里面。

    目前来看,企业参与开源可能主要分两种形式:一个加入业界的开源基金会,一般企业都比较愿意参与到基金会里面,因为基金会会有一套比较成熟的基金会治理、法务、知识产权管理、商业化相关的条款体系,对于企业来说风险最低;另外一种是企业自己在做的开源项目。

    当前的现状大概也分这两类来说,首先是参加开源基金会,目前中国参与开源基金会的企业数量和每一个企业参与开源基金会的种类,都是越来越多的。这代表大家参与的意愿越来越强了,但可能我们在话语权上还是要差一些。除了本身的文化差异,以及这些基金会大多在西方的原因之外,可能我们在自主去开创一些新项目这方面,还需要更加努力。在开源社区,我们需要去主导更多项目,主动去表达自己的想法、传递价值观,否则就只能一直是一个跟随者。

    然后说到第二类,就是企业自己开源的项目,之前可能企业开源的项目大多数都是企业的从业者个人相关色彩比较浓。未来由企业主导的大型开源社区可能会越来越多,我认为这对整个中国开源是非常好的事情。只要是你开始自己思考,开始自己去干很多的事,这都是会对整体发展一个非常大的利好。

    说回到基金会,这次活动是由中国首个软件开源基金会——开放原子开源基金会发起的。这个基金会能成立,我们都觉得意义非常大,它不仅仅是成立一个组织或者机构,其实它代表的是,在中国开始有一批很专业的人开始在运营开源这个东西了,不再是业余的参与。开源应该是一件很专业的事情,要有专业的法务人员、专业的市场人员、专业的运营人员。随着基金会的壮大,我们还能影响更多人去了解和参与到开源工作中来,哪怕只是帮助他们意识到真正做开源意味着什么,而不是只是把代码扔到 Github 上面就算开源了。


    InfoQ:近期国内新一代信息技术的发展受到了美国方面的阻力,有专家认为,开源或是解决这个危机的其中一个办法,对此您怎么看?您会怎么预判未来几年国内开源领域的发展趋势,以及您个人有哪些期待?


    黄之鹏:每一个时代多多少少都会有它需要处理的挑战和问题,只不过恰好我们现在觉得美国或者西方开始制造一些障碍。其实归根结蒂是我们自己的技术创新能力要强,只要自主创新能力强,谁也限制不住你。我认为开源并不是一个根本性的解决办法,但开源是一个很好的手段。刚才也有提到,我们之所以希望后面有更多的创新技术也是通过开源的方式去运作,是因为通过开源的方式可以吸纳进非常多之前根本规划不到、想象不到的新想法、新的开发能力。

    开源是开发者脑力和体力的众筹,它是一个非常好的技术开发方式。借助这个方式,再加上如果国内有越来越多的从业者能够踏实地去解决很多基础领域的核心技术问题,而不是追求短期利润,那么未来国内的技术创新肯定会迎来一个爆炸期,我们不能低估数亿人的想象力。

    我个人认为中国的开源后面还会有一段高速发展期,当我们开始解放越来越多人的想象力,越来越多人了解到开源是什么,把他们的想象力也加入到开源工作里来,开源一定会呈现像核裂变一样的指数级的巨大发展,我个人非常看好开源,看多开源。


    公众号推荐:

    2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

    AI 前线公众号
    2020-10-25 13:312388
    用户头像
    蔡芳芳 InfoQ主编

    发布了 778 篇内容, 共 489.2 次阅读, 收获喜欢 2746 次。

    关注

    评论

    发布
    暂无评论
    发现更多内容

    mac强大的音频处理工具Ableton Live 12 中文版最新

    胖墩儿不胖y

    Mac软件 mac音频编辑器

    LED透明屏市场前景展望

    Dylan

    全球经济下行 中美贸易 LED LED显示屏 led显示屏厂家

    推出 Amazon EC2 C7i 实例

    亚马逊云科技 (Amazon Web Services)

    机器学习 分布式 ebs

    软件测试/人工智能丨身份运算符

    测试人

    人工智能 软件测试

    Web网页端IM产品RainbowChat-Web的v6.0版已发布

    JackJiang

    网络编程 即时通讯 IM

    视频后期特效合成软件:Blackmagic Fusion Studio18 激活最新

    mac大玩家j

    Mac软件 特效合成工具 Mac软件特效

    MongoDB和阿里云携手驱动WeLab 引领超千万用户迈向智能金融未来

    Geek_2d6073

    Amazon CodeWhisperer 免费的 AI 代码生成助手!最新体验反馈~

    亚马逊云科技 (Amazon Web Services)

    人工智能 亚马逊云科技 云上探索实验室 Amazon CodeWhisperer

    Q-learning 入门:以 Frozen Lake 游戏环境为例

    Baihai IDP

    人工智能 程序员 AI 强化学习 白海科技

    大模型发展的前景与挑战 主赛道:技术人的 2023 总结

    不叫猫先生

    大模型 ChatGPT #技术人的2023总结

    开源MES/免费MES/开源MES生产流程管理

    万界星空科技

    开源 开源代码 开源软件 免费开源 开源mes

    软件测试/人工智能丨成员运算符

    测试人

    人工智能 软件测试

    在自动化测试时,Python常用的几个加密算法,你有用到吗

    华为云开发者联盟

    Python 开发 自动化测试 华为云 华为云开发者联盟

    VisualDiffer for Mac(文件夹和文件比较工具) 1.8.9中文激活密钥版

    mac

    苹果mac Windows软件 VisualDiffer 文件快速比较工具

    【数据安全】金融行业数据安全保障措施汇总

    行云管家

    金融 数据安全 运维安全 数据安全运维

    Blackhat Europe 2023 | 百度安全揭秘多平台NPU背后的安全风险

    百度安全

    寿光教育城乡一体化的秘诀,藏在“教育一朵云”里

    脑极体

    云平台

    010 Editor 十六进制编辑器 注册激活版 mac/win

    Rose

    010 Editor下载 010 Editor破解版 010 Editor注册码 16进制编辑器

    NFTScan | 12.04~12.10 NFT 市场热点汇总

    NFT Research

    NFT NFTScan nft工具

    SVN优缺点详解及版本控制系统选型建议

    龙智—DevSecOps解决方案

    svn 版本控制

    万界星空科技低代码平台:搭建MES系统的优势

    万界星空科技

    低代码 数字化 MES系统 低代码开发 mes

    Atlassian发布四个CVSS风险评分9.0或更高漏洞,影响多个产品

    龙智—DevSecOps解决方案

    Atlassian

    Rust做一个图片服务器有多难?

    这我可不懂

    rust

    【FAQ】推送前台应用的通知处理功能没生效,如何进行排查?

    HMS Core

    HMS Core

    Android开发中如何进行单元测试?

    高端章鱼哥

    android 单元测试 JUnit Mockito

    Topaz Video AI for mac v4.0.7注册激活版 人工智能视频增强 支持M/Intel

    Rose

    mac软件下载 人工智能视频增强 Video Enhance AI 下载 Video Enhance AI 注册

    SVN管理工具Cornerstone for Mac入门教程 Cornerstone永久破解资源

    Rose

    SmartGit for Mac(老牌Git客户端)v23.1.1中文注册版 支持M/intel

    Rose

    SmartGit破解版 SmartGit许可证 Git 客户端 SmartGit for Mac SmartGit 中文

    INTO领航:2023社交变革峰会揭示数字社交的未来格局

    Geek_2d6073

    基于FFmpeg实现一个数据流风格的视频处理工具 | 社区征文

    为自己带盐

    ffmpeg #技术人的2023总结

    CSS属性isolation,走过路过不要错过!

    伤感汤姆布利柏

    CSS 前端

    MindSpore社区经理黄之鹏:国产自研的开源AI框架机会在哪里?_开源_蔡芳芳_InfoQ精选文章