阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

推动人工智能向前一步,人工智能开发工具的过去与未来

  • 2022-04-27
  • 本文字数:3367 字

    阅读完需:约 11 分钟

推动人工智能向前一步,人工智能开发工具的过去与未来

人工智能的重要性在当下不言而喻。在 InfoQ 发布的《2022 年值得关注的 8 个人工智能趋势》文章中,列出了人工智能在 2022 年乃至未来一段时间,在 AI-on-5G、生成式人工智能、语言模型迭代、元宇宙等方向将备受关注。从最开始的认知到如今的技术创新和应用落地,人工智能的快速发展离不开人工智能开发工具的迭代。

 

工欲善其事,必先利其器,从人工智能开发工具的发展中,我们可以窥见人工智能的未来。在这样的背景下 InfoQ《极客有约》联合 OpenI 启智社区推出的《人工智能开源录》第二期,邀请到了鹏城实验室双聘成员、北京大学计算机学院助理教授、AI 开源框架 TensorLayer 的开源开发者董豪老师,就“人工智能开发工具的过去与未来”这一主题展开了分享。

人工智能开发工具与人工智能

 

高效的开发工具能够让开发这件事情变得事半功倍。从十多年前普遍被使用的 Scikit-Learn,到后来加拿大 Mila 研究所开发了专门针对深度学习的框架 Theano,再到贾扬清博士专门开发了针对视觉深度模型的框架 Caffe,伴随着人工智能关联技术在各行各业的应用越来越广泛,更多的人工智能开发工具诞生。谷歌开发的 TensorFlow、Facebook 开发了的 Pytorch 也因此流行。

 

纵观国内外的大公司,开发人工智能框架多为顺应时代发展,符合企业战略需求。深度学习作为近些年的人工智能热门技术,是很多公司的研究方向之一。“所以我们可以发现整个的一个开发工具的发展历程是从普通的机器学习开始,到最近 10 年基本上很多都是围绕深度学习。最开始是以高校为主导的一些开发,到后面基本上是被大企业来主导的开发了。”董豪告诉 InfoQ。

 

作为 AI 开源框架 TensorLayer 的开源开发者,董豪长期关注人工智能的发展动向,深耕人工智能开发工具的迭代。

 

“当年 Mila 实验室为什么要开发 Theano?因为他们当时要研究深度学习,市面上并没有一种工具可以很好的用 GPU 来加速深度学习的训练。用 CPU 慢慢跑,一个模型要跑很久很久。”董豪谈道,“所以那个时候他们虽然自己是研究算法的人,也不得不去造这么一个轮子。”Mila 实验室当时的主要负责人 Bengio 是一位深度学习的图灵奖获得者,基于这样的需求推动了对 Theano 的开发研究。

 

董豪本身开发研究 TensorLayer 也有这样的初衷。在他看来,公司主导的人工智能开发框架之所以可以成功,主要原因就是能够满足公司内外部的战略要求,满足使用人员的需求。企业研究人工智能技术的需求,推动了人工智能开发工具的迭代。

 

推动人工智能开发工具发展的另一个主要因素是生态。如今,人工智能项目比以往任何时间都需要更多的数据和更快的速度,我们看到的数据并行的分布式训练、大模型框架、模型并行的分布式训练方法等,都是不同路径的应对方法。

 

“从算法角度看,这件事可能在一定程度上都已经超出了一个软件工具的范畴。现在有很多人在研究软硬结合的方法,比如专门针对 AI 训练的一些计算方式、一些数据处理的方式,在芯片层面有一些独特的设计,让它在做某一些训练的时候,速度能够更快。”董豪谈道。人工智能和人工智能开发工具之间的关系,就像软硬件的发展一样处在动态平衡之中。百花齐放的人工智能开源生态,一定程度上反哺了人工智能开发工具的发展。

从 TensorLayer 到 TensorLayerX

 

TensorLayer 也是在这样的时代大潮下诞生的。TensorLayer 是一个基于 TensorFlow 的新型深度学习和强化学习库,提供高级别的深度学习 API,易于修改和扩展,可以同时用于机器学习的研究与产品开发。

 

TensorLayer 一定时期内在社区内得到了不同程度的好评。“在当时那个时间点。但我觉得受到欢迎,要看和什么比了。如果作为一个爱好者开发的工具,也确实是挺受欢迎的。如果和公司,就是公司级别的这种团队开发的工具来比,那影响力还是不是很高的。”董豪谈道。

 

面向学术界和工业界,TensorLayer 曾经推出过两种强化学习库。从用户反馈上看,工业界上的用户更注重易改性,即能够根据自己的业务和数据类型进行修改。

 

TensorLayer 将对工业界用户的需求提供一套应用标准,让用户能够在一套标准下一通百通,并提供配套的部署框架自动化地应用,实现对资源的高效利用。“目前这种部署级的开源框架业界都挺少的,多见于大公司内部,而小公司需要单独找人去开发。我们开源出来以后,就希望很多的一些中小单位就可以不需要去重复做这样的一些事情。”董豪谈道。

 

TensorLayer 最初的版本和 Keras 很相似,但 Keras 当时兼容多框架,而 TensorLayer 当初只支持 TensorFlow 一个框架。随着近几年国内的开发框架和 AI 芯片厂商的发展,不论从软件层还从芯片层的生态圈,都出现了割裂分散的形势。基于这个背景,TensorLayer 团队希望打造一套通用的与平台无关的一种开发框架,即正在开发中的 TensorLayer 升级版本 TensorLayer X。

 

TensorLayerX 是一个兼容众多计算引擎的开发框架,兼容的引擎包括 TensorFlow、Pytorch、PaddlePaddle、MindSpore,以及 OneFlow、Jittor 等。

 

不过 TensorLayerX 这个项目目前还没有正式发布,这也是董豪首次对外系统介绍 TensorLayerX。他谈道:“我们要兼容不同的这种框架,在抽象的设计上面还是挺有难度的,而且还要保证这个效率不要,计算效率不要有损失。所以这个东西,这个设计反复设计的过程还是经历了挺多的。目前最难的兼容部分已经做完,后面是一些体力的工作了,在各种 Layers 都开发完以后,我们就还要组织去开发这个常用的一些算法库。”

 

相比 TensorLayer,TensorLayerX 能够支持更多的主流框架,可以实现一种兼容式的开发。董豪告诉 InfoQ:“我们处在一个国产硬件替代的时期,TensorLayerX 就非常适合很多国内的用户。据我们所知,对于目前而言,我们应该是唯一一个中立的,而且是同时可以支持国内,以及国外开发框架的这么一种通用的一种开发框架。”

 

未来,TensorLayerX 在短期内将面向一些中小企业,或者是一些个人的技术开发者,以及一些职业技术学院等等的一些用户,提供一系列的各类开箱即用的运用库,希望可以形成一些社群讨论,让大家学会使用,相互帮助,共同发展。长远来看,TensorLayerX 希望能够更多的来去吸引更多的一些开发者能够参与进来,将中立性的框架推向全球。

工具加持下,人工智能将走向何方?

 

斯坦福大学《人工智能指数 2021 年年度报告》显示,人工智能在智能生成、计算机视觉、自然语言处理以及医疗和生物学领域的发展上已经取得了非凡的成就。如今,行业内人工智能开发工具很多,很多开发者开始发现,这些工具的使用方法越来越像。工具随着行业的发展形成统一的规范,开发者们将更容易得到便利。

 

“但是在未来我相信会出现越来越多针对特定任务的这种工具,比如说针对图神经网络的训练的框架,或者是针对目标识别来开发的框架。”董豪表示,“开发者根据自己的条件和目的,以节约自己时间为一个核心目标来选择就好了。”

 

过去 10 年,AI 技术的发展主要围绕深度学习感知层面的突破,得益于深度学习技术的应用,计算机视觉研究取得了很大的进展。人脸识别、目标识别已经在实际场景中等解决了很多问题。

 

我们将目光放到未来 10 年,人工智能将走向何方?董豪给出了自己的判断:“对于算法研究者而言,AI 的技术发展会逐渐从感知层面往决策层面上靠。强化学习、机器人这些方面就会有很大的一个突破。感知层面要有泛化性,自动驾驶的误判就意味着泛化性不行;决策层面要研究自主性问题,能够形成智能决策。对于系统研究者而言,虚拟环境结合和数据高效处理将是两个值得关注的方向。”

 

嘉宾介绍


董豪博士,现任北京大学前沿计算研究中心助理教授,博士生导师。他于 2019 年在帝国理工获博士学位。他领导了北京大学超平面实验室 (Hyperplane Lab),研究工作围绕人工智能、机器人与计算机视觉的一个交叉领域中的课题而展开:即智能机器人的自主性与泛化性研究,相关工作发表到了 NeurIPS、ICCV、ECCV、IROS、ICLR 等会议与期刊,引用量超 2000 次。董豪博士是科技部“新一代人工智能 2030”重点项目的牵头人。

 

董豪博士是鹏城实验室双聘成员、TensorLayer 开发框架的作者,获 ACM MM 最佳开源软件奖,至今该项目在 Github 上获得了上万个 star。董豪带领开源社区陆续出版了相关的书籍:《深度学习:一起玩转 TensorLayer》,《Deep Reinforcement Learning: Fundamentals, Research and Applications》及其中文版本《深度强化学习:基础、研究与应用》。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2022-04-27 15:103738

评论

发布
暂无评论
发现更多内容

在阿里,我如何做好技术项目管理?

阿里技术

技术管理 技术人生 内容合集

Linux云计算有那么难学吗?Linux入门篇。系统常用函数的调用方法大全

学神来啦

MySQL nginx Linux Shell linux云计算

Python代码阅读(第71篇):检测一个平坦列表中是否有重复元素

Felix

Python List 编程 阅读代码 Python初学者

面对复杂业务,if-else coder 如何升级?

阿里技术

技术人生 内容合集

互联网时代,谁来保护我们的个人隐私信息?

郑州埃文科技

数据库 App IP 个人信息

华为超大云数据中心落地贵州,这些硬核技术有利支撑“东数西算”

华为云开发者联盟

服务器 数据中心 华为云 东数西算 云数据中心

RPA的定义

金小K

RPA 自动化 自动化平台 自动化运维

如何成为优秀的技术主管?你要做到这三点

阿里技术

技术管理 技术人生 内容合集

毕业10年才懂,会升层思考,工作有多轻松?

阿里技术

技术管理 技术人生 内容合集

为企业创建完美CRM系统策略

低代码小观

企业管理 CRM 客户关系管理 CRM系统 客户关系管理系统

CSS之变量(四)悬浮跟踪按钮

Augus

CSS 12月日更

EasyRecovery的高级设置如何使用

淋雨

数据恢复 EasyRecovery

自用学习资料,Linux内核之【内存管理】的一些分享

奔着腾讯去

内存泄露 C/C++ Linux内核 内存映射 内存池

OPPO大数据离线任务调度系统OFLOW

安第斯智能云

后端 数据

百度API接口智能化测试探索与实践

百度开发者中心

自动化测试 API测试 智能化测试

架构实战-模块七-作业

无名

架构实战营 「架构实战营」

一周信创舆情观察(12.13~12.19)

统小信uos

揭开神秘面纱,如何组织一次分布式压测

博睿数据

高质量的缺陷分析:让自己少写 bug

阿里技术

技术管理 技术人生 内容合集

7 个建议让 Code Review 高效又高质

阿里技术

技术管理 技术人生 内容合集

MySQL从入门到入魔之数据库连接池(04)

海拥(haiyong.site)

MySQL 数据库 28天写作 12月日更

【浅谈黑客与学习思路】黑客的种类和行为,初学者应该怎样学习

H

黑客 网络安全 信息安全

关于写文章的一点经验

阿里技术

技术管理 技术人生 内容合集

拍乐云发布“融合语音通话”产品,实现多场景下VoIP和PSTN互通

拍乐云Pano

RTC PSTN VoIP 融合语音通话

如何提高一个研发团队的“代码速度”?

阿里技术

技术管理 技术人生 内容合集

为什么大部分人做不了架构师?这2点是关键

阿里技术

技术人生 内容合集

优秀工程师必备的一项技能,你解锁了吗?

阿里技术

技术管理 技术人生 内容合集

在阿里做了五年技术主管,我有话想说

阿里技术

技术人生 内容合集

Typora + picGo实现插入图片上传gitee图床

zdd

技术三板斧:关于技术规划、管理、架构的思考

阿里技术

技术管理 技术人生 内容合集

一文带你了解什么是GitOps

华为云开发者联盟

DevOps 运维 测试 软件开发 gitops

推动人工智能向前一步,人工智能开发工具的过去与未来_技术管理_张俊宝_InfoQ精选文章