写点什么

推动人工智能向前一步,人工智能开发工具的过去与未来

  • 2022-04-27
  • 本文字数:3367 字

    阅读完需:约 11 分钟

推动人工智能向前一步,人工智能开发工具的过去与未来

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

人工智能的重要性在当下不言而喻。在 InfoQ 发布的《2022 年值得关注的 8 个人工智能趋势》文章中,列出了人工智能在 2022 年乃至未来一段时间,在 AI-on-5G、生成式人工智能、语言模型迭代、元宇宙等方向将备受关注。从最开始的认知到如今的技术创新和应用落地,人工智能的快速发展离不开人工智能开发工具的迭代。

 

工欲善其事,必先利其器,从人工智能开发工具的发展中,我们可以窥见人工智能的未来。在这样的背景下 InfoQ《极客有约》联合 OpenI 启智社区推出的《人工智能开源录》第二期,邀请到了鹏城实验室双聘成员、北京大学计算机学院助理教授、AI 开源框架 TensorLayer 的开源开发者董豪老师,就“人工智能开发工具的过去与未来”这一主题展开了分享。

人工智能开发工具与人工智能

 

高效的开发工具能够让开发这件事情变得事半功倍。从十多年前普遍被使用的 Scikit-Learn,到后来加拿大 Mila 研究所开发了专门针对深度学习的框架 Theano,再到贾扬清博士专门开发了针对视觉深度模型的框架 Caffe,伴随着人工智能关联技术在各行各业的应用越来越广泛,更多的人工智能开发工具诞生。谷歌开发的 TensorFlow、Facebook 开发了的 Pytorch 也因此流行。

 

纵观国内外的大公司,开发人工智能框架多为顺应时代发展,符合企业战略需求。深度学习作为近些年的人工智能热门技术,是很多公司的研究方向之一。“所以我们可以发现整个的一个开发工具的发展历程是从普通的机器学习开始,到最近 10 年基本上很多都是围绕深度学习。最开始是以高校为主导的一些开发,到后面基本上是被大企业来主导的开发了。”董豪告诉 InfoQ。

 

作为 AI 开源框架 TensorLayer 的开源开发者,董豪长期关注人工智能的发展动向,深耕人工智能开发工具的迭代。

 

“当年 Mila 实验室为什么要开发 Theano?因为他们当时要研究深度学习,市面上并没有一种工具可以很好的用 GPU 来加速深度学习的训练。用 CPU 慢慢跑,一个模型要跑很久很久。”董豪谈道,“所以那个时候他们虽然自己是研究算法的人,也不得不去造这么一个轮子。”Mila 实验室当时的主要负责人 Bengio 是一位深度学习的图灵奖获得者,基于这样的需求推动了对 Theano 的开发研究。

 

董豪本身开发研究 TensorLayer 也有这样的初衷。在他看来,公司主导的人工智能开发框架之所以可以成功,主要原因就是能够满足公司内外部的战略要求,满足使用人员的需求。企业研究人工智能技术的需求,推动了人工智能开发工具的迭代。

 

推动人工智能开发工具发展的另一个主要因素是生态。如今,人工智能项目比以往任何时间都需要更多的数据和更快的速度,我们看到的数据并行的分布式训练、大模型框架、模型并行的分布式训练方法等,都是不同路径的应对方法。

 

“从算法角度看,这件事可能在一定程度上都已经超出了一个软件工具的范畴。现在有很多人在研究软硬结合的方法,比如专门针对 AI 训练的一些计算方式、一些数据处理的方式,在芯片层面有一些独特的设计,让它在做某一些训练的时候,速度能够更快。”董豪谈道。人工智能和人工智能开发工具之间的关系,就像软硬件的发展一样处在动态平衡之中。百花齐放的人工智能开源生态,一定程度上反哺了人工智能开发工具的发展。

从 TensorLayer 到 TensorLayerX

 

TensorLayer 也是在这样的时代大潮下诞生的。TensorLayer 是一个基于 TensorFlow 的新型深度学习和强化学习库,提供高级别的深度学习 API,易于修改和扩展,可以同时用于机器学习的研究与产品开发。

 

TensorLayer 一定时期内在社区内得到了不同程度的好评。“在当时那个时间点。但我觉得受到欢迎,要看和什么比了。如果作为一个爱好者开发的工具,也确实是挺受欢迎的。如果和公司,就是公司级别的这种团队开发的工具来比,那影响力还是不是很高的。”董豪谈道。

 

面向学术界和工业界,TensorLayer 曾经推出过两种强化学习库。从用户反馈上看,工业界上的用户更注重易改性,即能够根据自己的业务和数据类型进行修改。

 

TensorLayer 将对工业界用户的需求提供一套应用标准,让用户能够在一套标准下一通百通,并提供配套的部署框架自动化地应用,实现对资源的高效利用。“目前这种部署级的开源框架业界都挺少的,多见于大公司内部,而小公司需要单独找人去开发。我们开源出来以后,就希望很多的一些中小单位就可以不需要去重复做这样的一些事情。”董豪谈道。

 

TensorLayer 最初的版本和 Keras 很相似,但 Keras 当时兼容多框架,而 TensorLayer 当初只支持 TensorFlow 一个框架。随着近几年国内的开发框架和 AI 芯片厂商的发展,不论从软件层还从芯片层的生态圈,都出现了割裂分散的形势。基于这个背景,TensorLayer 团队希望打造一套通用的与平台无关的一种开发框架,即正在开发中的 TensorLayer 升级版本 TensorLayer X。

 

TensorLayerX 是一个兼容众多计算引擎的开发框架,兼容的引擎包括 TensorFlow、Pytorch、PaddlePaddle、MindSpore,以及 OneFlow、Jittor 等。

 

不过 TensorLayerX 这个项目目前还没有正式发布,这也是董豪首次对外系统介绍 TensorLayerX。他谈道:“我们要兼容不同的这种框架,在抽象的设计上面还是挺有难度的,而且还要保证这个效率不要,计算效率不要有损失。所以这个东西,这个设计反复设计的过程还是经历了挺多的。目前最难的兼容部分已经做完,后面是一些体力的工作了,在各种 Layers 都开发完以后,我们就还要组织去开发这个常用的一些算法库。”

 

相比 TensorLayer,TensorLayerX 能够支持更多的主流框架,可以实现一种兼容式的开发。董豪告诉 InfoQ:“我们处在一个国产硬件替代的时期,TensorLayerX 就非常适合很多国内的用户。据我们所知,对于目前而言,我们应该是唯一一个中立的,而且是同时可以支持国内,以及国外开发框架的这么一种通用的一种开发框架。”

 

未来,TensorLayerX 在短期内将面向一些中小企业,或者是一些个人的技术开发者,以及一些职业技术学院等等的一些用户,提供一系列的各类开箱即用的运用库,希望可以形成一些社群讨论,让大家学会使用,相互帮助,共同发展。长远来看,TensorLayerX 希望能够更多的来去吸引更多的一些开发者能够参与进来,将中立性的框架推向全球。

工具加持下,人工智能将走向何方?

 

斯坦福大学《人工智能指数 2021 年年度报告》显示,人工智能在智能生成、计算机视觉、自然语言处理以及医疗和生物学领域的发展上已经取得了非凡的成就。如今,行业内人工智能开发工具很多,很多开发者开始发现,这些工具的使用方法越来越像。工具随着行业的发展形成统一的规范,开发者们将更容易得到便利。

 

“但是在未来我相信会出现越来越多针对特定任务的这种工具,比如说针对图神经网络的训练的框架,或者是针对目标识别来开发的框架。”董豪表示,“开发者根据自己的条件和目的,以节约自己时间为一个核心目标来选择就好了。”

 

过去 10 年,AI 技术的发展主要围绕深度学习感知层面的突破,得益于深度学习技术的应用,计算机视觉研究取得了很大的进展。人脸识别、目标识别已经在实际场景中等解决了很多问题。

 

我们将目光放到未来 10 年,人工智能将走向何方?董豪给出了自己的判断:“对于算法研究者而言,AI 的技术发展会逐渐从感知层面往决策层面上靠。强化学习、机器人这些方面就会有很大的一个突破。感知层面要有泛化性,自动驾驶的误判就意味着泛化性不行;决策层面要研究自主性问题,能够形成智能决策。对于系统研究者而言,虚拟环境结合和数据高效处理将是两个值得关注的方向。”

 

嘉宾介绍


董豪博士,现任北京大学前沿计算研究中心助理教授,博士生导师。他于 2019 年在帝国理工获博士学位。他领导了北京大学超平面实验室 (Hyperplane Lab),研究工作围绕人工智能、机器人与计算机视觉的一个交叉领域中的课题而展开:即智能机器人的自主性与泛化性研究,相关工作发表到了 NeurIPS、ICCV、ECCV、IROS、ICLR 等会议与期刊,引用量超 2000 次。董豪博士是科技部“新一代人工智能 2030”重点项目的牵头人。

 

董豪博士是鹏城实验室双聘成员、TensorLayer 开发框架的作者,获 ACM MM 最佳开源软件奖,至今该项目在 Github 上获得了上万个 star。董豪带领开源社区陆续出版了相关的书籍:《深度学习:一起玩转 TensorLayer》,《Deep Reinforcement Learning: Fundamentals, Research and Applications》及其中文版本《深度强化学习:基础、研究与应用》。

公众号推荐:

AIGC 技术正以惊人的速度重塑着创新的边界,InfoQ 首期《大模型领航者AIGC实践案例集锦》电子书,深度对话 30 位国内顶尖大模型专家,洞悉大模型技术前沿与未来趋势,精选 10 余个行业一线实践案例,全面展示大模型在多个垂直行业的应用成果,同时,揭秘全球热门大模型效果,为创业者、开发者提供决策支持和选型参考。关注「AI前线」,回复「领航者」免费获取电子书。

2022-04-27 15:103788

评论

发布
暂无评论
发现更多内容

一个字牛!腾讯大牛把《数据结构与算法》讲透了,带源码笔记

程序知音

Java 数据结构 算法 后端 数据结构与算法

无惧面试!2023最新最全Java面试手册全网首次开放下载

程序员小毕

程序员 多线程 高并发 架构师 java面试

【深入浅出Spring原理及实战】「缓存Cache开发系列」带你深入分析Spring所提供的缓存Cache抽象详解的核心原理探索

洛神灬殇

spring 缓存 cache 缓存管理

GaussDB(DWS)条件表达式函数返回错误结果集排查

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

2023-05-27:给你一个只包含小写英文字母的字符串 s 。 每一次 操作 ,你可以选择 s 中两个 相邻 的字符,并将它们交换。 请你返回将 s 变成回文串的 最少操作次数 。 注意 ,输入数据

福大大架构师每日一题

Go 算法 rust 福大大

深度学习进阶篇-预训练模型[4]:RoBERTa、SpanBERT、KBERT、ALBERT、ELECTRA算法原理模型结构应用场景区别等详解

汀丶人工智能

自然语言处理 深度学习 预训练模型 Transformer BERT

Office 2021和 Office 365 有什么不同之处?office 2021 和 365 区别是什么

Rose

Office 365 Office 2021 office下载

Maven Cannot resolve plugin org.apache.maven.plugins

Andy

不愧是阿里巴巴内网的“高并发系统设计”学习笔记,全程不讲一句废话!

采菊东篱下

Java 高并发

高并发封神之作的《亿级流量高并发》惨遭GitHub免费开源

小小怪下士

Java 程序员 高并发

低代码的“钱景”——专业的事交给专业的人来做

引迈信息

低代码 JNPF

华为ISDP:从ChatGPT说起,企业作业数字化转型需要怎样的平台工具?

科技怪授

Nautilus Chain上线主网,为DeFi和流支付的未来构建基础

鳄鱼视界

文心一言 VS 讯飞星火 VS chatgpt (23)-- 算法导论4.2 5题

福大大架构师每日一题

福大大 文心一言 讯飞星火

photoshop神经滤镜是什么,神经滤镜功能揭秘~

Rose

photoshop神经滤镜 Neural Filters插件 ps滤镜下载 PS2023破解

DR5白金版 for mac(PS一键磨皮插件Delicious Retouch)支持ps2022 v5.0汉化版

Rose

DR5白金版 PS一键磨皮插件 dr5插件 汉化版PS插件 dr5插件教程

非常全面的 SpringBoot 保姆级笔记,面面俱到,太牛了

做梦都在改BUG

Java spring 微服务 Spring Boot 框架

Python潮流周刊#3:PyPI 的安全问题

Python猫

Python 编程 rust 安全

Nautilus Chain上线主网,为DeFi和流支付的未来构建基础

股市老人

C语言编程—数组

芯动大师

使用Go语言实现门面模式:简化复杂子系统的访问

Jack

腾讯T4大牛整理的SpringBoot文档,覆盖你认知中的所有操作

程序知音

Java 架构 微服务 springboot Java进阶

模板一作业

家有两宝

#架构训练营

Parallels Desktop如何退出账号?PD18虚拟机退出账号方法

Rose

pd18虚拟机 PD如何退出账号 Parallels Desktop下载 Parallels破解版 Mac虚拟机下载

AE模板:短信消息聊天对话气泡动画Smart Text Message

Rose

AE模板下载 Smart Text Message 对话框气泡生生成器插件

Java面试集锦

源字节1号

微信小程序 开源 软件开发 后端开发

2023华为伙伴大会:ISDP发布伙伴体验中心,邀伙伴探索数智化未来

科技怪授

Nautilus Chain上线主网,为DeFi和流支付的未来构建基础

西柚子

CMake构建指南:如何提高C/C++项目的可维护性

小万哥

Linux 程序员 C/C++ 后端开发 cmake

iOS MachineLearning 系列(19)—— 分析文本中的问题答案

珲少

推动人工智能向前一步,人工智能开发工具的过去与未来_技术管理_张俊宝_InfoQ精选文章