NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

菜鸟网络的 AI 进化方向:不追求“通用”的融合,重心是 AIoT

  • 2019-12-13
  • 本文字数:3405 字

    阅读完需:约 11 分钟

菜鸟网络的AI进化方向:不追求“通用”的融合,重心是AIoT

就 AI 技术而言,物流是一种很好的应用场景,但是由于“近地端”的原因,智能物流、智慧交通等 AI 技术的落地应用,并没有想象中那么简单。

为了解工业界在智慧物流交通体系的最新尝试和进展,以及菜鸟网络在技术演进过程中所收获的各种经验,InfoQ 记者在 AICon 全球人工智能与机器学习大会 北京 2019 现场采访了阿里巴巴菜鸟网络人工智能部资深算法专家胡浩源老师,以下是采访的具体内容。



InfoQ:胡老师您好,很高兴能够采访您。首先能否请您为我们总体介绍一下,菜鸟网络在引入 AI 概念之后,经历了哪几个阶段的技术架构演变、以及在每个阶段您和您的团队所做的重点工作是什么?


胡浩源:菜鸟是这样的,第一个阶段我们叫做数字化阶段,因为数据是一切之本,如果数据本身没有积累到一定程度,就没有完成自动化决策这个阶段,也是没有办法直接跳到智能化决策这个阶段的。第二个阶段我们叫单点优化阶段,在这个阶段,我们寻找了一些相对还比较明确的记录单点,它相对的业务嫁接比较清晰,我们会开发对应的算法对其进行优化解决。第三个我们叫协同优化或者全局优化阶段,这个阶段它就需要一个体系化的打法了,我们有一个包裹引擎,它承载了整个菜鸟数据建设的体系,该体系涵盖了与 CPU、GPU 分布式的一个交互、一些特定求解器的近似算法、一些通用求解器的分布式扩展以及和深度学习的结合,在最上层,则是供业务算法同学快速调用开发的 Framework。


InfoQ:在菜鸟网络 AI 技术架构演进过程中,您和您的团队所遇到的最大挑战是什么?最后又是怎样克服这些困难的呢?


胡浩源:对于菜鸟而言,因为菜鸟网络隶属于运筹优化的技术线,它需要求解很多问题,这与以前机器学习所面临的大数据问题不同,它是在“NP 难”情况下离散优化的问题,所以它有一个天然不容易调和的矛盾,就是“线上业务的及时性”与“求解计算复杂度所带来耗时”的冲突。简单来讲,就是我们要去决定一个切箱,或者一个路径的规划,调用求解器需要 24 个小时,但实际上,我们正式要投入生产实验组则可能是在几百毫秒内必须求解出来。


在这个过程中,一方面是我们整个团队的配置比较灵活多样,除了运筹优化的同学,我们还有机器学习、CS 和 ACM 相关的一些同学;另一方面我们主要是基于启发式的算法,对算法进行改良,以及在实现上用并行相关、更高效的一些算法,去提升算法求解的速度;再一方面就是像刚才我在演讲的时候说的,在数据驱动场景下,机器学习、深度强化学习和运筹优化的结合,使得结果不再是被求解出来,而是被机器学习直接学出来,进而去协调解决及时性与求解耗时的矛盾。


InfoQ:菜鸟网络的 AI 能力主要表现在哪些方面?在这些方面都是如何使用 AI 技术的?


胡浩源: 菜鸟网络的 AI 能力分为这么几个方面:第一是大家所熟知的 AI 能力,就像图像、语音等,我们会有一些摄像头,做基于图像的一些信息感知;有像智能客服、语音这一类的通用 AI;也有针对菜鸟特有的一些 specific AI,就像我们刚才说的,关于路径规划问题的求解,目前我们破世界记录数是全世界第二。然后除了启发式特定,也就是叫 specific 的求解开发之外,我们还投入了一部分同学去做混合整数规划和机器学习结合,以及真的去做一些硬核的 VRP Solver 的开发,这一块是我们构建物流也好、做产业互联网也好,或者生产制造业运筹优化这个领域中像基石一般的存在,就相当于机器学习底层框架一样。


InfoQ:据我们了解,想要实现智能物流“融合”的概念特别重要,想要请教一下胡老师,菜鸟网络在将机器学习、分布式并行计算、运筹优化算法等技术融合的过程中,菜鸟网络都踩过哪些“大坑”?对于后来者来说,您觉得最需要注意的几点是什么?


胡浩源:一方面,融合是这几年学术界和工业界风口浪尖非常火的一件事,另一方面,融合也是大家确确实实能够看到的一个比较 Promising 的 Direction,它是面向未来的一个方向,但是融合也并不是想象中的用一些比较简单的方式去融合。


关于融合,有一种最简单的方式就是先做预测,再根据预测结果,调运筹优化的相关算法去求解;但这种融合方式的效果是很有限的,因为预测本来就带有偏差,再根据其预测结果求解就是在把这个偏差放大。还有一种融合方法是去加速运筹优化的求解,这就相当于机器学习在里面调一些运筹优化相关的参数,让它变的更快、更好。还有就是像我们现在正在探索的,看能不能直接预测出一个结果来。


关于踩过的坑或者心得体会经验,我觉得是这样的,机器学习并不通用,而是因为在丰富的历史数据前提下,我们把这个求解过程,调得适配于历史数据,以及适配于将来可能会遇到的数据;机器学习和运筹优化的融合应该是基于这个原则进行,而不是去追求一个通用的机器学习和运筹优化的融合。


InfoQ:目前您和您的团队正在做的关于机器学习和运筹优化领域相结合的算法主要是具有哪些特点?能否为我们举一个典型的算法实例大致说明一下?


胡浩源:我们现在正在做的融合,并不是去碰那些通用的机器学习和运筹优化的融合,而是站在产业界的应用上去做。


举一个最简单的切箱例子,你很少会见到一个包裹里面有一千个,甚至一万个商品的情况,特定场景下的数据,基本上不会发生很大的改变,就比如大部分的包裹数不会超过十个,那么我们就可以通过历史数据,利用深度强化学习不停的去调,调出一个适用于某个场景的结果;但我并不承诺说,这个场景的结果立刻放到另外一家公司的切箱上就能够有用,就切箱来说,它可能一个包裹只有一两个商品,或者说它是切集装箱,一个集装箱有一万甚至两万的商品,具体情况要具体分析;所以,总而言之,我们探索的是一种可以复用的方法论,而不是到哪里都可以使用的模型。


InfoQ:当前,智慧交通物流的发展现状是什么?如果想要再进一步,会面临哪些困难和挑战?


胡浩源:现在智慧交通物流发展现状就是局部可能已经有人工智能的相关力量介入了,也产生了一些效果,但是它是一个集成工程,如果你不能在全链路上的每一环都做好数字化和智能化的话,它发挥的价值比较有限。


在未来一段时间内,人工智能和 IoT 的整合是非常重要的一件事情,就像我刚才表达的,你首先得有数据,有了数据去做自动决策,有了自动决策才能再去做智能决策,我觉得在未来一段时间内,IoT 和人工智能结合的 AIoT会是一个比较大的方向。


InfoQ:那么随着 5G 时代、AIoT 时代的到来,菜鸟网络在这个大前提下会进行哪些转变,换句话说,菜鸟网络未来的进化方向是什么?


胡浩源:我们现在已经有一些 AIoT 相关的工作在尝试,就比如今年 4 月份我们在物流峰会上发布的 APP 箱,这是云边端概念的一个比较好的展现,它把以前在端上非常复杂繁琐 APP 设备,极简化成了一个很小的指令箱,它只做下发指令等一些简单的事情,把很多复杂的决策交给中央大脑,让人工智能去决策。


而随着 5G 的到来,会使很多端上的设备焕发出更好的生命力,就比如说舱内的级别也好、舱内的 APP 箱也好,这些在应用时都会面临同一个问题,如果用 WiFi 之类的 AP 它会频繁的掉线,如果用 4G 会面临成本的问题,但是 5G 与端侧设备的适配程度是比较高的,这对我们全面推进数字化转型具有比较大的作用。


InfoQ:在您看来,未来的智慧交通物流将会是怎样的一个发展趋势?


胡浩源: 我觉得未来的交通物流智能化一定会走向一个端上逐渐决策弱化,基本在中央大脑堆积决策的阶段。


现在很多的事情就是,一方面线上化决策,一方面依赖于分布各处的节点。而未来肯定会是,节点的工作变成一个执行指令的过程,不需要有太多的思考,所有的决策下发都会交给中央大脑去执行,因为理论上来讲,中央大脑能看到所有的数据,它可以比任何的局部做出更优的决策。


关于端侧的人工智能,则会以感知为主,不再涉及决策;端侧的人工智能可能会去进一步发展感知信息的能力,包括图像相关的一些事情,但是它不再需要在端上做决策,比如说某个功能怎么实现、两侧怎么走、去接什么单等。而就端侧的一些 AI 芯片来讲,大部分我们称作是图像 AI 芯片,由于图像传输成本较高,如果可以在端侧就能把图像要表达的信息推理出来,能够大幅度降低成本,所以本质上来说还是一个成本上的考虑。


嘉宾介绍:


胡浩源,菜鸟网络资深算法专家,目前主要从事机器学习和运筹优化领域相结合的算法研究和架构体系设计。在阿里巴巴历经阿里云、天猫推荐、搜索、菜鸟网络,2015 年团队获得 CEO 特别贡献奖。所领导的团队构建结合精确求解、启发式求解、深度强化学习求解的 Greed Solver 中的 VRP Solver,突破了几十个世界范围内的 best known solution。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2019-12-13 08:3010926
用户头像
张之栋 前InfoQ编辑

发布了 91 篇内容, 共 46.5 次阅读, 收获喜欢 159 次。

关注

评论

发布
暂无评论
发现更多内容

HttpClient 在vivo内销浏览器的高并发实践优化

vivo互联网技术

Java 高并发 HttpClient

阿里云杨红军:应用管理——云上资源DevOps最佳实践

阿里云弹性计算

阿里云 DevOps 运维 应用管理 云上资源管理

Java 异步调用原理与实战

PPPHUANG

性能优化 线程池 Async Java core java nio

如何利用CANN DVPP进行图片的等比例缩放?

华为云开发者联盟

人工智能 图像 昇腾AI

面试官偷偷告诉我:原来这样优化提升接口的性能

知识浅谈

API 优化 8月月更

基于jwt的token验证、原理及流程

TimeFriends

8月月更

Android进阶(十五)socket通信实现聊天室应用开发总结

No Silver Bullet

android 8月月更 开发总结

极狐 GitLab 冷知识:GitLab CI 最熟悉的陌生关键字 script

郭旭东

极狐GitLab JIHULAB 101

一文讲透Java核心技术之高可扩展利器SPI

冰河

Java 程序员 架构师 spi 核心技术

virtio 1.2 来了!龙蜥社区携手业界打造新版虚拟化 IO 标准

OpenAnolis小助手

开源 虚拟化 龙蜥技术 virtio

开源一夏 | 如何使用Java操作华为对象存储OBS删除一个目录?

wljslmz

Java 开源 对象存储 华为云 8月月更

零门槛掌握基于大模型技术的AIGC场景应用

文心大模型

干货复盘 | 银行数智化转型十大趋势

易观分析

金融 银行 数智化转型

面试官:如何设计更好的分布式系统?

Java全栈架构师

程序员 架构 面试 分布式 后端

极狐 GitLab 冷知识:在 Gitlab CI Pipeline 中进行 Git Push 操作

郭旭东

极狐GitLab JIHULAB 101

NFT服务平台如何选择——搭建NFT平台技术

开源直播系统源码

数字藏品 数字藏品软件开发 数字藏品系统软件开发 数字藏品交易平台开发

CCF国际AIOps挑战赛

云桌派

Go 事,如何成为一个Gopher ,并在7天找到 Go 语言相关工作,第1篇

梦想橡皮擦

Python 爬虫 8月月更

即日起,ONES 团队版50人以下免费

万事ONES

RT-Thread记录(八、理解 RT-Thread 内存管理)

矜辰所致

内存管理 RT-Thread 8月月更

极狐 GitLab 冷知识:使用 git push 创建 Merge Request

郭旭东

极狐GitLab JIHULAB 101

PyTorch 与 TensorFlow 怎么选?

博文视点Broadview

易周金融分析 :支付科技着力服务产业数字化升级

易观分析

金融 产业数字化 分析 支付科技

SAP ABAP Netweaver 服务器的标准登录方式讲解

Jerry Wang

web开发 web服务器 abap Netweaver 8月月更

令人上头的AI论文(上) | IDP Inspiration

Baihai IDP

2022 CCF国际AIOps挑战赛决赛暨AIOps研讨会成功举办

BizSeer必示科技

人工智能 AIOPS

EasyNLP集成K-BERT算法,借助知识图谱实现更优Finetune

阿里云大数据AI技术

深度学习 阿里云 算法 开源技术 基础模型

3 分钟看 3 个 JS 小把戏

掘金安东尼

JavaScript 前端 8月月更

科技赋能会展!3DCAT助力广东旅博会元宇宙场景的首次搭建

3DCAT实时渲染

云计算 元宇宙

首批成员!博云入选信通院“可信边缘计算推进计划”

BoCloud博云

云计算 开源 云原生

STM32入门开发 介绍IIC总线、读写AT24C02(EEPROM)(采用模拟时序)

DS小龙哥

8月月更

菜鸟网络的AI进化方向:不追求“通用”的融合,重心是AIoT_AI&大模型_张之栋_InfoQ精选文章