写点什么

菜鸟网络的 AI 进化方向:不追求“通用”的融合,重心是 AIoT

2019 年 12 月 13 日

菜鸟网络的AI进化方向:不追求“通用”的融合,重心是AIoT

就 AI 技术而言,物流是一种很好的应用场景,但是由于“近地端”的原因,智能物流、智慧交通等 AI 技术的落地应用,并没有想象中那么简单。

为了解工业界在智慧物流交通体系的最新尝试和进展,以及菜鸟网络在技术演进过程中所收获的各种经验,InfoQ 记者在 AICon 全球人工智能与机器学习大会 北京 2019 现场采访了阿里巴巴菜鸟网络人工智能部资深算法专家胡浩源老师,以下是采访的具体内容。



InfoQ:胡老师您好,很高兴能够采访您。首先能否请您为我们总体介绍一下,菜鸟网络在引入 AI 概念之后,经历了哪几个阶段的技术架构演变、以及在每个阶段您和您的团队所做的重点工作是什么?


胡浩源:菜鸟是这样的,第一个阶段我们叫做数字化阶段,因为数据是一切之本,如果数据本身没有积累到一定程度,就没有完成自动化决策这个阶段,也是没有办法直接跳到智能化决策这个阶段的。第二个阶段我们叫单点优化阶段,在这个阶段,我们寻找了一些相对还比较明确的记录单点,它相对的业务嫁接比较清晰,我们会开发对应的算法对其进行优化解决。第三个我们叫协同优化或者全局优化阶段,这个阶段它就需要一个体系化的打法了,我们有一个包裹引擎,它承载了整个菜鸟数据建设的体系,该体系涵盖了与 CPU、GPU 分布式的一个交互、一些特定求解器的近似算法、一些通用求解器的分布式扩展以及和深度学习的结合,在最上层,则是供业务算法同学快速调用开发的 Framework。


InfoQ:在菜鸟网络 AI 技术架构演进过程中,您和您的团队所遇到的最大挑战是什么?最后又是怎样克服这些困难的呢?


胡浩源:对于菜鸟而言,因为菜鸟网络隶属于运筹优化的技术线,它需要求解很多问题,这与以前机器学习所面临的大数据问题不同,它是在“NP 难”情况下离散优化的问题,所以它有一个天然不容易调和的矛盾,就是“线上业务的及时性”与“求解计算复杂度所带来耗时”的冲突。简单来讲,就是我们要去决定一个切箱,或者一个路径的规划,调用求解器需要 24 个小时,但实际上,我们正式要投入生产实验组则可能是在几百毫秒内必须求解出来。


在这个过程中,一方面是我们整个团队的配置比较灵活多样,除了运筹优化的同学,我们还有机器学习、CS 和 ACM 相关的一些同学;另一方面我们主要是基于启发式的算法,对算法进行改良,以及在实现上用并行相关、更高效的一些算法,去提升算法求解的速度;再一方面就是像刚才我在演讲的时候说的,在数据驱动场景下,机器学习、深度强化学习和运筹优化的结合,使得结果不再是被求解出来,而是被机器学习直接学出来,进而去协调解决及时性与求解耗时的矛盾。


InfoQ:菜鸟网络的 AI 能力主要表现在哪些方面?在这些方面都是如何使用 AI 技术的?


胡浩源: 菜鸟网络的 AI 能力分为这么几个方面:第一是大家所熟知的 AI 能力,就像图像、语音等,我们会有一些摄像头,做基于图像的一些信息感知;有像智能客服、语音这一类的通用 AI;也有针对菜鸟特有的一些 specific AI,就像我们刚才说的,关于路径规划问题的求解,目前我们破世界记录数是全世界第二。然后除了启发式特定,也就是叫 specific 的求解开发之外,我们还投入了一部分同学去做混合整数规划和机器学习结合,以及真的去做一些硬核的 VRP Solver 的开发,这一块是我们构建物流也好、做产业互联网也好,或者生产制造业运筹优化这个领域中像基石一般的存在,就相当于机器学习底层框架一样。


InfoQ:据我们了解,想要实现智能物流“融合”的概念特别重要,想要请教一下胡老师,菜鸟网络在将机器学习、分布式并行计算、运筹优化算法等技术融合的过程中,菜鸟网络都踩过哪些“大坑”?对于后来者来说,您觉得最需要注意的几点是什么?


胡浩源:一方面,融合是这几年学术界和工业界风口浪尖非常火的一件事,另一方面,融合也是大家确确实实能够看到的一个比较 Promising 的 Direction,它是面向未来的一个方向,但是融合也并不是想象中的用一些比较简单的方式去融合。


关于融合,有一种最简单的方式就是先做预测,再根据预测结果,调运筹优化的相关算法去求解;但这种融合方式的效果是很有限的,因为预测本来就带有偏差,再根据其预测结果求解就是在把这个偏差放大。还有一种融合方法是去加速运筹优化的求解,这就相当于机器学习在里面调一些运筹优化相关的参数,让它变的更快、更好。还有就是像我们现在正在探索的,看能不能直接预测出一个结果来。


关于踩过的坑或者心得体会经验,我觉得是这样的,机器学习并不通用,而是因为在丰富的历史数据前提下,我们把这个求解过程,调得适配于历史数据,以及适配于将来可能会遇到的数据;机器学习和运筹优化的融合应该是基于这个原则进行,而不是去追求一个通用的机器学习和运筹优化的融合。


InfoQ:目前您和您的团队正在做的关于机器学习和运筹优化领域相结合的算法主要是具有哪些特点?能否为我们举一个典型的算法实例大致说明一下?


胡浩源:我们现在正在做的融合,并不是去碰那些通用的机器学习和运筹优化的融合,而是站在产业界的应用上去做。


举一个最简单的切箱例子,你很少会见到一个包裹里面有一千个,甚至一万个商品的情况,特定场景下的数据,基本上不会发生很大的改变,就比如大部分的包裹数不会超过十个,那么我们就可以通过历史数据,利用深度强化学习不停的去调,调出一个适用于某个场景的结果;但我并不承诺说,这个场景的结果立刻放到另外一家公司的切箱上就能够有用,就切箱来说,它可能一个包裹只有一两个商品,或者说它是切集装箱,一个集装箱有一万甚至两万的商品,具体情况要具体分析;所以,总而言之,我们探索的是一种可以复用的方法论,而不是到哪里都可以使用的模型。


InfoQ:当前,智慧交通物流的发展现状是什么?如果想要再进一步,会面临哪些困难和挑战?


胡浩源:现在智慧交通物流发展现状就是局部可能已经有人工智能的相关力量介入了,也产生了一些效果,但是它是一个集成工程,如果你不能在全链路上的每一环都做好数字化和智能化的话,它发挥的价值比较有限。


在未来一段时间内,人工智能和 IoT 的整合是非常重要的一件事情,就像我刚才表达的,你首先得有数据,有了数据去做自动决策,有了自动决策才能再去做智能决策,我觉得在未来一段时间内,IoT 和人工智能结合的 AIoT会是一个比较大的方向。


InfoQ:那么随着 5G 时代、AIoT 时代的到来,菜鸟网络在这个大前提下会进行哪些转变,换句话说,菜鸟网络未来的进化方向是什么?


胡浩源:我们现在已经有一些 AIoT 相关的工作在尝试,就比如今年 4 月份我们在物流峰会上发布的 APP 箱,这是云边端概念的一个比较好的展现,它把以前在端上非常复杂繁琐 APP 设备,极简化成了一个很小的指令箱,它只做下发指令等一些简单的事情,把很多复杂的决策交给中央大脑,让人工智能去决策。


而随着 5G 的到来,会使很多端上的设备焕发出更好的生命力,就比如说舱内的级别也好、舱内的 APP 箱也好,这些在应用时都会面临同一个问题,如果用 WiFi 之类的 AP 它会频繁的掉线,如果用 4G 会面临成本的问题,但是 5G 与端侧设备的适配程度是比较高的,这对我们全面推进数字化转型具有比较大的作用。


InfoQ:在您看来,未来的智慧交通物流将会是怎样的一个发展趋势?


胡浩源: 我觉得未来的交通物流智能化一定会走向一个端上逐渐决策弱化,基本在中央大脑堆积决策的阶段。


现在很多的事情就是,一方面线上化决策,一方面依赖于分布各处的节点。而未来肯定会是,节点的工作变成一个执行指令的过程,不需要有太多的思考,所有的决策下发都会交给中央大脑去执行,因为理论上来讲,中央大脑能看到所有的数据,它可以比任何的局部做出更优的决策。


关于端侧的人工智能,则会以感知为主,不再涉及决策;端侧的人工智能可能会去进一步发展感知信息的能力,包括图像相关的一些事情,但是它不再需要在端上做决策,比如说某个功能怎么实现、两侧怎么走、去接什么单等。而就端侧的一些 AI 芯片来讲,大部分我们称作是图像 AI 芯片,由于图像传输成本较高,如果可以在端侧就能把图像要表达的信息推理出来,能够大幅度降低成本,所以本质上来说还是一个成本上的考虑。


嘉宾介绍:


胡浩源,菜鸟网络资深算法专家,目前主要从事机器学习和运筹优化领域相结合的算法研究和架构体系设计。在阿里巴巴历经阿里云、天猫推荐、搜索、菜鸟网络,2015 年团队获得 CEO 特别贡献奖。所领导的团队构建结合精确求解、启发式求解、深度强化学习求解的 Greed Solver 中的 VRP Solver,突破了几十个世界范围内的 best known solution。


2019 年 12 月 13 日 08:301833
用户头像
张之栋 InfoQ编辑

发布了 91 篇内容, 共 33.4 次阅读, 收获喜欢 151 次。

关注

评论

发布
暂无评论
  • 解放双手,发掘更大的价值:智能化运维

    目前业界真正的智能化运维的落地实践其实并不多,大多还是停留在自动化甚至人工化阶段,然而智能化运维是大势所趋,对于大公司来说,更是尤为重要。阿里大数据SRE团队历时2年时间完成了Tesla这一智能化运维体系的设计、开发和落地。基于此,我们采访了阿里Tesla体系负责人熊胜(池枫),希望能带给大家对智能化运维的一些新的思考。

  • 高效文本标注工具如何成为 NLP 发展的强力助推器?

    为了提升文本标注效率,明略数据研发了一款高效的标注工具,能够解决行业里的诸多痛点。

  • 投入千亿的菜鸟网络智慧物流做得怎么样?

    在 1000 亿未来的背后,有哪些技术实践在推动着智慧物流的发展?为什么阿里这么看重物流并成立了菜鸟网络专门攻克这一领域?近两年菜鸟在智慧物流取得了哪些新进展?带着这些问题,AI 前线采访了菜鸟网络 CTO 谷雪梅老师。

  • 大规模数据处理在深度学习中如何应用?

    在“深度学习”中,大规模数据处理应该如何应用?

    2019 年 7 月 22 日

  • 定义万物智能的大脑平台,让 AI 无处不在

    地平线机器人,作为全球瞩目的人工智能初创企业之一,其目标就是让地球上超过1000种设备具有从感知、交互、理解到决策的智能,就像Intel是个人电脑时代的标杆企业一样,成为“人工智能时代的Intel”。

  • 柔性自动化在物流的应用及探索

    在 ArchSummit 北京大会的现场,InfoQ 有幸采访到了菜鸟智慧物流的朱礼君 ,请他谈谈柔性自动化在物流的应用及探索。

  • 数据驱动下的严选仓储供应链智能优化

    本次分享介绍通过大数据分析和智能算法相结合,不断优化底层的仓储供应链体系的经验。

  • 美团外卖单日完成 3000 万订单背后的“超脑”武器

    美团配送智能调度系统是针对即时配送业务超大数据量、实时调度场景的新一代柔性调度系统,可以说,它是美团“超脑”的中枢神经。

  • 海阔凭鱼跃:记一场工业场景下的 AI 技术实践

    在采访今天的主角——天泽智云首席架构师朱武前,工业智能、虚拟智能体、工业互联网等概念彷佛如盘根错节般难以被释清,这同时也反映了工业智能背后的技术发展成为我们关注的空白区之一。于是,带着对工业场景的机理、工业智能背后的数据提取、建模、训练等技术挑战、智能决策系统技术架构的疑问,我们开启了这次好奇心之旅。

  • 如何运用机器学习等 AI 技术实现物流优化

    本次分享介绍菜鸟业务中涉及到的一些智能化算法。

  • AI 技术在短视频商业化中的应用

    演讲嘉宾孔东营,快手 商业化模型方向负责人内容介绍近几年,短视频应用蓬勃发展,由于短视频场景下用户兴趣和广告内容更难以理解,短视频广告在用户内容理解、召回、排序和机制上都会遇到更大挑战。基于快手海量的用户和视频数据,利用AI相关技术,可以更好的解决这些问题。本次分享主要探讨AI技术在快手短视频商业化中的应用,和大家共同探讨其中的关键问题和解法。内容大纲 介绍短视频商业化中的算法问题; 如何利用AI技术(深度学习和强化学习)解决问题; AI技术落地的工程难点和解法。

    2019 年 1 月 7 日

  • 当大数据遇上物联网

    相比人工智能和区块链还在进行技术探索不同,物联网的技术已经成熟,只待“临门一脚”了。

    2019 年 1 月 5 日

  • 人工智能在智慧交通物流的技术演进之路|AICon

    交通物流所属的算法领域,传统上来说属于运筹优化的范畴,主要由精确求解和近似求解两条路线构成,而结合大数据机器学习的体系架构,随着时间的推移,越来越发挥出它的价值,两者结合的研究也开始逐渐增多,我们从在菜鸟的几代技术体系演进的路线为主轴,分享我们在这条路上的得失和自己的一些思考。

  • 菜鸟智慧新物流核心技术全解析

    2018 年天猫双 11 全球狂欢节物流订单总数定格 10.42 亿单,再次刷新历史记录。如何让 AI 技术在传统物流领域发挥必要的价值?柔性自动化将为电商物流带来怎样的变革?自动化仓储系统的技术和应用的算法又是什么?带着对这些问题的解答,菜鸟网络研究员徐盈辉、资深技术专家朱礼君、裘民民、许俊开始了这场布道。

  • 从技术突破到商业变现:AI 落地的逐级挑战与应对之道

    演讲嘉宾 杨帆 ,商汤科技联合创始人&副总裁。 内容介绍 2016年AlphaGo的问世,是AI历史上一次重大突破,全球AI技术的认知与发展由此进入了一个超高速发展轨道,并为众多行业带来创新与变革的机遇。近年来,整个社会对AI的商业化抱持了极高的热情与期待,但市场上同时也存在一种声音,提出AI技术的落地空间是否真有那么大?AI技术与创新公司在行业落地过程中,面对老牌公司与行业巨头,在充满严峻挑战的市场环境中,应该如何应对与发展?商汤科技联合创始人、副总裁杨帆,分享了过去三年商汤科技视觉AI技术在安防、手机、互联网等行业落地的宝贵经验,以及在AI落地实践过程中的感悟与体会,为有志于投身AI商业落地的伙伴们带来广阔思路与前沿视野。 演讲大纲 当前视觉AI技术的最新进展与主要市场应用方向; AI落地行业未来的市场发展趋势与关键点; AI从技术突破到商业化所面临的实际挑战,常见问题与应对方案; 技术型AI公司的发展空间与关键路径。

    2018 年 9 月 12 日

  • 人工智能和机器学习在滴滴多个业务场景的深度应用和实践

    演讲嘉宾张凌宇,滴滴 AI Labs 研究员内容介绍滴滴运用大数据驱动和人工智能技术提升乘客出行和司机接驾效率,协同城市管理者提供智慧交通解决方案。在AI基础能力上,滴滴拥有出行领域全球领先的机器学习算法,深度应用在智能分单、智能调度、供需预测等系统的方方面面。滴滴的订单分配系统需要实时进行司机和乘客两个群体的超大规模匹配计算,对每次计算而言,这是一个最优化问题,需要运用机器学习和组合优化理论在线进行求解;而当下的每次分配结构还会影响到未来一段时间的司乘关系,这又是一个典型的增强学习问题。另外,在滴滴的核心业务场景中,供需预测是一个基础的决策信息,这是一个典型的时空数据预测问题,我们结合了大量的历史出行数据,并结合当前的实时特征,采用了LSTM+GCN对时间和空间数据进行建模求解。内容大纲 人工智能技术在滴滴的应用概览; 滴滴订单分配问题面临的挑战; 组合优化和机器学习对订单分配问题的建模和求解; 深度学习在滴滴实时供需预测中的应用。

    2019 年 1 月 7 日

  • 快手前端发展:前端中台化、前端智能化,我们一直在追赶什么?

    在短短的4年时间里,快手前端团队经历了什么?快手App访问量的快速增长对前端团队带来哪些挑战?

  • 运维 AI 时代:百度如何构建 AIOps 体系

    演讲嘉宾曲显平,百度云智能运维 负责人内容介绍百度从2014年就开始了智能化运维体系建设,是最早一批探索该方向的公司,通过将自身领先的AI技术与运维技术相结合,通过智能故障感知、智能决策自愈、智能变更发布、智能容量管理、智能客服等手段,把AIOps在资源管理、故障管理、变更管理、服务咨询等领域全面落地,在保障业务的高可用、低成本、高效率等各层面发挥了至关重要的作用。本次演讲将会分享百度运维体系的发展历程,介绍百度全面构建智能运维体系的方法论和最佳实践,也会探讨百度对于未来运维发展趋势的思考。内容大纲 百度运维体系发展历程; 百度全面构建智能运维体系的方法论; AIOps全面落地的实施建议; 未来运维发展趋势展望。

    2018 年 12 月 26 日

  • 赵成:回顾运维的发展历史,我相信 AIOps 是必然趋势

    如何理解AIOps?AIOps会涉及哪些技术?这又是一个新名词吗? 你认为AIOps是运维发展的必然趋势吗?从手工运维,到自动化运维,再到现在的AIOps,谈谈你理解的运维发展趋势?

  • 大前端中台:如何最大程度复用、解耦业务?

    伴随着 ToB 场景越来越多,传统的前后端分离的研发模式已经不再满足需求,微“前端”服务的“中台”的作用愈加明显。腾讯 IVWEB 团队如何打造“大前端中台”,如何最大程度复用和解耦业务?

发现更多内容

5步教你完成小熊派开发板贴片

华为云开发者社区

后端 开发工具 华为云 小熊派 开发板

如何有效提高技能?我推荐《刻意练习》

老胡爱分享

个人成长 练习

蓝绿部署、金丝雀发布(灰度发布)、AB测试

看山

微服务 持续集成

ARTS 07 - 使用 supervisor 配置 ngrok 内网穿透为守护进程

jerry.mei

算法 练习 ARTS 打卡计划 ARTS活动 内网穿透

年轻的樵夫哟,你掉的是这个免费 8 核 4G 公网服务器,还是这个随时可用的 Docker 实验平台?

newbe36524

Docker 微服务 微服务架构 .net core ASP.NET Core

面经手册 · 第5篇《看图说话,讲解2-3平衡树「红黑树的前身」》

小傅哥

Java 数据结构 小傅哥 红黑树 2-3树

KPI考核存在的问题

石云升

读书笔记 考核 KPI 数字化管理

昨梦记

波波夫

我们是如何逐渐变普通的?

架构精进之路

个人成长 认知提升

SpringBoot系列(八):SpringBoot 中的事务处理

xcbeyond

Java 微服务 事务 springboot

Docker 禁止美国“实体清单”主体使用,Docker 开源项目应不受影响

程序员生活志

Docker 互联网热点

架构到底是什么?

架构精进之路

架构

python操作word文件

wjchenge

Python word

面试官问:运行时的内存布局

Java小咖秀

Java JVM

MECE分析法

陈磊@Criss

测者陈磊

Java统一异常处理(配置文件集中化定义)

xcbeyond

Java 架构 后端 统一异常

SICP,我的函数式编程启蒙书

Kurtis Moxley

读书 函数式编程

HTTP方式文件分片断点下载

xcbeyond

Java 断点续传 下载 Range

二叉树-四种遍历方式的 Java 实现

多选参数

二叉树 遍历

最受 IT 公司欢迎的 30 款开源软件

程序员生活志

开源 开源代码

区块链usdt支付系统开发,虚拟币跑分系统开发

WX13823153201

区块链

技术分享丨数据仓库的建模与ETL实践技巧

华为云开发者社区

数据仓库 数据分析 数据模型 GaussDB ETL算法

Nginx之反向代理

xcbeyond

nginx 反向代理 代理

准时下班的秘密:集成 GitLab && JIRA 实现自动化工作流

Phoenix

团队协作 研发效能

IT人为什么难以拿高薪?

看山

成长 随笔杂谈 薪资 心灵鸡汤

了解JS压缩图片,这一篇就够了

华为云开发者社区

Java html5 vue.js 前端 npm

如何选择:Bootstrap Or Layui

引花眠

bootstrap layui

ARTS打卡 第12周

引花眠

微服务 ARTS 打卡计划

ARTS Week12

时之虫

ARTS 打卡计划 arts

AI+云,数字金融掘金客户微细分

人称T客

全面剖析PHP-FPM+Nginx通信原理

书旅

nginx 正向代理与反向代理 PHP-FPM

菜鸟网络的AI进化方向:不追求“通用”的融合,重心是AIoT-InfoQ