Graph + AI 中国峰会火热报名中,点击探索图分析更多可能! 了解详情
写点什么

菜鸟智慧新物流核心技术全解析

2018 年 12 月 14 日

菜鸟智慧新物流核心技术全解析

2018 年天猫双 11 全球狂欢节已正式落下帷幕,最终成交额定格在 2135 亿元,物流订单总数飙升至 10.42 亿单,再次刷新历史记录。与往年的双 11 不同的是,为解决庞大的包裹量,数字化和精细化成为行业关键词,第十个双 11,是在智能物流骨干网协同下,全行业资源优化的一次大考,和依托 IoT 技术的一场新物流大练兵。


正如菜鸟网络 CTO 谷雪梅在 ArchSummit 2018 全球架构师峰会“菜鸟智慧新物流专场”致辞时所说,如何把平台、架构、算法、数据和业务场景融合在一起,为物流行业降本提效,同时促进行业技术不断向前发展,这是菜鸟技术人,也是整个智慧物流行业人最重要的使命。


那么,如何让无处不在 AI 技术在传统物流领域发挥必要的价值?柔性自动化这个新兴的技术方向将为电商物流带来怎样的变革?自动化仓储系统的技术和应用的算法又是什么?如何依靠数据、技术来进行统筹安排,打造敏捷供应链?带着对这些问题的解答,菜鸟网络研究员徐盈辉、资深技术专家朱礼君、裘民民、许俊开始了这场布道。


如何思考物流行业中人工智能的落地?

只有当物流资源变得可视、可预测、可控制,并能得到有效反馈,这时的物流体系才能真正实现降本提效。其中,资源共享是关键。菜鸟通过建立协同化 IT 技术平台,共享资源,并在物流网络中优化节点与连接,最终促进物流行业共同发展。


降本提效需要减少包括生产过多、生产过快、生产过晚等无谓资源浪费。菜鸟网络研究员徐盈辉在演讲中提到,对于双 11 所需求的大量商品,菜鸟会对消费者进行理解,并做到库存合理分布,在合适地方存放适当货量来避免一定的资源浪费。


值得注意的是,包裹从网点由快递员送到消费者的过程,是一个高频动态环节。为此,菜鸟围绕仓储物流智能化,优化了包括销量预测、实效预测、智能交互、机器视觉等技术。但由于数据量庞大,需要通过机器学习算法让消费者感知包裹位置,根据快递员的配送情况做合理的预测。此外,快递包裹的配送会根据目的区域做包裹再组织,进行合理 ETA 预测,并通过快递员的派送习惯,预测包裹时空特征,使得预测模型训练达到预期效果。


现如今,所有行业都需要让消费者知情。当快递员与消费者联系沟通时,这在无形中增加了快递员的工作负荷。包裹放置地点、包裹配送时间等问题都是需与消费者互动才能获得的时空特征,为此菜鸟围绕 POI 体系建立了 AOI 层次性地址知识图谱,通过智能交互机器人与消费者互动解决了这个问题。


对于物流在线决策的内容,徐盈辉讲解道,以前仓库大量拣选作业单都是人工完成,这样大大限制了算法在海量空间里做组合的效果。菜鸟打破了这个边界,让所有订单在仓库里更合理的组合并预测未来订单。同时,对订单的商品选择最合理的包材打包以此来降低成本。比方说,有 N 个商品,已知这些商品的三维尺寸,包材优化要做的事情就是根据这些商品的三维尺寸信息,计算一个最优装箱顺序、合理的朝向、正确的位置,找到一个包材,最终它的成本最小。


而在运输优化中经常考虑的一个问题是:货物如何以最短距离,最合理线路运到目的地。这是一个复杂的带有时间窗约束的多商品流优化问题,制定合理的优化目标就是希望使用较少车辆,包裹走最短的距离,最小的空载率,这是一个超大规模且不可追溯的混合整数规划问题。通过合理的问题拆解使得问题能被有效求解且可解释。


全流程优化的终极梦想——柔性自动化

中国劳动力总人口减少、电商仓库大、存储商品多、时效要求高等挑战推动着物流行业自动化的发展。对此,菜鸟网络资深算法专家朱礼君解释道:


  • 电商订单变化快,业务变化也非常快。菜鸟通过人工智能技术,使得更多机器人解决物流自动化问题;

  • 柔性自动化仓库的机器人灵活,容易扩张及改造;

  • 柔性自动化控制逻辑非常复杂,这是一个缺点也是优点,这样可以把所有智能移到云端,即可进行性复制。从某种意义上来说,这也把难问题统一解决掉了。


在自动化仓库里面的做长距离搬运基本作业单元 AGV,可以从仓库里面任意两点之间进行搬运工作。在仓库相对可控一个环境,其导航定位方式可以设置多种:贴二维码、激光导航、视觉导航等。而比较成熟的自动化 AGV 系统,机器小车只需顶起货架,移动到工人处,工人再根据系统指示拣选对应的商品,单个拣选站故障也不会影响其余拣选站。


值得注意的是,在电商仓库中货架可以动态分布,并实行多区并行方案,同一个订单的所有商品到达合流区域才可出库,所有过程均自动化完成。菜鸟自动化仓储系统架构的最核心的调度引擎是调度算法,包括订单生成、拣选任务生成、合流区调度、多区协同调度等等都是由调度引擎完成。


如何为同时在同一仓库的机器人规划行驶路径?假设两个机器人都从 A1 到 A2,若都走最短路径时则会相撞,这时只能其一避让才可避免,为实现这个过程菜鸟对传统 AI 算法做了改造,在考虑机器人的加速度、减速度的基础下进行智能路径规划。


在演讲中,朱礼君还为大家分享了 AGV 网络掉线的例子:在很窄的通道中堆满机器人的“堵车”情景,其学术名词为死锁。那么提前避免死锁,或迅速恢复异常情况,这可能比在正常情况的算法还要重要。


对此,菜鸟总结了一套准则:所有模型都是理想化的模型。起初物流行业的目标就是优化总体吞吐量,调度模型也最简单,但这跟实际情况并不相符,并需要不断的自我质疑和假设。所以在最终的模型中,还需考虑目标各区域作业的均衡,从实践出真知,才是真正的物流优化。


双 11 物流能力应当如何沉淀?

双 11 是一个系统工程,需要极多人力物力的准备,而在双 11 大促之前,大数据最重要的使命就是帮助双 11 做一个确定性预计和预测。


菜鸟网络资深数据技术专家裘民民进一步分析:首先针对双 11 大促,菜鸟需要预测物流单量来决定后续社会化运力与仓储面积的筹备情况。但单量预测影响因素非常之多,除了每年的历史数据之外,更多的是日常变化的一些趋势。此外,预售工作的启动也同样可以帮助迭代优化单量的预估。


其次,整个订单的产生都需要经过商家的 ERP 系统进行处理,这条交易链致使整个信息的交互流过程变得十分复杂,这就涉及到商家行为分析。不仅如此,由于包裹量巨大,单量的实际仓库面积、网络流速、订单出库时间等等都会涉及预测与决策。为此,菜鸟从预测模型到优化模型,确定每个环节物流资源,把它工序化,并根据预测评估可以承受的行业物流成本,决定物流资源的整体布局。


一旦双 11 开始,菜鸟的首要任务就转变为,从技术角度监控包裹和物流订单以及实际作业的具体情况,因此菜鸟对实时计算和实时监控都有着非常高的需求。


双 11 当天菜鸟希望基于实时计算数据估计出总的订单量。但由于历史数据的有限性,致使去年订单量乘以比例的预估方式不切实际。因此菜鸟借鉴在机器学习里的特殊工程概念,把实际发生曲线和历史数据曲线相互做一些交叉和拼接,并进行动态调整,将这两步叠加起来才能预测一个比较好的结果。


对于比较抽象的数据分析,第一步为定位步骤,对应一个 top 指标,找到影响指标波动的细粒度维度。当确定定位以后,就可以开始第二步——推理,比如定位到某地,其为何发生如此变化,诸如此类为一个推理过程。


那么这些步骤可以通过技术解决吗?可以。对于定位来说,本质上就是找最关键组合,并计算出它对整个指标的贡献度。推理层面则需要找到指标与事件之间的关系,然后把历史事件与数据变化通过学习的方式找到,形成知识图谱,未来发生变化时就可较快找到数据变化对应的背后原因,并在很大程度上提高分析效率。


10 亿包裹背后的技术定义者——菜鸟智慧新物流

菜鸟智慧新物流到底是什么样?菜鸟网络资深技术专家许俊在演讲中从整体平台架构和工程技术角度进行了阐述。


汗水物流时代向智能物流新时代的演进,变化背后承载着这样的技术演变:信息化阶段与数字化阶段。早年大型物流园区里,单个机房需要上百人来运维,现在几万台服务器仅需一人管理。智慧新物流的体系结构到底是什么?首先要有一个智能化基础设施。其次,需要在很多核心的作业环节,实现柔性自动化的技术体系。最后,面向物流技术的前沿储备作为体系结构的基础服务层。


对于信息化架构,菜鸟的技术站和整体运维,在过去很长时间与阿里共享一个机房,并与淘宝、天猫很多技术一脉相承。这会带来一些新问题,第一,对于物流系统,资源的弹性会面临挑战;第二,物流系统搭建在在单机房中,这就演变为一个单点问题,但这并不具备多地容灾的能力;第三,全球化购买背景中,海外部署的基础架构也会发生大变化。


在这样背景下,菜鸟从 2017 年开始研发混合云架构,通过研发和运维系统线上线下一体化,保证研发体系的一致性。通过高速专线的方式,让云上 VPC 和 IDC 实现网络高速通信,实现一套代码多套部署,实现应用系统编程过程。


针对数字化架构,许俊基于技术角度阐述了关于物流领域借助数字化待需解决的问题:第一个维度,无论是物品还是装备,其数字化为主动性还是被动性的问题;第二个维度,物流领域的核心要素所存在的运动环境问题;第三个维度,物品是运动还是静止,比如某位置种 AGV 不断运动的情况是遇到网络问题,还是掉线。而其数字化思路就是基于数字化技术模型影射到中间技术架构,从感知层、连接层再到应用层,最终数据与上层物流、供应链业务系统进行数据回环,这与物流领域的 IOT 技术架构比较类似。


在演讲的最后,许俊分享了在安防方面菜鸟所做的尝试——“天眼”。当包裹经过商家发货流动到揽收网点,中间需要经历复杂的流转过程。为此,菜鸟在揽收网点、分布中心、驿站等中转环节架设大量摄像头,以保障整个物流的全程实时监控及反馈。


由于摄像头数量庞大,“天眼”系统面临的包括摄像头管理、在线率、视觉计算网络传输的稳定性等技术挑战被菜鸟统一归纳为大规模弱中心集成管理技术问题。把摄像头与云端对接,经过编解码体系为这个技术问题的解决方案,但若视频 24 小时不断上传,那么一家快递公司仅仅支付网络费用就已高达每年几千万。为此,菜鸟通过引入边缘网关和边缘计算体系,并对数据进行预处理,以此来降低成本。


未来,天眼上会集成越来越多视觉识别模式,所有都会通过菜鸟算法容器进行高效率算法迭代和新算法引入。而菜鸟天眼系统也将进一步与实时调度系统产生联动,通过云和端实现包裹全链路可视化,实现基于大数据之外的全新视觉管理体系。


2018 年 12 月 14 日 16:007863
用户头像

发布了 35 篇内容, 共 16.3 次阅读, 收获喜欢 37 次。

关注

评论 1 条评论

发布
用户头像
新物流是数据基础设施的社会化共享以及智能物流技术的全面普及。目前中国完成新物流业态布局的企业只有一家半,一家是菜鸟,那半家是京东物流。一家独大的菜鸟网络和奋起直追的行业大佬,构成了目前我国的新物流的竞争格局。
2019 年 01 月 22 日 16:01
回复
没有更多了
发现更多内容

Linux之export命令

入门小站

Linux

今天学习了什么

m小幼

阿里新产!Spring+SpringBoot+SpringCloud Alibaba全系列高阶笔记

Java~~~

Java spring 架构 面试 Spring Cloud

懵逼!阿里一面就被虐了,幸获内推华为技术四面,成功拿到offer

编程susu

Java 编程 程序员 面试 计算机

架构师实战训练营|作业|01

Frode

#架构实战营

ShardingSphere JDBC 分库分表 读写分离 数据加密

Java 源码 ShardingSphere

HVEC安装与卸载

林建

HVEC DISM++

纯CSS实现beautiful按钮

执鸢者

CSS 前端 按钮

百度地图开发-引入地图SDK并配置 02

Andy阿辉

android Android 小菜鸟 8月日更

暴力美学,拒绝平庸,Alibab开源内部神仙级“K8S核心笔记”下载

Java~~~

Java 架构 面试 微服务 k8s

牛逼Git,豆瓣评分高达9.3神著“Pro Git”电子版国内首次开源

Java~~~

Java git 架构 面试 架构师

小说类公众号如何运营:先要满足特定读者人群

石头IT视角

获取 NodeJS 程序退出码

编程三昧

node.js Node 8月日更

教你一招疯狂拿Offer!用微服务设计一个超大型分布式电商平台

Java~~~

Java 架构 面试 Spring Cloud 架构师

脉脉转发3W次的字节内部首发“数据结构算法”手册!惨大厂被封杀

Java~~~

Java 架构 面试 算法 架构师

网络攻防学习笔记 Day114

穿过生命散发芬芳

网络安全 8月日更

架构实战营作业--模块一

冬瓜茶

聊聊 Linux 登陆提示信息 motd 文件

耳东@Erdong

Linux 8月日更 motd

Go- goto和label

HelloBug

Go goto label

半监督学习概述(二)

数据与智能

学习 深度半监督

NodeJs深入浅出之旅:异步I/O (上)🐋

空城机

JavaScript 前端 Node 8月日更

架构实战营 模块一作业

💤 ZZzz💤

架构实战营

重构你的css吧!(初看)

云小梦

CSS bem elementUI scss ITCSS

CSS 数学函数之calc、clamp、min、max

devpoint

CSS css3 8月日更

【漏洞分析】远程命令执行漏洞总结

网络安全学海

网络安全 信息安全 网络 渗透测试 安全漏洞

☕【Java技术指南】「编译器专题」重塑认识Java编译器的执行过程(常量优化机制)!

李浩宇/Alex

Java 编译器 技术栈 8月日更

在线JSON转PHP Array工具

入门小站

工具

程序员作图工具和技巧,你 get 了么?

程序员鱼皮

Java 前端 后端 架构设计 代码

不少同学想要放弃秋招了........

今晚早点睡

程序员 秋招

Alibaba史上最牛的分布式核心原理解析全彩手册开源!称霸GitHub

Java~~~

Java 架构 面试 分布式 微服务

阿里巴巴最新产物!Spring+SpringBoot+SpringCloud Alibaba全系列高阶笔记

胧月

Java spring 程序员 架构 后端

聊一下 Mesh 数据平面 Sidecar 与 Service 通信的那些事儿

聊一下 Mesh 数据平面 Sidecar 与 Service 通信的那些事儿

菜鸟智慧新物流核心技术全解析-InfoQ