GMTC 全球大前端技术大会 8 折涨价倒计时 2 天,现在购票立减 ¥960 ! 了解详情
写点什么

阿里端侧 AI 从探索尝试到逐步展开

端侧 AI 逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀

2020 年 5 月 07 日

阿里端侧 AI 从探索尝试到逐步展开

人工智能发展已进入“落地为王”阶段,端侧 AI 相比云侧 AI,具有低延时、保护数据隐私、节省云端计算资源等优势,现已成为端侧技术新热点,并且紧贴用户在 AR 特效、搜索推荐等方面有诸多创新应用。我们有幸邀请到吕承飞(吕行)阿里巴巴淘系技术部资深无线开发专家来为我们介绍端侧 AI 的现状以及在阿里的实践。


本文将回顾端侧 AI 的发展过程,以阿里端侧 AI 发展为例展望端侧 AI 的未来。 在将于 11 月份举行的 GMTC 北京 2020 上,吕承飞(吕行)老师作为“端侧 AI ”的专题出品人,策划了端侧 AI 专题的方向,将为大家介绍前沿的端侧 AI 创新应用、端侧 AI 技术、端侧 AI 开放能力,让大家在听完之后能结合自己业务快速上手,创造无限可能。


1. 端侧 AI 介绍和发展回顾

端侧 AI 正从尝试应⽤变成驱动业务创新的核⼼推动⼒之⼀

AI 在智能⼿机和智能设备中应⽤越来越广泛,⽐如短视频 App 中的 AR 特效、⼈脸⻔禁等。随着端上算⼒不断增强和算法快速发展,特别是模型压缩技术和⼩模型算法设计不断成熟,在端侧运⾏算法模型成为可能。端侧 AI 简单说就是在终端设备做机器学习算法应⽤,这⾥“终端设备”主要是指⼿机,当然也包括不断出现的各种智能设备和 IoT 设备。⽬前,端侧 AI 主要是推理运⾏,当然也慢慢出现了在终端设备做训练,⽐如联合学习、迁移学习等。相较于云侧 AI,端侧 AI 具有低延时、兼顾数据隐私、节省云端计算资源,以及不依赖⽹络提供稳定服务等显著优势。


自 2017 年以来,端侧 AI 在底层技术和业务应⽤等⽅⾯都取得了快速发展,逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀。基于端侧 AI 的⼈脸检测、⼈体姿态、⼿势等算法补⻬了 AR 特效中的交互能⼒,从⽽可以实现各种有趣好玩的 AR 应⽤,且在短视频 App 中⼴泛应⽤。基于端侧 AI 的实时⽤户感知和理解能⼒,对于搜索推荐、安全⻛控、系统优化等业务都有帮助。在智能硬件 IoT 领域、⼈脸考勤机、 智能⻔禁锁,以及⻋载 ADAS 等应⽤也都跟端侧 AI 相关。


从技术发展来看:


  • 端侧推理引擎逐步成熟,基本解决了算法模型在端侧能不能跑的问题,⽽且国内框架相⽐国外具有普遍的优势。国内开源的 NCNN、MNN、MACE 以及 Paddle-Lite 等经过不断打磨优化已经做的⾮常不错。国外 TFLite 和 Pytorch 也开始重视端侧推理,重点投⼊,性能等提升明显。

  • 除推理引擎之外,端侧 AI 应⽤和部署仍存在较⾼⻔槛,⾏业公司逐步有⼀些尝试。⽐如,阿⾥淘系在 2020 年 3 ⽉开放 MNNKit,包含⼈脸检测、⼿势识别等算法能⼒。百度和⼩⽶也有计划开源多种算法模型,⽐如,百度最近开源的含⼝罩⼈脸检测及分类模型。另外,华为通过⼀站式开发平台 ModelArts 希望实现端、边、云全场景的 AI 部署。


总的来说,虽然端侧 AI ⽬前仍处于发展初期,但是相关应⽤已经展示出其巨⼤潜⼒,希望更多⼈能够了解和应⽤这项技术。这也是我们本次⼤会端侧 AI 专题的价值,通过介绍端侧 AI 最新技术进展和⾏业案例,给⼴⼤开发人员提供参考,从⽽使他们能结合⾃⼰业务场景进⾏探索和尝试,获得业务突破。


2. 阿⾥端侧 AI 发展状况

端侧 AI 业务应⽤场景逐步增多并取得明确价值,开源推理引擎 MNN

最早从 2016 年开始公司内部就有业务尝试端侧 AI 能⼒,并在 2017 年开始有计划的建设和探索端侧 AI ⽅向,包括我⾃⼰和所在的 MNN 团队,也是从那个时候开始尝试端侧 AI ,经过这⼏年的发展,端侧 AI 已经成为移动 App 的基础能⼒,助⼒业务发展和创新突破,并且也取得了不错的业务结果。


⽬前,公司⾥绝⼤多数移动 App 都有使⽤端侧 AI,2019 年初统计使⽤ MNN 的 App 就超过 20 个。以⼿淘为例分享⼏个数据:10 多个场景应⽤,超过 25 个模型运⾏,每天运⾏机器学习和深度学习算法次数超过 500 亿次。


应⽤场景



基于端侧 AI 技术可以实现更加实时的⽤户意图识别,做出更加精准的内容推荐,甚⾄在端上训练实现“千⼈千模”,有效提升了原有个性化推荐技术,该技术已在 2019 年双 11 中⼤规模应⽤并取得不错业务结果。对信息流的点击量和 GMV 都带来了明显提升。



基于端侧 AI 的⼈脸检测能⼒结合 AR 应⽤可以给消费者更加真实的购物体验。2019 年双 11 美妆⾏业推出的 AR 在线试妆功能,能够让⽤户模拟上妆,有效提升了线上购物体验。


除此之外,⽀付宝扫福、⼿淘拍⽴淘、智能 Push 以及闲⻥智能发布等都是端侧 AI 的典型应⽤。


技术建设


总体来说,因为我们起步早,体系也相对完整,技术结果显著。基本已经解决算法模型在端侧能不能跑以及跑得好、跑得快等问题,现在我们正在解决规模化应⽤和业务创新快速验证的问题。具体从如下⼏⽅⾯简单来说:


  • 端侧推理引擎


我们有开源推理引擎 MNN,以及⽀付宝定制化引擎 xNN,在性能优化、 异构多机型适配,模型压缩等⽅⾯有⽐较多积累,⽬前也已具备训练能⼒并⽀撑业务端上训练任务。


  • 端 AI 算法能⼒


公司各算法团队已经沉淀⼈脸检测、⼿势识别、⼈体⻣骼、OCR 等常⽤能⼒,并且构建统⼀开箱即⽤算法集⽀撑业务快速接⼊应⽤。


  • 端 AI⼯作台和研发体系


淘系技术团队正在探索和建设⼀站式端侧 AI ⼯作平台"MNN⼯作台",降低端侧 AI 应⽤⻔槛,实现业务快速创新试错。


3. 端侧 AI 未来展望

端侧 AI 仍处于⼤规模应⽤爆发前夜,未来结合 AR、IoT 等技术迎来更⼤发展

端侧 AI 的应⽤会向更⼤范围、更多领域铺开并切实给业务带来价值。从⼤公司尝鲜到普通公司逐步推开,它会真正成为⼀项基础能⼒;从视觉算法到⼤数据、⾃然语⾔处理、语⾳等更多算法领域的应用,例如:⾕歌发布的 ALBERT 在移动端部署应⽤已经成为可能;从智能硬件到 IoT 设备,近来 TinyML 技术也在不断成熟,正在成为新的蓝海,具体可以参⻅ TinyML2020 有关内容。


端侧 AI 相⽐云侧 AI ⼀站式机器学习平台整体技术体系还不够完善,针对⾮专业算法同学如何能够⾃主解决数据和算法问题产出模型,针对⼤前端和算法同学如何提⾼协同效率等些问题的解决势必会进⼀步推动整个端侧 AI 的发展。淘系内部基于 MNN 正在构建端侧 AI 的完整研发体系,包括端 AI 运⾏时 +⼯作台 + 服务端,后续也会逐步向业界开放,⼀起让端侧 AI 获得更⼤发展。


5G 技术已经到来,我觉得 5G 技术的发展也会促进端侧 AI 的发展。举例来说,5G 来了,⾳视频数据会进⼀步膨胀,当⽹络不是瓶颈,服务端算⼒就会成为瓶颈,那么本地的视频内容理解、预处理就显得尤为重要,更实时、更低成本的⽅案肯定会被应⽤,业界有些公司已经开始⾏动。结合 AR 来说,端侧 AI 补充了 AR 的交互能⼒,5G 补充了 AR ⽹络传输能⼒,让⾼质量的 AR 素材传输变成可能。那么,结合 5G + 端侧 AI + AR 技术可能会出现⼀些有意思的应⽤。


总的来说,端侧 AI 经过⼏年发展,虽然在技术建设和业务应⽤都有了⼀些进展,但仍处于⼤规模应⽤爆发前夜。随着算⼒和算法不断进步,应⽤⻔槛的不断降低,结合 AR、视频、5G 以及 IoT 等技术,端侧 AI 必将迎来更⼤的发展。


作者简介


吕承飞,花名吕行,阿里巴巴资深无线开发专家。2013 年加入淘宝,经历手机淘宝超级 App 技术演化完整过程,主导手淘 iOS 架构升级、架构治理、稳定性以及性能等相关工作。2017 年开始端侧 AI 方向探索,现负责端智能团队,构建开源端侧推理引擎 MNN,淘宝 AR 技术框架和美妆 AR 等创新应用,端计算技术框架和搜索推荐等创新应用。


随着算⼒和算法不断进步,结合 AR、视频、5G 以及 IoT 等技术,端侧 AI 必将迎来更⼤的发展。欲了解更多端侧 AI 相关案例,请点击GMTC北京2020大会官网


2020 年 5 月 07 日 15:492419

评论

发布
暂无评论
发现更多内容

Linux tree命令

一个大红包

Linux linux命令 4月日更

低代码:正在改变软件的开发方式

华为云开发者社区

软件开发 低代码 低代码平台 华为云应用魔方 AppCube

GitHub开源:100美元自制激光雷达

不脱发的程序猿

GitHub DIY 开源项目 四月日更 激光雷达

熬夜也要肝完这份阿里内部泄露的Java岗《金三银四面试秘籍》

周老师

Java 编程 程序员 架构 面试

阿里员工:最惨P7,33岁才28K,感觉没有前途了。网友调侃:最美逆行者

程序员生活志

iMazing 一款替代iTunes的数据备份软件

懒得勤快

ios Mac imazing 手机管理

【全网首发】2021年移动开发iOS进阶提升方案,内附详细视频知识点解析和思维导图!【强烈建议收藏!】

flutter swift 数据结构与算法 ios开发 iOS逆向

聪明人的训练(二十)

Changing Lin

4月日更

抢购倒计时自定义控件的实现与优化

vivo互联网技术

动画 安卓 自定义控件 倒计时

计算机原理学习笔记Day11

穿过生命散发芬芳

计算机原理 4月日更

我很久没写代码了,但我是个好架构师

四猿外

Java 程序员 系统架构 架构师 代码

腾讯万字Code Review规范出炉!别再乱写代码了

程序员生活志

Rust从0到1-枚举-if let控制流

rust 枚举 if let

职业资格认证是什么?“Adobe国际认证”彻底引起争议

Adobe国际认证

Adobe国际认证 职业资格认证

MySQL常用引擎及优缺点

Sakura

四月日更

三色标记原理,我给应聘者问懵了...

华为云开发者社区

Java 节点 三色标记 SATB算法 回收器

揭秘阿里SpringBoot类似京东的电商项目笔记GitHub已获千万推荐

周老师

Java 编程 程序员 架构 面试

吊打面试官,四面拿到阿里、字节offer后我还是选择了美团!

互联网架构师小马

Java 面试 软件开发 求职 找工作

【LeetCode】实现 strStr()Java题解

HQ数字卡

算法 LeetCode 4月日更

华为云PB级数据库GaussDB(for Redis)揭秘第八期:用高斯 Redis 进行计数

华为云开发者社区

redis GaussDB(for Redis) 计数器 计数

100 位优质创作者签约计划|行业分析能力考核

InfoQ写作平台官方

活动专区 签约计划

面试加分项!为了跳槽强刷1000道Android真题,附小技巧

欢喜学安卓

android 程序员 面试 移动开发

全程干货!拍乐云受邀LiveVideoStackCon,首席科学家分享拥塞控制最佳实践

拍乐云Pano

架构实战营 - 模块 2- 总结

吴建中

架构实战营

多源数据即席查询Trino(Presto)引擎剖析

小舰

【4 月日更】

搭建亿级时间线数据的监控系统,我有绝招!

华为云开发者社区

Grafana 监控系统 GaussDB(for Influx) 华为云数据库 时间线

神级Android进阶笔记!一次关于JVM的面试经历,建议收藏

欢喜学安卓

android 程序员 面试 移动开发

视图数据操作

在即

四月日更

NoCode 实战 | 想要开发在线选课系统?何必那样大费周章!

亚马逊云科技 (Amazon Web Services)

微服务项目实战第一步,安装部署微服务开发运行环境

攻城狮Chova

微服务 部署与维护 开发环境 【4 月日更】

架构实战营 - 模块 2- 微信朋友圈高性能复杂度分析

吴建中

架构实战营

阿里端侧 AI 从探索尝试到逐步展开-InfoQ