写点什么

阿里端侧 AI 从探索尝试到逐步展开

端侧 AI 逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀

  • 2020-05-07
  • 本文字数:2992 字

    阅读完需:约 10 分钟

阿里端侧 AI 从探索尝试到逐步展开

人工智能发展已进入“落地为王”阶段,端侧 AI 相比云侧 AI,具有低延时、保护数据隐私、节省云端计算资源等优势,现已成为端侧技术新热点,并且紧贴用户在 AR 特效、搜索推荐等方面有诸多创新应用。我们有幸邀请到吕承飞(吕行)阿里巴巴淘系技术部资深无线开发专家来为我们介绍端侧 AI 的现状以及在阿里的实践。


本文将回顾端侧 AI 的发展过程,以阿里端侧 AI 发展为例展望端侧 AI 的未来。 在将于 11 月份举行的 GMTC 北京 2020 上,吕承飞(吕行)老师作为“端侧 AI ”的专题出品人,策划了端侧 AI 专题的方向,将为大家介绍前沿的端侧 AI 创新应用、端侧 AI 技术、端侧 AI 开放能力,让大家在听完之后能结合自己业务快速上手,创造无限可能。

1. 端侧 AI 介绍和发展回顾

端侧 AI 正从尝试应⽤变成驱动业务创新的核⼼推动⼒之⼀

AI 在智能⼿机和智能设备中应⽤越来越广泛,⽐如短视频 App 中的 AR 特效、⼈脸⻔禁等。随着端上算⼒不断增强和算法快速发展,特别是模型压缩技术和⼩模型算法设计不断成熟,在端侧运⾏算法模型成为可能。端侧 AI 简单说就是在终端设备做机器学习算法应⽤,这⾥“终端设备”主要是指⼿机,当然也包括不断出现的各种智能设备和 IoT 设备。⽬前,端侧 AI 主要是推理运⾏,当然也慢慢出现了在终端设备做训练,⽐如联合学习、迁移学习等。相较于云侧 AI,端侧 AI 具有低延时、兼顾数据隐私、节省云端计算资源,以及不依赖⽹络提供稳定服务等显著优势。


自 2017 年以来,端侧 AI 在底层技术和业务应⽤等⽅⾯都取得了快速发展,逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀。基于端侧 AI 的⼈脸检测、⼈体姿态、⼿势等算法补⻬了 AR 特效中的交互能⼒,从⽽可以实现各种有趣好玩的 AR 应⽤,且在短视频 App 中⼴泛应⽤。基于端侧 AI 的实时⽤户感知和理解能⼒,对于搜索推荐、安全⻛控、系统优化等业务都有帮助。在智能硬件 IoT 领域、⼈脸考勤机、 智能⻔禁锁,以及⻋载 ADAS 等应⽤也都跟端侧 AI 相关。


从技术发展来看:


  • 端侧推理引擎逐步成熟,基本解决了算法模型在端侧能不能跑的问题,⽽且国内框架相⽐国外具有普遍的优势。国内开源的 NCNN、MNN、MACE 以及 Paddle-Lite 等经过不断打磨优化已经做的⾮常不错。国外 TFLite 和 Pytorch 也开始重视端侧推理,重点投⼊,性能等提升明显。

  • 除推理引擎之外,端侧 AI 应⽤和部署仍存在较⾼⻔槛,⾏业公司逐步有⼀些尝试。⽐如,阿⾥淘系在 2020 年 3 ⽉开放 MNNKit,包含⼈脸检测、⼿势识别等算法能⼒。百度和⼩⽶也有计划开源多种算法模型,⽐如,百度最近开源的含⼝罩⼈脸检测及分类模型。另外,华为通过⼀站式开发平台 ModelArts 希望实现端、边、云全场景的 AI 部署。


总的来说,虽然端侧 AI ⽬前仍处于发展初期,但是相关应⽤已经展示出其巨⼤潜⼒,希望更多⼈能够了解和应⽤这项技术。这也是我们本次⼤会端侧 AI 专题的价值,通过介绍端侧 AI 最新技术进展和⾏业案例,给⼴⼤开发人员提供参考,从⽽使他们能结合⾃⼰业务场景进⾏探索和尝试,获得业务突破。

2. 阿⾥端侧 AI 发展状况

端侧 AI 业务应⽤场景逐步增多并取得明确价值,开源推理引擎 MNN

最早从 2016 年开始公司内部就有业务尝试端侧 AI 能⼒,并在 2017 年开始有计划的建设和探索端侧 AI ⽅向,包括我⾃⼰和所在的 MNN 团队,也是从那个时候开始尝试端侧 AI ,经过这⼏年的发展,端侧 AI 已经成为移动 App 的基础能⼒,助⼒业务发展和创新突破,并且也取得了不错的业务结果。


⽬前,公司⾥绝⼤多数移动 App 都有使⽤端侧 AI,2019 年初统计使⽤ MNN 的 App 就超过 20 个。以⼿淘为例分享⼏个数据:10 多个场景应⽤,超过 25 个模型运⾏,每天运⾏机器学习和深度学习算法次数超过 500 亿次。


应⽤场景



基于端侧 AI 技术可以实现更加实时的⽤户意图识别,做出更加精准的内容推荐,甚⾄在端上训练实现“千⼈千模”,有效提升了原有个性化推荐技术,该技术已在 2019 年双 11 中⼤规模应⽤并取得不错业务结果。对信息流的点击量和 GMV 都带来了明显提升。



基于端侧 AI 的⼈脸检测能⼒结合 AR 应⽤可以给消费者更加真实的购物体验。2019 年双 11 美妆⾏业推出的 AR 在线试妆功能,能够让⽤户模拟上妆,有效提升了线上购物体验。


除此之外,⽀付宝扫福、⼿淘拍⽴淘、智能 Push 以及闲⻥智能发布等都是端侧 AI 的典型应⽤。


技术建设


总体来说,因为我们起步早,体系也相对完整,技术结果显著。基本已经解决算法模型在端侧能不能跑以及跑得好、跑得快等问题,现在我们正在解决规模化应⽤和业务创新快速验证的问题。具体从如下⼏⽅⾯简单来说:


  • 端侧推理引擎


我们有开源推理引擎 MNN,以及⽀付宝定制化引擎 xNN,在性能优化、 异构多机型适配,模型压缩等⽅⾯有⽐较多积累,⽬前也已具备训练能⼒并⽀撑业务端上训练任务。


  • 端 AI 算法能⼒


公司各算法团队已经沉淀⼈脸检测、⼿势识别、⼈体⻣骼、OCR 等常⽤能⼒,并且构建统⼀开箱即⽤算法集⽀撑业务快速接⼊应⽤。


  • 端 AI⼯作台和研发体系


淘系技术团队正在探索和建设⼀站式端侧 AI ⼯作平台"MNN⼯作台",降低端侧 AI 应⽤⻔槛,实现业务快速创新试错。

3. 端侧 AI 未来展望

端侧 AI 仍处于⼤规模应⽤爆发前夜,未来结合 AR、IoT 等技术迎来更⼤发展

端侧 AI 的应⽤会向更⼤范围、更多领域铺开并切实给业务带来价值。从⼤公司尝鲜到普通公司逐步推开,它会真正成为⼀项基础能⼒;从视觉算法到⼤数据、⾃然语⾔处理、语⾳等更多算法领域的应用,例如:⾕歌发布的 ALBERT 在移动端部署应⽤已经成为可能;从智能硬件到 IoT 设备,近来 TinyML 技术也在不断成熟,正在成为新的蓝海,具体可以参⻅ TinyML2020 有关内容。


端侧 AI 相⽐云侧 AI ⼀站式机器学习平台整体技术体系还不够完善,针对⾮专业算法同学如何能够⾃主解决数据和算法问题产出模型,针对⼤前端和算法同学如何提⾼协同效率等些问题的解决势必会进⼀步推动整个端侧 AI 的发展。淘系内部基于 MNN 正在构建端侧 AI 的完整研发体系,包括端 AI 运⾏时 +⼯作台 + 服务端,后续也会逐步向业界开放,⼀起让端侧 AI 获得更⼤发展。


5G 技术已经到来,我觉得 5G 技术的发展也会促进端侧 AI 的发展。举例来说,5G 来了,⾳视频数据会进⼀步膨胀,当⽹络不是瓶颈,服务端算⼒就会成为瓶颈,那么本地的视频内容理解、预处理就显得尤为重要,更实时、更低成本的⽅案肯定会被应⽤,业界有些公司已经开始⾏动。结合 AR 来说,端侧 AI 补充了 AR 的交互能⼒,5G 补充了 AR ⽹络传输能⼒,让⾼质量的 AR 素材传输变成可能。那么,结合 5G + 端侧 AI + AR 技术可能会出现⼀些有意思的应⽤。


总的来说,端侧 AI 经过⼏年发展,虽然在技术建设和业务应⽤都有了⼀些进展,但仍处于⼤规模应⽤爆发前夜。随着算⼒和算法不断进步,应⽤⻔槛的不断降低,结合 AR、视频、5G 以及 IoT 等技术,端侧 AI 必将迎来更⼤的发展。


作者简介


吕承飞,花名吕行,阿里巴巴资深无线开发专家。2013 年加入淘宝,经历手机淘宝超级 App 技术演化完整过程,主导手淘 iOS 架构升级、架构治理、稳定性以及性能等相关工作。2017 年开始端侧 AI 方向探索,现负责端智能团队,构建开源端侧推理引擎 MNN,淘宝 AR 技术框架和美妆 AR 等创新应用,端计算技术框架和搜索推荐等创新应用。


随着算⼒和算法不断进步,结合 AR、视频、5G 以及 IoT 等技术,端侧 AI 必将迎来更⼤的发展。欲了解更多端侧 AI 相关案例,请点击GMTC北京2020大会官网


2020-05-07 15:497300

评论

发布
暂无评论
发现更多内容

大厂扎堆入驻鸿蒙,中小应用厂商怎么跟?

ToB行业头条

妙用OSGraph:发掘GitHub知识图谱上的开源故事

TuGraphAnalytics

GitHub tugraph antv osgraph x-lab

生成式推荐系统与京东联盟广告-综述与应用

京东科技开发者

开源数据库生态遇新变数,天翼云TeleDB提供企业数据管理更优解!

天翼云开发者社区

数据库 云计算 存储

如何使用华为NEXT模拟器进行应用开发

彭康佳

android 华为 鸿蒙

孤勇者80岁老教授40年打造国产数据库第一股,达梦开盘暴涨260%

NineData

数据库迁移 国产数据库 武汉达梦数据库 达梦上市 云数据库技术

携手知名律所,合合信息旗下名片全能王打造数字化名片“新范式”

合合技术团队

合合信息 数字名片 名片全能王

面试官:谈谈对SpringAI的理解?

王磊

Java 面试

数字先锋| SaaS服务“拎包入住”?央企数字化转型体验感拉满!

天翼云开发者社区

云计算 数字化转型 SaaS平台

解决TaskPool中线程管理和XML解析问题的指南

彭康佳

如何在鸿蒙系统中设置Image的按压态

彭康佳

android 华为 鸿蒙

和鲸101领航:同济MBA与和鲸共建数智人才培养计划

ModelWhale

大数据 数字化 同济大学MBA

极限网关助力好未来 Elasticsearch 容器化升级

极限实验室

elasticsearch 网关 极限网关 极限科技

PPT下载 | 构建数据价值高速路--DataOps的应用实践与前沿探索

数造万象

数据治理 数据开发 科技 DataOps

解决DevEco Studio中的“Cannot find module”编译错误问题

彭康佳

android 鸿蒙

五连冠!天翼云稳居中国专属云服务市场榜首!

天翼云开发者社区

云计算 云服务 IDC

怎么购买GPT4o?GPT4o买不了怎么办?GPT4o订阅银行卡教程

蓉蓉

openai gpt4o

如何画一个系统的设计图

京东科技开发者

鸿蒙系统开发如何实现跨平台功能?

FN0

鸿蒙 跨平台 HarmonyOS 鸿蒙卡片

如何快速开发一个鸿蒙原生app

FinFish

HarmonyOS 小程序技术 小程序容器技术 鸿蒙app 鸿蒙原生应用开发

疫情之后规模最大!武汉站Meetup,腾讯云与Elastic共绘ES在AI时代搜索技术新蓝图!

腾讯云大数据

ES

又一个小伙伴在深圳上车安家~

江南一点雨

关于web自动化过程中滑块解锁问题以及页面滚动的问题的研究

测试人

软件测试 自动化测试 测试开发

TDengine Open Day 成功举办:洞察技术革新与职场策略!

TDengine

数据库 tdengine 时序数据库

实现全国算力互联互通,我们是认真的!

天翼云开发者社区

云计算 算力

云消息队列 ApsaraMQ 成本治理实践(文末附好礼)

阿里巴巴云原生

阿里云 云原生 ApsaraMQ

闲鱼商品详情API接口:获取与应用实战指南

Noah

OceanBase 金融项目优化案例

不在线第一只蜗牛

金融 案例分享 优化 oceanbase

技术解读华为云CCE Autopilot,k8s集群托管免运维

华为云开发者联盟

Kubernetes 云原生 华为云 华为云开发者联盟 企业号2024年6月PK榜

市值风云APP装机数百万,借助NineData实现数据高效流通

NineData

数据迁移 数据管理 迁移工具 NineData 市值风云

阿里端侧 AI 从探索尝试到逐步展开_大前端_吕承飞(吕行)_InfoQ精选文章