红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

阿里端侧 AI 从探索尝试到逐步展开

端侧 AI 逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀

  • 2020-05-07
  • 本文字数:2992 字

    阅读完需:约 10 分钟

阿里端侧 AI 从探索尝试到逐步展开

人工智能发展已进入“落地为王”阶段,端侧 AI 相比云侧 AI,具有低延时、保护数据隐私、节省云端计算资源等优势,现已成为端侧技术新热点,并且紧贴用户在 AR 特效、搜索推荐等方面有诸多创新应用。我们有幸邀请到吕承飞(吕行)阿里巴巴淘系技术部资深无线开发专家来为我们介绍端侧 AI 的现状以及在阿里的实践。


本文将回顾端侧 AI 的发展过程,以阿里端侧 AI 发展为例展望端侧 AI 的未来。 在将于 11 月份举行的 GMTC 北京 2020 上,吕承飞(吕行)老师作为“端侧 AI ”的专题出品人,策划了端侧 AI 专题的方向,将为大家介绍前沿的端侧 AI 创新应用、端侧 AI 技术、端侧 AI 开放能力,让大家在听完之后能结合自己业务快速上手,创造无限可能。

1. 端侧 AI 介绍和发展回顾

端侧 AI 正从尝试应⽤变成驱动业务创新的核⼼推动⼒之⼀

AI 在智能⼿机和智能设备中应⽤越来越广泛,⽐如短视频 App 中的 AR 特效、⼈脸⻔禁等。随着端上算⼒不断增强和算法快速发展,特别是模型压缩技术和⼩模型算法设计不断成熟,在端侧运⾏算法模型成为可能。端侧 AI 简单说就是在终端设备做机器学习算法应⽤,这⾥“终端设备”主要是指⼿机,当然也包括不断出现的各种智能设备和 IoT 设备。⽬前,端侧 AI 主要是推理运⾏,当然也慢慢出现了在终端设备做训练,⽐如联合学习、迁移学习等。相较于云侧 AI,端侧 AI 具有低延时、兼顾数据隐私、节省云端计算资源,以及不依赖⽹络提供稳定服务等显著优势。


自 2017 年以来,端侧 AI 在底层技术和业务应⽤等⽅⾯都取得了快速发展,逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀。基于端侧 AI 的⼈脸检测、⼈体姿态、⼿势等算法补⻬了 AR 特效中的交互能⼒,从⽽可以实现各种有趣好玩的 AR 应⽤,且在短视频 App 中⼴泛应⽤。基于端侧 AI 的实时⽤户感知和理解能⼒,对于搜索推荐、安全⻛控、系统优化等业务都有帮助。在智能硬件 IoT 领域、⼈脸考勤机、 智能⻔禁锁,以及⻋载 ADAS 等应⽤也都跟端侧 AI 相关。


从技术发展来看:


  • 端侧推理引擎逐步成熟,基本解决了算法模型在端侧能不能跑的问题,⽽且国内框架相⽐国外具有普遍的优势。国内开源的 NCNN、MNN、MACE 以及 Paddle-Lite 等经过不断打磨优化已经做的⾮常不错。国外 TFLite 和 Pytorch 也开始重视端侧推理,重点投⼊,性能等提升明显。

  • 除推理引擎之外,端侧 AI 应⽤和部署仍存在较⾼⻔槛,⾏业公司逐步有⼀些尝试。⽐如,阿⾥淘系在 2020 年 3 ⽉开放 MNNKit,包含⼈脸检测、⼿势识别等算法能⼒。百度和⼩⽶也有计划开源多种算法模型,⽐如,百度最近开源的含⼝罩⼈脸检测及分类模型。另外,华为通过⼀站式开发平台 ModelArts 希望实现端、边、云全场景的 AI 部署。


总的来说,虽然端侧 AI ⽬前仍处于发展初期,但是相关应⽤已经展示出其巨⼤潜⼒,希望更多⼈能够了解和应⽤这项技术。这也是我们本次⼤会端侧 AI 专题的价值,通过介绍端侧 AI 最新技术进展和⾏业案例,给⼴⼤开发人员提供参考,从⽽使他们能结合⾃⼰业务场景进⾏探索和尝试,获得业务突破。

2. 阿⾥端侧 AI 发展状况

端侧 AI 业务应⽤场景逐步增多并取得明确价值,开源推理引擎 MNN

最早从 2016 年开始公司内部就有业务尝试端侧 AI 能⼒,并在 2017 年开始有计划的建设和探索端侧 AI ⽅向,包括我⾃⼰和所在的 MNN 团队,也是从那个时候开始尝试端侧 AI ,经过这⼏年的发展,端侧 AI 已经成为移动 App 的基础能⼒,助⼒业务发展和创新突破,并且也取得了不错的业务结果。


⽬前,公司⾥绝⼤多数移动 App 都有使⽤端侧 AI,2019 年初统计使⽤ MNN 的 App 就超过 20 个。以⼿淘为例分享⼏个数据:10 多个场景应⽤,超过 25 个模型运⾏,每天运⾏机器学习和深度学习算法次数超过 500 亿次。


应⽤场景



基于端侧 AI 技术可以实现更加实时的⽤户意图识别,做出更加精准的内容推荐,甚⾄在端上训练实现“千⼈千模”,有效提升了原有个性化推荐技术,该技术已在 2019 年双 11 中⼤规模应⽤并取得不错业务结果。对信息流的点击量和 GMV 都带来了明显提升。



基于端侧 AI 的⼈脸检测能⼒结合 AR 应⽤可以给消费者更加真实的购物体验。2019 年双 11 美妆⾏业推出的 AR 在线试妆功能,能够让⽤户模拟上妆,有效提升了线上购物体验。


除此之外,⽀付宝扫福、⼿淘拍⽴淘、智能 Push 以及闲⻥智能发布等都是端侧 AI 的典型应⽤。


技术建设


总体来说,因为我们起步早,体系也相对完整,技术结果显著。基本已经解决算法模型在端侧能不能跑以及跑得好、跑得快等问题,现在我们正在解决规模化应⽤和业务创新快速验证的问题。具体从如下⼏⽅⾯简单来说:


  • 端侧推理引擎


我们有开源推理引擎 MNN,以及⽀付宝定制化引擎 xNN,在性能优化、 异构多机型适配,模型压缩等⽅⾯有⽐较多积累,⽬前也已具备训练能⼒并⽀撑业务端上训练任务。


  • 端 AI 算法能⼒


公司各算法团队已经沉淀⼈脸检测、⼿势识别、⼈体⻣骼、OCR 等常⽤能⼒,并且构建统⼀开箱即⽤算法集⽀撑业务快速接⼊应⽤。


  • 端 AI⼯作台和研发体系


淘系技术团队正在探索和建设⼀站式端侧 AI ⼯作平台"MNN⼯作台",降低端侧 AI 应⽤⻔槛,实现业务快速创新试错。

3. 端侧 AI 未来展望

端侧 AI 仍处于⼤规模应⽤爆发前夜,未来结合 AR、IoT 等技术迎来更⼤发展

端侧 AI 的应⽤会向更⼤范围、更多领域铺开并切实给业务带来价值。从⼤公司尝鲜到普通公司逐步推开,它会真正成为⼀项基础能⼒;从视觉算法到⼤数据、⾃然语⾔处理、语⾳等更多算法领域的应用,例如:⾕歌发布的 ALBERT 在移动端部署应⽤已经成为可能;从智能硬件到 IoT 设备,近来 TinyML 技术也在不断成熟,正在成为新的蓝海,具体可以参⻅ TinyML2020 有关内容。


端侧 AI 相⽐云侧 AI ⼀站式机器学习平台整体技术体系还不够完善,针对⾮专业算法同学如何能够⾃主解决数据和算法问题产出模型,针对⼤前端和算法同学如何提⾼协同效率等些问题的解决势必会进⼀步推动整个端侧 AI 的发展。淘系内部基于 MNN 正在构建端侧 AI 的完整研发体系,包括端 AI 运⾏时 +⼯作台 + 服务端,后续也会逐步向业界开放,⼀起让端侧 AI 获得更⼤发展。


5G 技术已经到来,我觉得 5G 技术的发展也会促进端侧 AI 的发展。举例来说,5G 来了,⾳视频数据会进⼀步膨胀,当⽹络不是瓶颈,服务端算⼒就会成为瓶颈,那么本地的视频内容理解、预处理就显得尤为重要,更实时、更低成本的⽅案肯定会被应⽤,业界有些公司已经开始⾏动。结合 AR 来说,端侧 AI 补充了 AR 的交互能⼒,5G 补充了 AR ⽹络传输能⼒,让⾼质量的 AR 素材传输变成可能。那么,结合 5G + 端侧 AI + AR 技术可能会出现⼀些有意思的应⽤。


总的来说,端侧 AI 经过⼏年发展,虽然在技术建设和业务应⽤都有了⼀些进展,但仍处于⼤规模应⽤爆发前夜。随着算⼒和算法不断进步,应⽤⻔槛的不断降低,结合 AR、视频、5G 以及 IoT 等技术,端侧 AI 必将迎来更⼤的发展。


作者简介


吕承飞,花名吕行,阿里巴巴资深无线开发专家。2013 年加入淘宝,经历手机淘宝超级 App 技术演化完整过程,主导手淘 iOS 架构升级、架构治理、稳定性以及性能等相关工作。2017 年开始端侧 AI 方向探索,现负责端智能团队,构建开源端侧推理引擎 MNN,淘宝 AR 技术框架和美妆 AR 等创新应用,端计算技术框架和搜索推荐等创新应用。


随着算⼒和算法不断进步,结合 AR、视频、5G 以及 IoT 等技术,端侧 AI 必将迎来更⼤的发展。欲了解更多端侧 AI 相关案例,请点击GMTC北京2020大会官网


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-05-07 15:495628

评论

发布
暂无评论
发现更多内容

构建数字工厂丨数据分析与图表视图模型的配置用法

华为云开发者联盟

后端 物联网 华为云 华为云开发者联盟 企业号 6 月 PK 榜

6 大场景落地全面预算管理闭环

用友BIP

全面预算

IPQ6010 QCA8075 QCN5052 QCN5022 WiFi Embedded Motherboard

wifi6module

IPQ6000 ipq4029

升级数智底座助力快速构建创新应用

用友BIP

低代码 数智底座 Pass平台

QCN6274 QCN9274 What is the difference?|WIFI7 Solution|Wallys

wallyslilly

qcn9274 qcn6274

AI开源:国际化开发潮流与低代码平台的崛起,探析其积极影响

EquatorCoco

人工智能 AI 低代码 AI开源

保姆级教程:带你体验华为云测试计划CodeArts TestPlan

华为云PaaS服务小智

云计算 开发者 软件开发 华为云

产品能力|AIRIOT数据采集与控制引擎在物联网项目中的硬核应用

AIRIOT

物联网

面试了一个前阿里P7,Java八股文与架构核心知识简直背得炉火纯青

程序员小毕

程序员 后端 高并发 架构师 java面试

《巫师》系列游戏及《赛博朋克2077》本地化总监 Mikołaj Szwed 将出席 2023 中国游戏开发者大会(CGDC)

CGDC中国游戏开发者大会

本地化 游戏开发 ChinaJoy

免费开源项目管理工具有哪些

PingCode

项目管理 项目管理软件

走进用友BIP数智人力,揭开中国企业智慧管理的神秘面纱

用友BIP

数智人力

如何用低代码开发平台快速实现单据打印功能?

力软低代码开发平台

Spring Cloud 如何引入云原生网关,创新微服务架构

阿里巴巴云原生

阿里云 微服务 云原生 Higress

数智时代的守护者:低代码开发平台如何解决AI安全挑战?

快乐非自愿限量之名

AI 低代码 数智时代

Postman Test 校验入门指南:轻松进行接口测试并验证响应

Liam

Java 程序员 Postman 开发工具 API

未来已来!探索AI医疗与低代码开发平台:引领健康浪潮的科技巨潮

不在线第一只蜗牛

人工智能 医疗健康领域 AI医疗

【汽车虚拟仿真】VR技术如何加速自动驾驶进程?

3DCAT实时渲染

虚拟仿真 云仿真 汽车虚拟仿真

全球化数字经济时代,国产替代成为重中之重!

用友BIP

国产替代

是时候了!MySQL 5.7 的下一站,不如试试 TiDB?

编程猫

高可用只读,让RDS for MySQL更稳定

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

活动预告|周五晚,一起来看图数据库如何为构建行业大模型降本增效

悦数图数据库

图数据库 AIGC AI大语言模型

参展有礼|华秋电子诚邀您参加2023慕尼黑上海电子展

华秋电子

广州丨阿里云 Serverless 技术实战营邀你来玩!

阿里巴巴云原生

阿里云 Serverless 云原生

保险业务连续性保障:从测试到生产,混沌平台建设节奏如何把控?

TakinTalks稳定性社区

一文吃透MAUI、WinUI3和WPF的优势及劣势

这我可不懂

WPF MAUI

低代码——前端开发人员的利器

伤感汤姆布利柏

PoseiSwap IDO、IEO 结束,即将登录 BNB Chain

威廉META

教你如何用Vue3搭配Spring Framework

华为云开发者联盟

前端 开发 华为云 华为云开发者联盟 企业号 6

软件测试/测试开发丨接口测试学习笔记分享

测试人

Python 程序员 软件测试 接口测试 Mock

让沉寂的数据“活”起来,用友BIP资产云提升港口企业决策效率

用友BIP

港口 资产云

阿里端侧 AI 从探索尝试到逐步展开_大前端_吕承飞(吕行)_InfoQ精选文章