红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

3 年做到业界领先,OPPO 小布助手靠什么实现跨越?

  • 2022-03-04
  • 本文字数:5888 字

    阅读完需:约 19 分钟

3年做到业界领先,OPPO小布助手靠什么实现跨越?

10 年前,苹果发布其智能语音助手 Siri,开启了人机交互新时代。


此后十年,巨头纷纷入场,诞生了 Google Assistant、亚马逊 Alexa、百度度秘、天猫精灵、小爱同学、OPPO 小布助手和 vivo Jovi 等智能助手,整个行业变得热闹起来。与此同时,人工智能技术的大阔步前进,驱使着智能助手不断进化,从“智障”迈向智能。


纵观整个智能助手市场,OPPO 小布助手有点“不一样”:它出现比较晚,但发展迅猛,成绩突出


OPPO 小布助手 2019 年诞生,到 2021 年底,它已经累计搭载 2.5 亿设备,月活用户数突破 1.3 亿,月交互次数达 20 亿,成为国内首个月活用户数破亿的手机语音助手。出色的成绩也让 OPPO 小布助手一跃成为国内新一代智能助手的代表。


智能助手的关键是对话交互,而对话交互的核心能力之一是算法。算法决定了智能助手能达到的智能化水平,具有极高的技术挑战与价值。作为新一代智能助手代表,OPPO 小布助手的 AI 算法有何特点?过去三年,其 AI 算法如何演进?...... 为弄清上述问题,InfoQ 记者采访了 OPPO 小布助手首席研究员杨振宇博士。


OPPO 小布助手首席研究员杨振宇博士

从学术界到工业界的 AI 算法专家


2018 年,杨振宇加入 OPPO,主导小布助手 NLP 与对话算法系统建设。此前,他曾在华东师大、国防科大担任讲师。


在他看来,AI 算法领域,学术界和工业界的侧重点存在差异。学术界关注的是“你是针对新问题给出了一种很好的解决方案,还是针对老问题提供了一种有突破性的新解法”,面向的问题一般都是高度抽象化的、具有代表意义的。而工业界面对的问题则更实际些,它存在很多约束条件和资源限制,关注的是“你能不能综合所有受限资源提供可带来显著收益的解决方案”。



随着 AI 基础设施的逐渐成熟,学术界和工业界的差异在缩小,前沿算法应用落地的节奏在加速。以超大模型为例,这个领域,工业界反而走得比较靠前。


“有工业界积累的数据后,你就可以快速地进行验证,不像以前,一篇论文可能要在理论阶段停留数年,甚至十年或二十年,才能有机会等到其基础设施成熟,从而进行工业验证,再大规模应用”。


杨振宇对 InfoQ 表示,“现在,AI 基础设施已经非常完善,这为大规模应用带来了土壤,提供了很大便利性。另外,工业界也有一些诉求,因为竞争越来越激烈,大家希望可以更激进地引入一些新技术,带来一些差异化的竞争力”。


相比学术界,工业界在 AI 算法领域积累了与实际场景吻合的大量数据,面向真实案例的研究会更便利,而且在算力方面一般也能得到更好地支持。

小布助手,从 0 到 1


工业界在 AI 算法领域的优势和便利吸引杨振宇投身企业。他入职 OPPO 后,带领团队主导小布助手 NLP 与对话算法能力的建设。作为对话式 AI 产品,小布助手的交互流程与行业主流产品一致,由唤醒、语音识别、语义理解、对话管理、对话生成,以及语音播报多个环节组成



整个流程中,核心在于“用户可以方便地唤醒小布助手,小布助手不仅能听得清用户的话,而且还能听懂用户的诉求并给出令人满意的响应”。其中,每个环节对 AI 算法的依赖都比较强,算法的效果直接影响用户的体验。


2019 年 4 月,杨振宇所在团队快速构建并上线了小布助手第一个版本。当时的首要目标是尽快构建一个可面向用户的产品,再通过用户的实际使用促进产品的快速迭代。那么,如何快速构建一款智能助手产品?他们以快速组装为主,引入很多外部 AI 技术。但是,问题随之而来,由于很多环节都单独引入一些技术,导致各个环节相对割裂,相互之间的适配效果也不是很理想,从端到端看,效果的折损比较大。


其次,小布助手的第一个版本技能覆盖面也比较窄,主要是用户的高频、刚需的技能,比如对设备的一些基础操作控制。杨振宇表示,“更多的垂直域和开放域的技能,要么没来得及建设,要么建设了没精细打磨,体验不佳”。


他说:“在语义理解和对话交互上,当时我们做得很浅,也有很多不完善的地方。比如,针对一些问题的回答,会经常跳到浏览器,通过传统搜索的方式,把结果展示给用户。这会让用户觉得智能助手的体验比较割裂。”


那时,在对话交互上,他们使用了一些比较简单的算法。由于这些算法的效果天花板比较低,虽然能简单高效地解决一些问题,但是如果想获得更好的效果,它们明显会存在一些局限性,比如即使补充更多的数据,它们也会存在拟合能力不足等问题。另外,它们还表现出泛化能力比较脆弱的一些缺陷,“纯粹从量化评测指标看,它们能做到 90 分,甚至超过 90 分。但是,拿到实际场景中试验,面对大量用户的口语化表达时,效果就不是很好。因为实际场景要复杂得多,比如用户各种非标准的表达方式、环境噪声带来的输入干扰等”。

三年,小布助手 AI 算法的不断进化


第一个版本出来后,团队继续优化 AI 算法,不断迭代小布助手。据杨振宇介绍,小布助手 AI 算法的发展大致可从广度和深度两个维度看。


广度上,从指令型的操控类技能,拓展到到垂域资源型的技能(如音乐、影视等),以及开放域的技能。具体说来,指令型技能相对简单,因为用户输入往往已经包含足够的信息,智能助手可以判断出用户想干什么,比如打电话还是发短信,或者打开某个功能设置等。针对指令型技能,他表示,“使用教科书上的一些算法基本就能搞定,效果还不错”。


垂域资源型技能相对复杂些。既要基于用户输入的信息,也要结合一些领域知识,智能助手才能做出准确的判断,比如结合知识会发现“原子弹”原来还是一首歌。因此,智能助手只有具备领域知识,才能做出更准确的判断。


当然,最复杂的还是开放域。以知识问答为例,杨振宇他们正在持续建设中,但眼下还没有一个非常完美的解决方案,这也是行业存在的普遍问题。因为用户的问题五花八门,涉及各种各样不同的学科和领域,仅用单一算法很难解决所有问题,因此要融合多种技术手段。杨振宇解释,有些属于结构化问题,要基于知识图谱才能回答,比如询问姚明的身高、刘德华的年龄等;另一些问题要依赖大量问答库的积累,然后基于问答库做检索匹配等。此外,开放域聊天也存在很大的技术挑战,不仅要聊得相关,还要贴心、有趣,甚至有情感。


深度上,小布助手 NLP 与对话算法经历了从规则引擎、简单模型到强深度学习,再到预训练模型几个阶段。早期以规则引擎为主,优势是简单可控,缺点是天花板比较低。后来,过渡到强深度学习的方案,“以 CNN、RNN、Transformer 为代表的深度学习算法,我们都有实践、评测和落地的方案,效果提升了一个大台阶”。


现在,预训练模型备受他们关注。随着预训练模型在工业界应用的突破,杨振宇他们做了一些技术升级,在很多方向取得不错突破,比如面对特别复杂的百科,基于预训练模型做问题识别,取得一些非常显著的收益。


在小布助手不断演进过程中,杨振宇也坦承,他们遇到过不少挑战。对话系统并非单纯的算法问题,更多是系统架构的挑战。因为对话系统是一个系统工程。比如海量用户有多样化的复杂需求,针对这些需求如何高效迭代。这是一个很大的挑战。为解决这个问题,杨振宇他们采用分治和抽象统一的解决方案,针对不同设备、不同场景的数百项技能,按业务特点进行解耦,形成系统服务、泛娱乐、生活服务、知识问答、开放聊天等多个子业务,每一个子业务可以相对独立建设,高效迭代。


其次,他们早期采用一些定制方案来进行技能建设。但随着技能的增多和长尾技能的增加,这对研发人员的消耗很大,因此,他们后来引入平台化解决方案,构建了小布自己的技能平台和开放平台,让非技术人员、外部合作伙伴也能参与技能建设,降低研发门槛和成本。


具体到一些技术问题,比如语义理解,挑战在于目前算法还不能完美理解用户口语化的表达,总会遇到一些 badcase,“一旦出现 badcase ,用户可能就会质疑智能助手的智商,进而失去兴趣不太愿意再去使用”。得益于深度学习的发展,近几年业界出现了一些相对成熟的方案,不过深度学习方案也同样并非完美。因此,综合考量下,他们以深度学习的方案为主,保障基本面,再辅助一些传统的规则与策略来解决边角问题,最终让语义理解的效果整体相对较好、可控。而开放域问题则更复杂,因为这个领域特别广,“像聊天,用户可能希望助手可以给他解闷,有时也希望你能安慰他,甚至陪他玩点游戏,这就比较难处理。针对这些问题,我们针对性的通过检索式与生成式相结合的方式,提升话题覆盖的多样性。另外为提升智能性,我们也构建了记忆机制,让小布能记住曾经和用户交互过的内容,并影响后续的交互”。

多轮对话与多模态


过去几年,智能助手的发展有两大趋势:一是从单轮对话到多轮对话,二是从单模态到多模态。这两大趋势,标志着智能助手的巨大进步,并对 AI 算法有着完全不同的要求。


从单轮对话到多轮对话,意味着人机交互向前迈出一大步,但是复杂度也大大提升。在单轮对话中,每一轮对话拿到的信息比较完整,无论是识别用户意图,还是提取 Query 中的关键信息,比如人名、地名、歌名等,都能从源数据中获得。多轮对话则有所不同,这种对话方式中,用户不可避免地会对前面的对话进行省略、指代,此时理解用户当前这句话,要结合历史交互的信息,这时处理起来就相对比较复杂。


另外,在对话管理上,多轮对话也带来很大挑战。杨振宇指出,单轮对话一般不涉及特别复杂的策略,可能会有技能间的跳转,但也不会特别复杂。但是,多轮对话,要根据用户交互过程来处理这个流程,让它显得更自然、更流畅,难度很高。


此外,在多轮对话场景中,经常遇到用户不按套路出牌的情况。此时,如何应对变得非常重要,需要有一些灵活的过渡方案。



在多模态方向,复杂性同样是个巨大挑战。在输入上,单模是基于语音来理解用户诉求,一般流程是把语音转换成文本,再理解文本,从字面上分析用户意图。


升级多模态后,其信息量明显增大,既有语音,也有用户表情、肢体语言等,输入信息大大丰富。杨振宇指出,理论上,智能助手对用户意图的理解应该更准确。输出方面也类似,既可以用声音呈现,也可以用视觉形象展现。


这样,输入输出都会变得更复杂。一方面,其算法模型本身的容量要更大,以支撑更强的建模拟合能力需求,另外也需要更综合和更大量的优质数据支撑。不像单模态,通过少量数据样本就能获得相对可控的基于文本理解的信号。


现在,多模态对数据的要求也更高。并且,模型复杂度提升后,它在算力上的要求也会更高。甚至,它对端侧算力的要求也更高,比如多模态下,每个用户与智能助手交互时,可能会处在不同的阶段,很难低成本地做到全部通过云端渲染再推到端上,无论是交互的及时性,还是对网络流量带宽的要求,都不太现实。有些渲染的实现可能还依赖端侧算力的支撑,“对应的,也需要我们一些算法模型要有端侧适配的能力”。

创新、佳绩与隐私


通过三年的研究与沉淀,小布助手在对话交互的 AI 算法方面形成自己的创新。


据杨振宇介绍,小布助手起步相对较晚。与行业里的老大哥相比,典型的区别是“早期智能助手可以看成是搜索技术的延续和积累,其技术架构多少有搜索技术的影子。这时,它不可避免地会受到历史包袱的影响。而小布助手不同,在开始投入时,深度学习技术已经相对比较成熟,使得他们有机会来构建强深度学习驱动的对话系统。它不仅没有之前的历史包袱,而且其效果的天花板理论上更高。”


没有历史的包袱,让小布助手在 AI 算法上可以快速前进,采用成熟技术,试点前沿技术,这样迭代更快,效果更好。


此外,他们考虑到对话系统的一个典型特征是较难获得用户的反馈。


他说:“智能助手与用户交互,无论用户满意还是不满意,他一般都是用完即走,不会给你直接的反馈。它不像搜索推荐,通过点击、时长等行为数据获得直接反馈,再促进算法模型改进。为了应对这个问题,我们构建了一个自学习系统,通过它获得信号,促进算法更高速、更有效的迭代,让智能助手的效果越来越好。”



那么,小布助手的能力在行业处于何种水平?2020 年 12 月,小布助手的语义理解模型在行业最权威的中文语言理解测评基准(CLUE)总排行榜上位列前五,该语义由分类、文本相似度、阅读理解、上下文推理等多类共 10 个子任务组成。小布助手在文本相似度、上下文推理、成语阅读理解三个子任务上获得最高分,进入行业第一梯队。


三年,从 0 开始,水平做到行业前列,实属不易。针对这个成绩,杨振宇觉得“并不算特别突出”,参与这个排行榜主要是“想验证我们的技术水平和行业的差距怎么样”。他认为,应该保持持续快速的学习和进步。


据他透露,过去一年多,他们做了几件事,让小布助手效果得到较大提升。一是利用小布助手积累的海量用户数据,获得口语化的语言数据,促进算法模型对智能助手场景的语言有更好的理解。其次,团队保持着开放的成长型的心态,及时跟进学术界和工业界的最新进展,并加以实践,“结合我们自己的业务场景做适配和改进”。此外,小布助手与外部组织机构建立了广泛连接,比如清华大学、北京智源人工智能研究院等,让团队有更多的外部输入。最后,坚定地在最新预训练模型方向进行投入,完成了基础语料数据和算法的积累,并在实际场景中探索落地应用。


在采访中,杨振宇也谈到 OPPO 对用户隐私的敬畏。他说:“对 OPPO 来说,我们的要求非常高,一方面用户隐私安全是一个优先级非常高的红线,另一方面也是团队发自内心的对用户隐私的尊重。”具体而言,小布助手会从几个方面保护用户隐私安全。


第一,明显详细的用户隐私安全告知,只有用户确认后,才能使用智能助手与用户交互过程中产生的数据。


第二,对云端存储的数据进行严格脱敏。比如无法长期存储用户的语音数据,虽然这可能会给算法优化升级带来困难。实际工作中,他们会利用如数据增强的方式,用假数据拟合真实数据保证算法模型训练时不太受影响。


第三,针对必须要用到用户数据的场景,他们会限定采用一些端侧方案,确保用户隐私数据不会被上传和泄漏。

未来:持续探索,让智能助手更人性化


提到未来,杨振宇认为高智能的助手一定要懂情感,其交互过程能融合情感。通过情感,可以产生更好的信任度,让用户和助手间的黏性更高,让交互从低阶走向高阶。在这方面,他认为小布助手还需继续努力。


“从用户的行为和表达中分析其情感倾向,在交互中附加一些情感等,这些工作虽已落地,但远未达到水乳交融的状态。我们希望未来在情感方面做得更系统化、更有表现力”。


其次,在记忆方面有更深的建设与探索。在他看来,记忆是非常重要的一个体现人性化的智能维度,“虽然我们有一些探索,但还有很大的发挥空间。希望通过记忆技能,让用户与助手交互时有亲切感。它是专门为我服务,了解我的喜好和习惯,对用户有‘润物细无声’的影响”。


此外,在多模态方向,他们也会持续探索,通过更拟人化的形象,让助手与用户间的交互更有趣,更有表现力。同时提供一些个性化能力,让用户可以构建自己喜欢的智能助手形象。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2022-03-04 14:425451
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 333.0 次阅读, 收获喜欢 1794 次。

关注

评论 1 条评论

发布
用户头像
非常难用
2022-03-07 07:35
回复
没有更多了
发现更多内容

【重磅官宣】UDC2022:解码Z世代、力造科技潮生活

科技热闻

SphereEx 中文开源社区正式开站!精美礼品等你来拿

SphereEx

开源社区 ShardingSphere SphereEx Apache ShardingSphere 中文开源

恒源云(GPUSHARE)_云GPU服务器如何使用 TensorBoard?

恒源云

深度学习

华为初面+综合面试(Java技术面)附上面试题,share给大家~

Java 编程 程序员 面试

Flink Sort-Shuffle 实现简介

Apache Flink

大数据 flink 实时计算

(文末福利)云上论剑,谈谈如何构建新的数据系统技术体系

Zilliz

数据库

直接破防了,阿里大咖DDD(领域驱动设计)不破不立,GitHub直接霸榜,今天share给大家~

编程 程序员 领域驱动

【云图说】DRS数据对比——带您随时观测数据一致性

华为云数据库小助手

GaussDB 华为云数据库 华为云DRS

勒索软件即服务与IAB产业浅析

腾讯安全云鼎实验室

安全攻防 勒索病毒

CODING Compass —— 打造行云流水般的软件工厂

CODING DevOps

DevOps 研发管理工具 流程化

Forrester发布「2021年低代码平台中国市场现状分析报告」,钉钉宜搭入选

一只大光圈

低代码 数字化转型 低代码开发 低代码平台 钉钉宜搭

gitlab registry占用存储过大问题解决

ilinux

Linux应该怎么学?《Linux一学就会》教你如何学习Linux

侠盗安全

Linux linux运维 云计算架构师

手写自定义迭代器,秒懂迭代器底层原理

Tom弹架构

Java 架构 设计模式

同城本地生活信息服务软件开发你知道多少?

风行无疆

编解码再进化:Ali266 与下一代视频技术

阿里云视频云

阿里云 音视频 视频编码 视频编解码 视频云

自定义View:如何实现双击点放大图片控件

Changing Lin

11月日更

Python Qt GUI设计:信号与槽的使用方法(基础篇—7)

不脱发的程序猿

Python qt PyQt GUI

敏捷开发框架

PingCode

Scrum 敏捷开发 PingCode

数据基础设施支撑电力人工智能:新能源集控智能管理

EMQ映云科技

人工智能 物联网 电力

在线问诊系统功能以及快速发展的意义

风行无疆

NodeJs 深入浅出之旅:V8 内存分配🧙‍♂️

空城机

大前端 Node 11月日更

浅谈网络性能之端到端业务质量分析

鲸品堂

运营商

何止一个惨字形容,水滴Java面试一轮游,壮烈了,问啥啥不会,数据库血崩,我该怎么办?

Java 编程 程序员 面试

浏览器的几种防护策略

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

墨天轮国产数据库沙龙 | 胡彦军:华为GaussDB迁移工具解密

墨天轮

数据库 华为云 GaussDB 国产数据库

2022第十五届北京国际智慧城市、物联网、大数据博览会

InfoQ_caf7dbb9aa8a

识别AI换脸!百度这项技术夺冠了!

百度开发者中心

AI

成为弹唱高手的秘诀!看这一篇就足够!

懒得勤快

恒源云(GPUSHARE)_云GPU服务器如何使用 JupyterLab?

恒源云

深度学习

全能文件恢复软件推荐

淋雨

数据恢复

3年做到业界领先,OPPO小布助手靠什么实现跨越?_AI&大模型_万佳_InfoQ精选文章