AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

详解 Facebook AI 小样本学习技术突破 FSL,向更有效学习的类人人工智能迈进

  • 2022-02-16
  • 本文字数:2762 字

    阅读完需:约 9 分钟

详解Facebook AI 小样本学习技术突破FSL,向更有效学习的类人人工智能迈进

有害的内容可以迅速发展——无论是由当前的事件推动的,还是由寻找新方法来逃避我们系统的人推动的——而人工智能系统与之一起发展,至关重要。然而,人工智能要学会如何去寻找,往往要花上数月的时间,才能收集并标记数以千计,甚至数以百万计的必需实例,以便让每一个人工智能系统都能发现一种新类型的内容。


为了克服这一瓶颈,我们构建和部署了一种名为 Few-Shot Learner(FSL)的新型人工智能技术,它能够在数星期之内,而非数个月之内,针对新的或者不断变化的、有害的内容类型采取行动。它不但可以用于 100 多种语言,还可以从各种数据中学习,比如图像和文本。它可以加强已部署的现有人工智能模型,从而检测其他类型的有害内容。



这种新的人工智能系统使用了一种相对较新的方法,称为“小样本学习”(few-shot learning),即模型通过大量的、一般性的理解,再通过少量的、在某些情况下为零的标记样本,来学习新任务。如果说传统的系统类似于可以钓上某种鱼类的鱼线,那么 FSL 就是一张额外的渔网,可以捕捞其他鱼类。


近来的科技突破,例如我们的自监督学习技术以及新型超效率的基础设施,使得这个领域从传统的、定制的人工智能系统转向更大、更综合、更通用的系统,减少对标记数据的依赖。首先,它从数以十亿计的通用和开源语言样本上进行训练。接着,我们用多年来标记的违反策略的内容和边界内容对人工智能系统进行了训练。最后,对解释新策略的压缩文本进行了训练。与以往依靠标记数据进行模式匹配的系统不同,FSL 是基于通用语言以及违反策略和边界内容语言进行预训练的,因此它可以隐式地学习策略文本。


我们已经在一些相对较新的事件上测试了 FSL。举例来说,最近的一项任务就是,识别分享误导性或耸人听闻的信息的内容,其方式很可能会阻止新冠肺炎疫苗的接种(例如,“疫苗或 DNA 改变器?”)。在另一项独立的任务中,新的人工智能系统对现有的分类器进行了改进,标记出接近煽动暴力的内容(例如,“那家伙需要所有的牙齿吗?”)。传统的方法可能会漏掉这类煽动性帖子,因为没有太多标记的样本使用 DNA 的语言来制造疫苗恐慌,或者引用牙齿来暗示暴力。



为了测量这个模型的性能,我们制定了一个标准的离线和在线 A/B 测试协议。这些测试中,在 Facebook 和 Instagram 上应用 FSL 前后,我们对有害内容的流行率(即人们看到的违规内容的浏览比例)进行了研究。Meta AI Few-shot Learner 可以准确地检测那些在传统系统中漏掉的帖子,并且有助于降低这类有害内容的流行。它通过主动检测潜在的有害内容,从而阻止其在我们的平台上扩散。我们也发现,FSL 与现有的分类器相结合,有助于降低诸如仇恨言论等其他有害内容的泛滥。


我们还在做更多的实验,来改善能够从更多标记的数据中获益的分类器,例如,在没有大量标记训练数据的语言的国家中,我们会继续对这些新的违反内容模式进行测试。当然,这些都是智能、通用的人工智能的雏形。


在人工智能可以读懂几十页的策略文本,并且立刻就能明确地了解它的具体实施方法之前,要实现这一目标,任重而道远。我们一直在推动人工智能技术的发展,并尽快进行部署,以更好地服务于我们的社区,我们相信 FSL 将会是一个非常有前途的发展。

引擎盖下的小样本学习


Few-Shot Learner 是一个大规模、多模态、多语言、零样本或小样本的模型,可以理解联合策略和内容,可以在不调整模型的情况下,对完整性问题进行概括。我们正在积极开展研究,以训练使用简单的策略语句而非数百个有标记的样本的模型。


我们的新系统在三种不同的场景下工作,每个场景都需要不同级别的标记的样本:


  • 零样本:没有样本的策略描述。

  • 有示范的小样本:有少量样本的策略描述(少于 50 个)。

  • 带有微调的小样本:机器学习开发者可以在 FSL 的基础模型上进行微调,训练的样本数量很少。


FSL 的整体投入由三部分组成。首先,在我们以前使用整帖的完整性嵌入(Whole Post Integrity Embeddings,WPIE)的工作基础上,它从整个帖子中学习多模态信息,包括文本、图像、URL 等。第二,它分析与策略相关的信息,如策略的定义,或表明某一特定帖子是否违反该策略定义的有标签的样本。第三,如果有的话,我们还采取额外的标记样本作为示范。


作为我们的新方法的一部分,即所谓的 Entailment Few-Shot Learning,其关键思想是将类别标签转换成可用于描述标签的自然语言句子,并确定该例子是否蕴含标签描述。例如,我们可以重新表述一个明显的情感分类输入和标签对。


[x : “我爱你的种族。JK。你们都应该去死。”y : 积极] 作为下面的文本蕴含样本:


[x : 我爱你的种族。JK。你们都应该去死。这是仇恨言论。 y : 积极]。


我们将我们提出的方法与目前已有的一些最先进的小样本学习方法进行了比较。经过一系列的系统评估,我们发现我们的方法比各种最先进的小样本学习方法高出 55%(平均为 12%)。在这里https://arxiv.org/pdf/2104.14690.pdf ,可以阅读我们研究论文的全部细节。

弥合策略创建和机器学习驱动的自动执行之间的差距

我们相信,随着时间的推移,FSL 可以提高我们所有的完整性人工智能系统的性能,让它们利用单一的、共享的知识库和主干来处理许多不同类型的违规行为。但是,它也可以帮助人们在策略、标签和调查工作流方面,弥补人类洞察力和分类器进步之间的差距。


FSL 可用来检测出一组新的可能的策略违规行为,并理解所提出的定义的合理性和有效性。它投下了一张更广泛的网,浮现出更多类型的“几乎”内容违规,策略团队在决定或制定训练新分类器的注释者,以及帮助保持我们平台安全的人类审查员的规模指导时,应该了解这些内容。由于它扩展迅速,从策略制定到执行的时间将缩短几个数量级。

向能更有效学习的类人人工智能迈进

能够迅速开始对没有大量标记的训练数据的内容类型进行强制执行是向前迈出的一大步,这将有助于使我们的系统更加灵活,并对新出现的挑战作出反应。


小样本学习和零样本学习是我们一直在进行重大研究投资的许多前沿人工智能领域之一。而且我们没有看到对生产管道的研究放缓的迹象。我们正致力于一些重要的开放研究,这些研究问题不仅要了解内容,还要从文化、行为和对话环境中推理。


虽然还需要完成大量的工作,但是,这些初期的生产成果已经成为了一个具有里程碑意义的标志,它将会向一个更智能、更通用的人工智能系统过渡,能够在同一时间内完成多种任务。


我们的长远目标是,实现类似人类的学习灵活性和效率性,让我们的完整性系统更快、更容易训练,并能更好地处理新信息。像 Few-Shot Learner 这样的可教人工智能系统可以大幅提高我们检测和适应新情况的能力的敏捷性。通过更快、更准确地识别不断演变的有害内容,FSL 有望成为一项关键的技术,帮助我们继续发展和解决我们平台上的有害内容。


原文链接:


https://ai.facebook.com/blog/harmful-content-can-evolve-quickly-our-new-ai-system-adapts-to-tackle-it

2022-02-16 15:486018
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 570.8 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

牵手华为云,云时通SRM助力企业采购数字化升级!

创意时空

玩转KubeEdge保姆级攻略

乌龟哥哥

8月月更

长安链国密TLS设计和实现学习

每日一R「20」网络编程(二)

Samson

学习笔记 8月月更 ​Rust

加速拥抱数字化,云时通打造全新数字中台!

创意时空

使用 ECK 在 Kubernetes 集群中管理 Elastic Stack

Se7en

C/C++模板类模板与函数模板区别,以及用法详解

CtrlX

c c++ 面向对象 模板方法 8月月更

Apache DolphinScheduler 简单任务定义及复杂的跨节点传参

白鲸开源

工作流调度 海豚调度 调度器 大数据调度 任务传参

长安链RPC服务学习笔记

长安链

学习 Go 语言数据结构:实现哈希表

宇宙之一粟

哈希表 8月月更

乘云远航|共赢新征程,打造数字化供应链竞争力!

创意时空

React Spring实战之API以及animated 组件的运用

恒山其若陋兮

8月月更

【Python | 词云】聊天记录绘制超美词云(七夕快乐 ,曾同学)

计算机魔术师

8月月更

飞向深空:ColorOS 超算平台带来性能之变

脑极体

职场人的未来,GO!咱们上云办公

创意时空

【实践】手把手带你实现JWT登录鉴权

迷彩

分布式 微服务 前后端分离 JWT 8月月更

Spring源码解析(四)Spring是怎么处理BeanDefinition的?

石臻臻的杂货铺

spring 源码 8月月更

上了NVMe的路,才能飙起全闪存的车

白洞计划

一文快速上手 Nacos 注册中心+配置中心!

王磊

Java SpringCloud

如何正确理解Java对象创建过程,我们主要需要注意些什么问题?

PivotalCloud

日常工作最常用6大Git命令讲解

流浪的漂流瓶

git git stash 8月月更 git命令

直播预告 | Homebrew 作者 Max Howell:如何打造杰出的开发者工具

思码逸研发效能

开源 研发效能 开发者工具 开发工具 科技

「35分钟」开发刷题功能

小鑫同学

前端 H5 数据分析、 分页查询 开发.

【云原生| Docker】 部署 Django & mysql 项目

计算机魔术师

8月月更

【Django | 开发】 为已有遗留系统数据库生成管理后台

计算机魔术师

8月月更

长篇图解etcd核心应用场景及编码实战

字母哥哥

Java etcd #Kubernetes#

一文详解产品经理与项目经理的区别

产品海豚湾

产品经理 职业发展 项目经理 产品设计与思考 9月月更

【操作系统 | Linux】介绍与安装(虚拟机)

计算机魔术师

8月月更

详解Facebook AI 小样本学习技术突破FSL,向更有效学习的类人人工智能迈进_AI&大模型_Meta AI_InfoQ精选文章