【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

微软提出新 AI 框架 MWSS,假新闻识别率优于最先进的基准

  • 2020-04-17
  • 本文字数:1655 字

    阅读完需:约 5 分钟

微软提出新AI框架MWSS,假新闻识别率优于最先进的基准

不久前,微软和亚利桑那州立大学的研究人员在预印本平台 arxiv.org 上发表了一项研究论文,他们提出了一种人工智能框架: Multiple sources of Weak Social Supervision(MWSS),利用参与度和社交媒体信号来检测假新闻。他们声称,经过在真实数据集上训练和测试,该模型在假新闻早期检测方面的表现优于一些最先进的基准。


如果该系统的正确率真的如作者声称的那样,并投入生产,它将有助于阻断虚假和误导性信息的传播,这些信息涉及美国总统候选人和其他有争议的话题。布鲁金斯学会(Brookings Institute)在 2018 年进行的一项调查发现,57% 的美国成年人在 2018 年大选期间曾遇到假新闻,19% 的人认为假新闻影响了他们的投票决定。


该论文的共同作者解释说,学术文献中的许多假新闻分类器依赖的信号需要很长时间才能聚合,这使得它们不适用于假新闻的早期检测。此外,有些分类器仅仅依赖于信号,而这些信号容易受到有偏见或不真实的用户反馈的影响。


相比之下,他们的新系统从多个来源进行监督,包括用户和他们各自的社交活动。具体来说,它利用少量手动标签的数据和大量弱标签的数据(即带有大量噪声的数据),用于元学习人工智能框架中的联合训练。


一个名为 Label Weighting Network(LWN)的模块,对调节假新闻分类学习过程的弱标签的权重进行建模,将研究人员所指的内容作为一个实例——例如(新闻片段)以及标签作为“输入”。它为“表示对”输出一个代表重要性权重的值,该值决定了该实例在训练假新闻分类器时的影响。为了在不同的弱信号之间共享信息,共享特征提取器与 LWN 一起工作,来学习共同的表示方法,并使用函数将特征映射到不同的弱标签源。



微软人工智能框架与各种基准模型的性能对比图


微软研究人员利用开源的 FakeNewsNet 数据集对他们的系统进行了基准测试,该数据集包含新闻内容(包括正文等元属性),并带有来自事实核查网站 GossipCop 和 PolitiFact 的专家注释的标签,同时还包含了社交背景信息,如有关该新闻文章的推文。他们使用 13 个来源的语料库对系统进行增强,其中包括英国主流新闻媒体,如英国广播公司(BBC)和天空新闻(Sky News),以及俄罗斯新闻媒体的英文版,如 RT 和 Sputnik,内容大多与政治有关。


为了生成弱标签,研究人员测量了分享新闻的用户的情感评分,然后确定这些得分之间的差异,这样,情绪差异很大的文章就会被注释为假新闻。他们还生成了一组具有已知公众偏见的人群的数据,并根据用户的兴趣与这些人群的匹配程度来计算得分,其背后的理论是,有偏见的用户分享的新闻更有可能是假新闻。最后,他们根据社交媒体上的元信息对用户进行聚类,以此来衡量用户的可信度。这样一来,那些形成大型聚类的用户(这可能表明是僵尸网络或恶意活动)的用户就被认为可信度较低。


在测试中,研究人员表示,性能最好的模型结合了 Facebook 和 RoBERTA 自然语言处理算法,并针对干净和弱数据的组合进行了训练,在 GossipCop 和 PolitiFact 中检测出假新闻的正确率分别为 80% 和 82% 。


该团队计划在未来的工作中探索其他技术,如获得高质量的弱标签的标签校正方法。他们还希望对这个框架进行扩展,以考虑来自社交网络的其他类型的弱监督信号,利用参与的时间戳。


当然,这些研究人员并非唯一试图利用人工智能来阻断假新闻传播的人。


在最近的一项研究中,麻省理工学院计算机科学与人工智能实验室开发了一种人工智能系统,可以识别误导性的新闻文章。去年年底,Jigsaw 发布了 Assembler,这是一款为媒体机构提供的人工智能假新闻识别工具套件。AdVerif.ai 是一个软件即服务的平台,去年推出了 Beta 测试版,它分析文章中的错误信息、成人内容、恶意软件和其他有问题的内容,并交叉引用一个定期更新的数据库,其中包含数千条假新闻和合法新闻。就 Facebook 而言,它已经试验了部署人工智能工具来“识别账户和假新闻”。

作者简介:

Kyle Wiggers,技术记者,现居美国纽约市,为 VentureBeat 撰写有关人工智能的文章。


原文链接:


https://venturebeat.com/2020/04/10/ai-training-helps-remote-controlled-buggy-negotiate-rugged-terrain/


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-04-17 07:001412
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 489.7 次阅读, 收获喜欢 1966 次。

关注

评论

发布
暂无评论
发现更多内容

北京云管平台采购选哪家?为什么?多少钱?

行云管家

云计算 多云管理 云管平台 云管平台厂商

Vue-缓存路由组件

张三丰无极

6 月 优质更文活动

微服务高并发概念与核心类:了解Sentinel的一些概念

互联网架构师小马

Java 微服务 sentinel

RALB负载均衡算法的应用 | 京东云技术团队

京东科技开发者

负载均衡 算法 cpu 限流 搜索推荐

Vue-搭建Vuex开发环境

张三丰无极

6 月 优质更文活动

Vue-插槽(slot)的使用

张三丰无极

6 月 优质更文活动

充分结合AI后的数智平台能做什么?

用友BIP

数智平台

微服务高并发概念与核心类:资源指标数据统计相关类

互联网架构师小马

Java 微服务 sentinel

vuex-getters配置项

张三丰无极

6 月 优质更文活动

Vuex的基本使用

张三丰无极

6 月 优质更文活动

提示工程七巧板:让ChatGPT发挥出最佳性能

博文视点Broadview

Vue-路由传递query参数两种方式

张三丰无极

6 月 优质更文活动

vuex中的四个map方法的使用

张三丰无极

6 月 优质更文活动

分布式数据库 Join 查询设计与实现浅析 | 京东云技术团队

京东科技开发者

MySQL 数据库 elasticsearch join 企业号 6 月 PK 榜

Vue路由使用的几个注意点

张三丰无极

6 月 优质更文活动

Vue路由的基本应用

张三丰无极

6 月 优质更文活动

Meetup 报名|06.17 StarRocks & Friends 与你相约上海

StarRocks

数据库 大数据 OLAP Meetup 线下活动

微服务架构中的数据一致性:解决方案与实践| 得物技术

得物技术

微服务 数据一致性

Vue-<router-link>的replace属性

张三丰无极

6 月 优质更文活动

如何在VMware Workstation虚拟机上快速部署AntDB社区版

亚信AntDB数据库

数据库 AntDB数据库 企业号 6 月 PK 榜

普通Java工程师如何成长为一名优秀的架构师?

程序员小毕

程序人生 高并发 架构师 java程序员 java面试

Vue-嵌套(多级)路由

张三丰无极

6 月 优质更文活动

微服务高并发基础知识:Sentinel性能压测

互联网架构师小马

Java 微服务 sentinel

Vue-路由的params参数

张三丰无极

6 月 优质更文活动

MIAOYUN“一云多芯”解决方案获评2023西部信创优秀解决方案

MIAOYUN

解决方案 信创 信创生态 MIAOYUN 一云多芯

Vue-路由(route)的简介

张三丰无极

6 月 优质更文活动

洋洋洒洒2000字带你了解微服务高并发知识:Sentinel的特性

互联网架构师小马

Java 微服务 sentinel

终极指南:Scrum中如何设置需求优先级

敏捷开发

项目管理 Scrum 敏捷开发 优先级

Vue-路由的props配置

张三丰无极

6 月 优质更文活动

Vue-命名路由

张三丰无极

6 月 优质更文活动

从开源到云原生,时序数据库 TDengine 六年回顾精彩纷呈

爱倒腾的程序员

涛思数据 时序数据库 ​TDengine

微软提出新AI框架MWSS,假新闻识别率优于最先进的基准_AI&大模型_Kyle Wiggers_InfoQ精选文章