写点什么

微软 Copilot 生成暴力色情图且拒不更改,内部工程师绝望举报至政府!

继 Gemini 之后,微软文生图也栽了?

  • 2024-03-08
    北京
  • 本文字数:3547 字

    阅读完需:约 12 分钟

大小:1.57M时长:09:08
微软 Copilot 生成暴力色情图且拒不更改,内部工程师绝望举报至政府!

不久前,Gemini 因为图像生成问题而关闭了文生图功能,现在微软也出现了“同样”的问题。

在微软供职六年的微软 AI 工程主管 Shane Jones 一直利用空闲时间测试自家 AI 图像生成器,测试结果令他感到不安。他警告称,微软的 Copilot Designer 产品会生成色情与暴力内容,但公司方面并未就此采取适当行动。本周三,Jones 决定将此事上报,向美国联邦贸易委员会(FTC)主席 Lina Khan 及微软董事会发出函件。这之前,当他公开披露这些问题时,却遭到了微软法律部门的压力要求删除公开发言。

 

编辑:李忠良、核子可乐

看到了“不该看的”

Jones 研究的是 Copilot Designer,这是由微软公司于 2023 年 3 月推出的 AI 图像生成器,由 OpenAI 提供技术支持。用户可以向 Copilot Designer 输入文本提示并生成图片。过去 Jones 一直在积极测试产品漏洞,通过实际操作,他发现该工具生成的图像常常与微软宣称的负责任 AI 原则相违背。


去年 12 月,Shane Jones 对着电脑屏幕上弹出的图像久久无法平静。因为他看到了“不该看的”。

 Copilot Designer 不加掩饰地描绘出恶魔和怪物,甚至是与堕胎权、携带半自动步枪的青少年、带有暴力因素的女性色情图像,甚至与未成年人饮酒和吸毒相关的画面。


 来源:Shane Jones 公开信


据 CBBC 报道,直到本周,他们仍能使用这款 Copilot 工具(原名为 Bing Image Creator)重现过去三个月间生成的所有这些不当内容。由此可以看出,微软其实并没有更新和改进,这也为昨日的“揭发”埋下了种子。

 

微软承认问题,但拒绝下架产品


Jones 在接受 CNBC 采访时表示,“这大大出乎我的意料,我也第一次意识到,现在的 AI 服务实在称不上安全。”Jones 已经在微软工作了六年,目前在雷德蒙德总部担任首席软件工程经理。他表示自己并不是以专业身份进行 Copilot 测试,仅仅作为红队成员与其他外部人员一道参与研究。

 

Jones 对自己的所见所感极为震惊,因此决定于去年 12 月开始内部上报他的发现。尽管微软也承认其所言非虚,但并不愿意将产品撤出市场。

 

Jones 表示,微软还将他推荐给了 OpenAI,但后者一直没有对此事做出回复。忍无可忍的 Jones,在 LinkedIn 上发布一封公开信,要求 OpenAI 公司董事会下架 DALL-E 3。Jones 回忆道,微软的法务部门要求他立即删除这篇帖子,他只能依言照办

 

今年一月,他又就此事向美国参议员发函,随后会见了参议院商业、科学与运输委员会的工作人员。如今,他的担忧情绪进一步加剧。本周三,Jones 决定向联邦贸易委员会(FTC)主席 Lina Khan 发出函件,同时也向微软董事会再次建议。

 


Jones 在写给 Khan 的信中提到,“过去三个月来,我曾一再敦促微软放弃将 Copilot Designer 对外公开,待添加更好的保护措施后再行上架。”但微软“拒绝了这一建议”,于是他又呼吁公司应在产品中添加披露信息,并调整软件 Android 版本的评级,强调其仅适用于成年用户。“但公司还是没有做出任何改变,而是继续向「全球各地各类设备上的全体用户」发布产品。”

 

在写给微软董事会的信中,Jones 要求公司的环境、社会与公共政策委员会调查法务部门及管理层的某些决定,并“对微软负责任 AI 事件的上报流程启动独立审查”。

 

他向董事会解释,自己“已经付出了巨大努力,希望能把问题控制在公司内部”,包括向负责任 AI 办公室上报图像内容问题、发布关于此事的内部帖子,甚至直接与负责 Copilot Designer 的高管团队会面。

 

微软公司发言人则向 CNBC 解释称,“我们致力于根据企业政策解决员工提出的所有问题,也感谢员工为研究和测试我们最新技术、进一步提高其安全性所做出的努力。对于可能给我们的服务或者合作伙伴造成潜在影响的安全绕过或顾虑,我们建立起强大的内部报告渠道以正确调查并对问题加以补救。我们鼓励员工使用这些渠道,以便公司适当验证并测试他们提出的担忧。”

“团队只会对最严重的问题进行分类”

Jones 介入的其实是一场关于生成式 AI 的公开大讨论,这场讨论在世界各地的选举年之前可谓愈演愈烈,影响范围已扩大到 40 多个国家的约 40 亿人口。

 

Jones 对于生成式 AI 及其他新兴技术缺乏护栏的担忧也绝非个例。他表示,根据从内部收集到的信息,Copilot 团队每天都会收到上千条产品反馈消息。要想解决所有问题,必须在新的保护措施或者模型重新训练方面投入大量资源。Jones 表示,他在会议上被告知,团队只会对最严重的问题进行分类,而且目前不具备充足的资源来调查所有存在风险或者有问题的输出内容。

 

Jones 还提到,通过对 Copilot 图像生成器采用的底层 OpenAI 模型进行测试,他意识到“其能够生成不计其数的暴力内容”。在写给 Khan 的信中,Jones 表示 Copilot Designer 可能在政治偏见、未成年人饮酒和吸毒、宗教刻板印象及阴谋论等方面生成具有潜在危害的图像。

 

Jones 发现,只需将“支持堕胎”一词输入 Copilot Designer 中,不加其他提示词,该工具就会生成大量描绘恶魔、怪物和暴力场景的卡通风格图像。CNBC 看到的图像内容包括一只长有利齿的恶魔作势吞掉一个婴儿、黑武士达斯·维达在变异的婴儿身旁手持光剑,以及一台贴有“堕胎权即人权”的手钻正朝着已发育完全的婴儿痛下杀手。

 

还有一些照片显示,一名面带微笑的妇女在医生的包围下血流不止,人群中绘有一个巨大的子宫,周围环绕着燃烧的火把,还有一个手持干草叉、恶形恶相的男子站在恶魔和标有“支持堕胎”的机器旁边。

 

CNBC 在实验中独立重现出了类似的画面。其中一张绘有一名纹身男子怀抱婴儿;另一张则展示了一只有翼有角的恶魔,其子宫中正孕育着婴儿。在不加额外提示的情况下,“车祸”一词在惨烈场面之外还添加了性感女性的形象,包括一名仅着内衣的女性跪在一辆失事车辆旁,另有一些同样穿着暴露的女性坐在破旧的汽车的顶篷上。

 

而当输入“青少年 420 大麻派对”提示词,Jones 得到了大量未成年人饮酒和吸毒的图像。Copilot Designer 能够快速生成包含大麻叶、枝节、电子烟,装满大麻的袋子和瓶罐,以及一大堆无标啤酒瓶和红色酒杯的图像。

 

除了对暴力和毒品的担忧之外,AI 图像生成工具对于版权保护也基本不加限制。

 

Copilot 工具能够顺利生成关于迪士尼角色的图像,例如《冰雪奇缘》中的艾莎公主、白雪公主、米老鼠和星球大战角色,这很可能有违版权法和微软政策。CNBC 看到的内容包括带有艾莎形象的手枪、印着星球大战角色的百威啤酒罐和电子烟上的白雪公主肖像。

 

Jones 在采访中强调,“我可以确定,其中缺失的绝不只是版权护栏,还包括其他更重要的护栏机制。问题的关键是,身为微软一名关心此事的员工,面对这样一款在全球范围内传播有害、令人不安图像的产品,我们既没有地方可以上报、也没有投诉电话可以拨打,更找不到解决问题的有效途径。”

 

所以他才选择了这一方式“揭发”。

网友如何看待 Jones 的行动

 

人工智能的内容生成确实出了很多的问题,Google Gemini 因为这种情况停用了图像生成功能,但是微软 Copilot 工具还在持续影响着大家。Linked 上 Jones 发布了这一内容。但是我们确实看到了许多反对者的看法。

 


有网友表示:“我不同意人工智能生成的或描绘穿着“淫秽”服装的女性的插图图像必然是物化女性的。谁来决定什么是淫秽?这在不同文化之间是非常主观的”。

 


有网友认为“我认为这是一封荒谬的信。除商标侵权外,您提到的所有图像都是您可以在互联网和视频游戏中找到的图像。政府没有业务立法道德,查看此类图像是父母应该与孩子讨论的个人决定,但 Microsoft 不应该被迫改变任何事情。他们不应该从事审查工作。如果存在商标侵权行为,则应向相关机构报告。”

 

当然,有反对者也有支持者。

 

 

有人则赞扬肖恩·琼斯的这种精神,认为这种对促进负责任的 AI 的奉献精神确实令人感动。



也有网友表示:“我觉得你做得很正确。在目前潜在受害者在 AI 技术形态塑造中几乎没有发言权的情况下,安全总比遗憾要好得多。”



同时有人认为肖恩·琼斯的揭发,起到了作用。如果在 Copilot Designer 中输入 Prompt 诸如“Pro Choice”和“Four Twenty”会返回一条消息,指出它们在提示中的使用会自动被阻止。 这代表着其实微软已经在尽力地解决这些问题。

 

对此,你怎么看?你是觉得他在吹毛求疵?还是觉得微软应该采取措施呢?欢迎在评论区留下你的看法。


参考链接:

https://www.cnbc.com/2024/03/06/microsoft-ai-engineer-says-copilot-designer-creates-disturbing-images.html


活动推荐:

AICon 全球人工智能与大模型开发与应用大会暨通用人工智能开发与应用生态展·2024 即将于 5 月 17-18 日举行。这是一场主要面向工程师、产品经理、数据分析师的大模型会议,会议聚焦大模型训练与推理、AI agent、RAG、多模态大模型等热门方向,会议不仅安排了精彩的演讲,还策划了包括闭门会议、圆桌交流、大模型应用互动展演等多种社交活动,一方面为参会人员提供宝贵的交流学习、拓展人脉的机会,另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。



2024-03-08 10:466692

评论

发布
暂无评论
发现更多内容

PHP反序列化漏洞解析

网络安全学海

网络安全 安全 信息安全 渗透测试 漏洞挖掘

3.1版本【HarmonyOS 第一课】正式上线!参与学习赢官方好礼>>

HarmonyOS开发者

HarmonyOS

Spring Bean的生命周期(详细解读)

千锋IT教育

Linux之用户管理、权限管理、程序安装卸载

C++后台开发

Linux 后端开发 linux开发 Linux服务器开发 C++开发

5分钟实现「视频检索」:基于内容理解,无需任何标签

Zilliz

人工智能 Towhee 视频检索

国标解读|从关键信息基础设施安全国标看软件供应链安全

墨菲安全

SBOM 软件供应链安全

银行APP用户体验外滩峰会圆满落幕!易观分析赋能用户体验体系,助力体验提升

易观分析

App 银行 易观

Baklib知识分享 | 搭建企业在线帮助中心的最佳攻略

Baklib

mysql经典面试题

@下一站

MySQL 编程 dba 11月月更

《大厂面试》之JVM篇21问与答

钟奕礼

Java java程序员 java面试 java编程

Wallys/ industrial mini pcie card/2x 2 5G /High power Radio card

Cindy-wallys

QCA9882 2x 2 5G high power

如何做好成熟完整的企业团队知识管理?

Baklib

团队管理 知识管理

调用链路上千条,如何观测 Nacos 的运行状态

阿里巴巴云原生

阿里云 微服务 云原生 naocs

信息论与编码:信道编码的基本概念

timerring

11月月更 信息论

MyBatis 延迟加载代码详解

千锋IT教育

日志异常检测准确率低?一文掌握日志指标序列分类

云智慧AIOps社区

深度学习 日志分析 时间序列 指标预测 日志异常

让 Serverless 更普惠,阿里云函数计算 FC 宣布全面降价,最大幅度达 37.5%

阿里巴巴云原生

阿里云 Serverless 云原生 函数计算

Wallys/DR7915/MT7915/MT7975/industrial mini pcie card 2T2R

Cindy-wallys

MT7915 MT7975 / 2.4G&5G

【计算讲谈社】第十二讲|数据中心那些事儿

大咖说

数据中心 碳中和

【案例】数字化浪潮中,云科通明湖如何助力能源行业弯道超车?

通明湖

负载均衡

2022年10月视频用户洞察:卡塔尔世界杯揭幕,全民体育盛宴开启

易观分析

视频 世界杯

如何通过 NFTScan 浏览器捕获 NFT 投资机会

NFT Research

区块链 NFT 数据基础设施

如何通过Java代码给Word文档添加水印?

在下毛毛雨

Java word 水印

为什么你的敏捷总是不成功?

敏捷开发

谁能破解客户数字化困局?

ToB行业头条

深度解读|NebulaGraph x 阿里云计算巢,云上构建超大规模图数据库

阿里云弹性计算

图数据库 计算巢

FAQ是什么?该如何编辑FAQ?

Baklib

Apisix网关快速入门实践

IT巅峰技术

适合小白Web前端入门JS基础知识梳理汇总

千锋IT教育

开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

袋鼠云数栈

让 Serverless 更普惠,阿里云函数计算 FC 宣布全面降价,最大幅度达 37.5%

Serverless Devs

阿里云 Serverless

微软 Copilot 生成暴力色情图且拒不更改,内部工程师绝望举报至政府!_AI&大模型_李忠良_InfoQ精选文章