70+专家分享实战经验,2024年度AI最佳实践都在AICon北京 了解详情
写点什么

三星被曝芯片机密代码遭 ChatGPT 泄露,引入不到 20 天就出 3 起事故,内部考虑重新禁用

  • 2023-04-06
    北京
  • 本文字数:3604 字

    阅读完需:约 12 分钟

三星被曝芯片机密代码遭ChatGPT泄露,引入不到20天就出3起事故,内部考虑重新禁用

近日,三星员工在使用 ChatGPT 处理工作时,无意间泄露了公司的绝密数据。

 

据悉,三星允许半导体部门的工程师使用 ChatGPT 参与修复源代码问题。但在过程当中,员工们输入了机密数据,包括新程序的源代码本体、与硬件相关的内部会议记录等数据。不到一个月的时间,三星曝出了三起员工通过 ChatGPT 泄露敏感信息的事件。

 

由于 ChatGPT 会保留用户输入数据以进一步训练自身,因此三星的这些商业机密现已被掌握在 ChatGPT 背后的 AI 服务商 OpenAI 手中。作为回应,三星公司现正开发自己的内部 AI 产品供员工使用。

三星保密数据泄露

 

据悉,起初三星全面禁止使用 ChatGPT,自 3 月 11 日开始才部分开放给 DS 部门使用,却没想到在短短时间内就传出机密外泄。

 

三起泄密事件均发生在三星电子半导体暨装置解决方案(Device Solutions,简称“DS”)部门。其中,两起与半导体设备有关,另外一起与会议内容相关。

 

在设计晶片设备的事件中,三星半导体事业暨装置解决方案部门(Device Solutions,即 DS)的一名员工在测试设备下载软体的过程中,将出现问题的原始代码复制到 ChatGPT,并向其请教解决办法,但这一操作反而让三星设备测量相关的原始码成为 ChatGPT 学习资料。另一起则是有员工为了解设备良率等相关资讯,将程式码输入 ChatGPT,要求其优化代码。

 

虽然是保密工作,但为了尽量提高效率、为公司节约时间以测试和验证处理器,最终降低开发成本,三星还是决定允许员工使用外部 AI 服务。

 

第三起则是,有员工使用 ChatGPT 将会议记录转换成演示文稿,但其中却涉及大量三星明显不希望对外透露的内容。

 

由于三星员工在使用 ChatGPT 查询问题并验证答案时,不慎将这些资讯添加到 ChatGPT 的学习资料库里,日后若有其他使用者在 ChatGPT 上提出相关问题,可能导致三星企业机密外泄。

 

据悉,三星正在制定相关保护措施,并进一步加强内部管理和员工训练,目前也已将每次向 ChatGPT 提问限制在 1,024 byte 以内。若采取信息保护紧急措施后又发生类似事故,三星内部很有可能会切断 ChatGPT 服务,更不排除对相关人员做出处罚

 

外媒称此类数据已经无法检索,因为其现被存储在属于 OpenAI 的服务器上。在竞争激烈的半导体行业,任何形式的数据泄露都可能给厂商带来灾难性打击。而三星似乎没有任何办法要求 OpenAI 检索或删除当前持有的敏感数据。

 

有人认为这意味着 ChatGPT 并不符合欧盟的 GDPR,代表管理方存在收集和使用其核心租户数据的行为。也正因如此,目前意大利正在全国范围内禁止使用 ChatGPT。

 

数据安全风波不断

 

3 月 31 日,意大利数据保护局 Garante 宣布暂时禁用 ChatGPT,并对其涉嫌违反隐私规则展开了调查。目前,OpenAI 已在意大利下线 ChatGPT,意大利也成为了全球首个封禁 ChatGPT 的国家(部分国家和地区在一开始就无法使用 ChatGPT。)

 

意大利数据保护局 Garante 认为,ChatGPT 平台曾在 3 月 20 日出现了用户对话数据和付款服务支付信息丢失情况。此外,平台没有就收集处理用户信息进行告知,缺乏大量收集和存储个人信息的法律依据。

 

意大利个人数据监管局(GPDP)指出,由于违反欧盟的《通用数据保护条例》(GDPR)和意大利的数据保护法,他们将立即对涉及意大利公民的“个人数据处理做临时限制”。

 

GPDP 强调,“OpenAI 对其收集用户及各相关方数据的行为缺乏清晰说明。”另外,ChatGPT 对用户数据的处理还可能造成错误印象,“因为 ChatGPT 提供的信息并不一定与真实数据相对应。”

 

GPDP 还对 OpenAI 忽略用户年龄审查表达了担忧。作为微软的投资对象,OpenAI 曾提到其 ChatGPT 是专为 13 岁或以上的用户群体所设计。但这项服务在发布后并没有对用户做年龄验证,GPDP 认为“考虑到其发展程度和自我意识,未成年人在使用时可能接触到绝对不合适的答案。”

 

此外,据报道,非营利组织人工智能与数字政策中心(CAIDP)不久前向美国联邦贸易委员会(FTC)投诉,要求 FTC 调查 OpenAI 违反消费者保护规则的行为,该组织认为 GPT-4 具有偏见性、欺骗性、对隐私和公共安全构成风险。

 

CAIDP 认为,OpenAI 违反了 FTC 对人工智能产品的指导,并违反了 FTC 法案第 5 条,该法案禁止不公平和欺骗性的商业行为。CAIDP 敦促 FTC 对 OpenAI 进行调查,并暂停其大型语言模型的商业部署,包括 ChatGPT 的最新版本。

 

OpenAI:AI 安全需要技术和制度双重创新

 

显然,最近不断爆出的数据安全事件和意大利政府明确禁用的态度,已经引起了 OpenAI 的高度重视。4 月 5 日,OpenAI 发布了一篇文章来解释自己实行的安全措施,文章试图对业界 GPDP 担忧的问题作出回应。

 

根据 OpenAI 的说法,在发布新系统之前,其会开展严格测试,聘请外部专家提供反馈,通过人工反馈强化学习等技术改进模型的行为,并构建起广泛的安全与监控系统。例如,在最新模型 GPT-4 完成训练之后,OpenAI 投入 6 个多月时间在整个组织内开展工作,以保证其工作效果更安全、更一致。

 

OpenAI 表示,强大的 AI 系统应当接受严格的安全评估。“这方面保障还需要监管的协助,因此我们与政府积极合作,希望制定出最佳监管形式。”

 

从实际经验中改进安全系统

 

尽管进行了广泛的研究和测试,但 OpenAI 也称自己无法预测人们使用其技术的所有方式,也无法预测其对技术的滥用思路。因此 OpenAI 认为,从现实世界的使用方式中学习,才是随时间推移构建并发布更加安全的 AI 系统的关键前提。

 

“我们谨慎地逐步向更广泛的人群开放最强大的模型,并根据我们吸取的教训不断做出改进。我们通过服务和 API 对外开放最强大的模型,以便开发人员能够将这项技术直接构建至自有应用程序当中。这让我们得以监控滥用行为并采取行动,不断建立缓解措施以响应人们滥用我们系统的真实方式。这样安全工作才能不止于理论演绎,更要联系现实案例。”

 

OpenAI 表示,真实案例促使了其制定越来越细致的政策,以应对人们可能引发风险的行为。“更重要的是,我们认为社会必须有时间来更新和适应愈发强大的 AI,而且受到这项技术影响的人们也应对 AI 的下一步发展方向拥有发言权。有了第一手经验的指引,我们能够通过迭代部署更有效地将各个利益相关方引入关于 AI 技术应用的对话当中。”

 

关于儿童和隐私

 

OpenAI 强调,保护儿童是安全工作的一大重点。OpenAI 明确表示,要求用户必须年满 18 岁,或者至少年满 13 岁并得到父母同意后,才能使用其 AI 工具。OpenAI 表示正在研究可验证用户年龄的工具,同时 OpenAI 声称已经建立起强大的滥用监控系统。据悉,与 GPT-3.5 相比,最新一代模型 GPT-4 响应禁止类请求的可能性降低了 82%。

 

除了默认的安全护栏之外,OpenAI 表示还与非营利性组织 Khan Academy 等机构的开发人员合作,比如为 Khan Academy 开发出的 AI 助手提供量身定制的安全缓解措施。

 

OpenAI 的大语言模型训练自广泛的文本语料库,这些文本包括公开可用素材、许可内容以及由人工审阅者生成的内容。OpenAI 表示不会使用这些数据来销售公司服务、做广告宣传或者建立个人档案,并承诺只利用这些数据来改进模型,比如 ChatGPT 会通过与用户间的对话不断训练和改进自身。

 

OpenAI 承认,其部分训练数据可能包含来自公共互联网的个人信息,但声称不希望自己的模型来非跟踪个人,因此会努力在可行的情况下从训练数据集中删除个人信息,微调模型以拒绝对个人信息的请求,并响应用户提出的从系统中删除其个人信息的请求。“这些举措最大限度减少了我们模型可能在响应内容中,包含个人信息的可能性。”

 

在提高事实准确性方面,OpenAI 表示这已经成为 OpenAI 及其他各 AI 开发商的关注重点。OpenAI 通过被用户标记为不正确的主数据源的 ChatGPT 输出及反馈,提高了 GPT-4 的事实准确性。据悉,GPT-4 生成符合事实内容的可能性比 GPT-3.5 高 40%。

 

解决 AI 安全问题,需要更多投入

 

OpenAI 认为,解决 AI 安全问题的切实方法,是投入更多时间和资源来研究行之有效的缓解与对齐技术,并测试它们在现实世界中被滥用的情况。

 

“我们认为 AI 的安全性与功能性发展应当齐头并进。截至目前,我们最重要的安全工作就集中在最强大的模型上,它们更善于遵循用户指示,但也更容易被操纵或‘引导’。我们将以愈发谨慎的态度构建和部署更加强大的模型,也会随着我们 AI 系统的发展而持续加强安全预防措施。”

 

OpenAI 认为,虽然自己投入 6 个多月才在部署之前大致把握住 GPT-4 模型的功能、优势和风险,但未来 AI 系统的安全提升恐怕还需要更长的时间。因此,政策制定者和 AI 厂商都应保证全球范围内的 AI 开发和部署活动得到有效管理,确保各方不会为了快速成功而偷工减料。“这是一项艰巨的挑战,需要技术和制度的双重创新。”

 

“安全问题的解决还需要广泛的讨论、实验和参与,包括 AI 系统的行为边界。”OpenAI 最后表示,“我们已经并将继续促进各利益相关方之间的合作和公开对话,努力打造一个更加安全的 AI 生态系统。”

 

参考链接:

https://www.techradar.com/news/samsung-workers-leaked-company-secrets-by-using-chatgpt

https://openai.com/blog/our-approach-to-ai-safety

https://www.infoq.cn/news/0Ajci2Edm9HHZ0O7kKRt

2023-04-06 16:238306

评论 1 条评论

发布
用户头像
简单用用就行,集成到项目里就免了吧
2023-04-07 12:16 · 上海
回复
没有更多了
发现更多内容

深度解析观测云智能监控的核心设计原理

观测云

智能监控

国科云浅谈IPv6改造的技术挑战与解决方案

国科云

怎样解决TikTok直播网络问题、顺利直播带货?

Ogcloud

TikTok tiktok运营 tiktok直播 tiktok直播网络 tiktok直播带货

2024年,C++正在失去人气吗?

伤感汤姆布利柏

低代码开发平台助力企业数据分析走向高阶段

不在线第一只蜗牛

数据挖掘 数据分析 低代码

科改考核最高评级,拿下!

天翼云开发者社区

云计算 云服务 云平台

京东商品详情数据接口(JD.item_get)丨京东API接口指南

tbapi

京东 京东商品详情数据接口 京东API接口

低代码开发让系统随需而动

快乐非自愿限量之名

低代码 系统开发

AI填报高考志愿靠谱吗?已有近八成高考生使用

Geek_2d6073

这个小游戏教你学好flex布局

大师兄

CSS JavaScript Flex

《黑神话:悟空》2024年全球上线,多平台登陆,多版本售价公布!

青椒云云电脑

云电脑 黑神话悟空

PingCAP 成为全球数据库管理系统市场增速最快的厂商

先锋IT

TikTok直播专线实现流畅海外直播体验

Ogcloud

TikTok Tik Tok tiktok直播 tiktok直播带货

OpenAI推迟ChatGPT高级语音模式发布!谷歌将推出明星网红AI聊天机器人|AI日报

可信AI进展

#人工智能

元宇宙与大数据

dappweb

ao 元宇宙

云行| 天翼云中国行走进甘肃,智绘数字陇原新图景!

天翼云开发者社区

人工智能 云计算

克服指标管理痛点,实现数据价值最大化

袋鼠云数栈

指标体系 指标监控 指标 指标平台 指标建设

数字孪生助力新一代风力涡轮机高效建模,提升5倍速度

Altair RapidMiner

人工智能 数字孪生 仿真

应用场景|“迎峰度夏”进行时,AR技术显神通

AR玩家

Rokid Vision pro 炬目AR AR巡点检 AR远程协作

Paimon 在汽车之家的业务实践

Apache Flink

大数据 flink 实时计算 paimon

ES 慢上游响应问题优化在用户体验场景中的实践

字节跳动云原生计算

搜索引擎 elasticsearch

【XIAOJUSURVEY&北大】2024滴滴开源XIAOJUSURVEY北大软微开源实践课

XIAOJUSURVEY

开源 全栈 教育

python提取特定格式的数据

快乐非自愿限量之名

Python

HarmonyOS NEXT获得首个新型移动智能终端操作系统安全隐私保护能力测评证书

最新动态

华为的成功,你也可以复制

IPD产品研发管理

华为 产品 产品设计 项目 项目经理

KubeCon 香港:移动云与云猿生联合议题《在没有专用 Operator 的情况下管理数据库集群》

小猿姐

数据库 Kubernetes operator

时序预测双飞轮,全面超越Transformer,纯MLP模型实现性能效能齐飞

可信AI进展

#人工智能

标准国际化进程加速 开放式平台实力初显 WAA全球战略合作伙伴再扩员

最新动态

【HDC.2024】“零代码”智能组装,华为云新一代iPaaS超联接能力让集成更智能

华为云PaaS服务小智

云计算 软件开发 零代码 华为云 大模型

浅谈Java Profiling

乘云数字DataBuff

Java Profiling 实时监控

三星被曝芯片机密代码遭ChatGPT泄露,引入不到20天就出3起事故,内部考虑重新禁用_文化 & 方法_褚杏娟_InfoQ精选文章