写点什么

马斯克、图灵奖得主等千名大佬联名,要求暂停训练比 GPT-4 更强大的 AI

  • 2023-03-29
    北京
  • 本文字数:2129 字

    阅读完需:约 7 分钟

马斯克、图灵奖得主等千名大佬联名,要求暂停训练比GPT-4更强大的AI

3 月 22 日,生命未来研究所(Future of Life)向全社会发布了一封《暂停大型人工智能研究》的公开信,呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练,暂停时间至少为 6 个月

 

截止目前,马斯克、图灵奖得主 Yoshua Bengio、苹果联合创始人 Steve Wozniak、Stability AI 创始人 Emad Mostaque、DeepMind 高级研究科学家 Zachary Kenton 等上千名科技大佬和 AI 专家已经签署公开信。

 


不过,也有大佬公开表达了反对意见。图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 在 Twitter 上表示:“我不会签署这个公开信,不同意这封公开信的内容。”



ChatGPT、GPT-4 发布以来,关于 AI 与安全性的讨论声不断,甚至引发了不少科技大佬的深切担忧。

 

“人工智能教父”、英国计算机科学家 Geoffrey Hinton 接受 CBS 新闻的长篇采访中提到,人工智能正处于“关键时刻”。目前,人们经常提到 AGI 提高当前模型能力的预兆,但无论业界多么欢呼它的到来,或者它真正需要多长时间,Hinton 说,我们现在应该仔细考虑它的后果,这可能包括它试图毁灭人类的小问题。

 

3 月 25 日,OpenAI 创始人兼首席执行官 Sam Altman 在接受科技博客主 Lex Fridman 的采访时表态,他不会回避“人工智能可能杀死全人类”的说法。

 

在 Youtube 平台公布的视频中,Fridman 在访谈中提到了人工智能研究者、LessWrong 研究所创始人 Eliezer Yudkowsky 的观点。Yudkowsky 此前指出“人工智能可能杀死所有人”,并认为,当人工智能发展为超级智能时,几乎无法与人类站在统一战线上。

 

生命未来研究所在公开信中表示,通过广泛研究和顶级 AI 实验室的调查认可,具备类人智能的 AI 系统很可能对社会和人类构成深远风险。正如广受推崇的阿西洛马 AI 原则中所述,高级 AI 可能代表着地球生命史上一场影响深远的变化,应给予相应的关注和资源进行规划和管理。

 

生命未来研究所表示,遗憾的是,我们并没有看到这种级别的规划和管理。最近几个月来,AI 实验室陷入了一场失控般的技术竞赛,全力开发和部署一颗颗愈发强大的“数字大脑”,但就连创造者自己都无法理解、预测或可靠地加以控制。

附公开信原文:

 

关于叫停巨型 AI 实验的一封公开信

 

我们呼吁所有 AI 实验室,立即暂停对体量超过 GPT-4 的 AI 系统的训练,且暂停期至少 6 个月。

 

通过广泛研究和顶级 AI 实验室的调查认可,具备类人智能的 AI 系统很可能对社会和人类构成深远风险。正如广受推崇的阿西洛马 AI 原则中所述,高级 AI 可能代表着地球生命史上一场影响深远的变化,应给予相应的关注和资源进行规划和管理。但遗憾的是,我们并没有看到这种级别的规划和管理。最近几个月来,AI 实验室陷入了一场失控般的技术竞赛,全力开发和部署一颗颗愈发强大的“数字大脑”,但就连创造者自己都无法理解、预测或可靠地加以控制。

 

当代 AI 系统在常规任务上已经具备与人类相仿的能力,因此我们必须扪心自问:我们是否应该让机器用宣传和谎言填满信息渠道?我们真的应该推动一切工作自动化,包括目前已经令人满意的岗位吗?我们是否应当开发出最终可能超越自身、超越特种甚至取代我们的非人类思维?我们应该承担这份失去对文明掌控权的风险吗?很明显,这些问题的答案,不该由少数未经选举产生的技术领导者决定。只有当我们确信具有积极影响且风险可控时,才应当实际开发强 AI 系统。对这个问题的判断需要坚毅的决心,也要充分考虑到系统潜在影响等因素。OpenAI 近期发布的 AI 声明指出,“必须承认,在开始训练未来系统之前,可能应该认真考虑开展独立审查。对于最前沿的探索,也应该对新系统的算力资源增长率做出限制。”我们完全认同这一判断,并坚信当下就是最恰当的时机。

 

因此,我们呼吁所有 AI 实验室,立即暂停对体量超过 GPT-4 的 AI 系统的训练,且暂停期至少 6 个月。这种暂停应当对外公开且可加验证,涵盖所有关键参与者。如果未能迅速实施暂停,政府应介入并强制要求其暂停。

 

各 AI 实验室和独立专家则应把握这次暂停,共同开发和实施一套用于高级 AI 设计和开发的共享安全协议,并由外部独立专家进行严格审计与监督。这些协议应确保依其构建的系统具备无可置疑的安全性。我们并不是要全面叫停 AI 开发,只是想从目前这场危险的竞赛中退后一步,避免最终衍生出体量更大、更加不可预测的黑盒模型。

 

AI 研究和开发工作应当集中注意力,努力让目前最强大、最先进的系统变得更准确、更安全、更可解释、更透明、更稳健、更一致,也更加忠诚且值得信赖。

 

与此同时,AI 开发商必须与立法机构合作,加快开发出强大的 AI 治理体制。其中至少应当包括:专门负责 AI 事务的新型监管机构;监督和跟踪高性能 AI 系统及大量算力的机构;出处与水印系统,帮助区分真实与合成信息,同时跟踪模型泄露;强大的审计和认证生态系统;对 AI 造成的伤害进行责任回溯;为 AI 安全研究提供强大的公共资金支持;指派资源充足的机构应对 AI 将会在经济和政治层面造成的巨大破坏。

 

人类应当享受到 AI 造就的繁荣未来。在成功创建起强大的 AI 系统之后,我们才能平稳度过“AI 之夏”,静候金秋带来的累累硕果。但这一切的前提,是暂时叫停一切可能对社会造成灾难性影响的技术,这也是我们的当务之急。为社会提供过渡期、确保系统设计造福每个人,我们才能信心满满地迎接“AI 之秋”。

 

原文链接:

https://futureoflife.org/open-letter/pause-giant-ai-experiments/

2023-03-29 14:314826

评论 1 条评论

发布
用户头像
悲天悯人的只有不缺钱的
2023-03-30 17:41 · 北京
回复
没有更多了
发现更多内容

易安联参编《SASE技术与应用场景白皮书》正式发布

权说安全

网络安全 sase

青藤《关键信息基础设施增强保护安全实践》论文入选中国科技核心期刊

青藤云安全

信息安全 关键信息 安全保护

国内私有云厂商有哪些?排名怎么样?

行云管家

网络安全 私有云 私有云厂商

离线数仓建设,企业大数据的业务驱动与技术实现

袋鼠云数栈

乏善可陈的Neuralink

图灵教育

EAM系统解决方案

低代码小观

资产管理 企业管理系统 企业设备管理 设备巡检管理系统 企业管理软件

TDengine 社区问题双周精选 | 第一期

TDengine

数据库 tdengine

企业网站该怎样选择网站域名?

源字节1号

软件开发

有没有支持vmware/openstack/zstack私有云的堡垒机?

行云管家

私有云 云服务器 堡垒机 行云管家

Wallys/QCN9074 /11ax/ 4x4 /5G M.2

wallys-wifi6

QCN9074 11 ax

Spring Cloud OpenFeign 的 5 个优化小技巧!

王磊

SpringCloud

数据治理项目调研环节思考

agileai

项目管理 数据中台 数据仓库 数据治理 主数据

洞见科技数据科学家王湾湾:隐私计算助推金融业数字化转型

洞见科技

数据挖掘 金融科技 隐私计算

单机GPU云服务器的深度学习训练和预测模型分析

Finovy Cloud

云服务器 GPU服务器

墨天轮高分技术文档分享——Oracle升级迁移篇(共96个)

墨天轮

MySQL 数据库 oracle postgresql 国产替代

GPU不可不知的指标项

AIWeker

人工智能 gpu 5月月更

打开人工智能“黑盒”,发展可解释、可扩展、可信赖、安全可靠的人工智能

博文视点Broadview

全场景式全流程监控,博睿数据为券商IT运维难题提供范例

博睿数据

数字化转型 博睿数据 数据链DNA 证券行业

发现一个开源项目优化点,点进来就是你的了

捉虫大师

开源 性能优化 sentinel 5月月更

极客星球 | 机器学习赋能商业地产决策进阶

MobTech袤博科技

leetcode 69. Sqrt(x) x 的平方根(简单)

okokabcd

LeetCode 查找

主管发话:一周搞不定用友U8 ERP跨业务数据分析,明天就可以“毕业”了

葡萄城技术团队

数据分析 BI 用友

错过了太后悔,九大绝招大公开,详解华为低时延技术

华为云开发者联盟

云计算 音视频 华为云

静亦求精,罗技MX高性能键鼠组合上市!

极客天地

java培训 | API 接口如何实现统一格式返回

@零度

JAVA开发 API

直播预告 | 服务网格规模化应用下的 Istio Sidecar 灵活配置实践

阿里巴巴云原生

阿里云 云原生 直播 服务网格 Istio Sidecar

使用 Amazon DevOps Guru for Serverless 自动检测 Lambda 函数中的运行问题

亚马逊云科技 (Amazon Web Services)

DevOps Lambda severless

DCM:一个能够改善所有应用数据交互场景的中间件新秀

华为云开发者联盟

数据处理 数据交互 多样性数据源 DCM

Wallys/QCN9074 /11ax 4x4 6G M.2

wallys-wifi6

wifi6 m.2

剧透!2022开发者关注的开源技术全解析

华为云开发者联盟

开源 mindspore kubeedge OpenHarmony open Euler

如何实现客户自助服务?打造产品知识库

小炮

知识库

马斯克、图灵奖得主等千名大佬联名,要求暂停训练比GPT-4更强大的AI_AI&大模型_凌敏_InfoQ精选文章