写点什么

AIGC 军备竞赛开启,但训练大模型存在的问题却无解?

  • 2023-02-27
    北京
  • 本文字数:1957 字

    阅读完需:约 6 分钟

AIGC军备竞赛开启,但训练大模型存在的问题却无解?

生成式人工智能繁荣的背后,是令人恐惧的碳排放量。


今年二月初,谷歌和微软先后宣布了对其搜索引擎进行重大变革。这两家科技巨头都在构建或购买生成式人工智能工具上投入了大量资金,这些工具利用大型语言模型来理解并回应复杂问题。现在他们正尝试将这些工具整合到搜索中,期望能够为用户带来更加丰富和精准的使用体验。中国的搜索引擎公司百度已经宣布,他们也会跟进。


但是,人们对新工具的欣喜若狂,却隐藏了一个不可告人的秘密。为了打造高性能、人工智能驱动的搜索引擎,这场竞赛将会要求大量的计算能力,同时也会导致科技公司的能耗和碳排放量的大幅增长。


英国萨里大学(University of Surrey)网络安全教授艾伦·伍德沃德(Alan Woodward)表示:“我们已经投入了大量的人力物力来进行索引和搜索互联网内容,但要将人工智能纳入其中,就必须要有多重方法。这要求具备数据处理、存储和高效检索的功能。无论何时,只要我们看到一个在线处理过程的改变,我们就会发现,对于大型处理中心,需要的电能和制冷资源都会有很大的增长。我想,这是一个很好的步骤。”


训练大型语言模型(Large Language Model,LLM),例如那些支撑 OpenAI 的 ChatGPT 的模型,它将为微软增强版必应搜索引擎和谷歌的同类产品 Bard 提供强大的支持,这就意味着可以分析并处理海量数据,这也是为何它们通常都是拥有可观资源的宫锁所开发的原因。


“训练这些模型需要大量的计算能力,”西班牙科鲁尼亚大学(University of Coruña)的计算机科学家卡洛斯·戈麦斯-罗德里格斯(Carlos Gómez-Rodríguez)说,“目前,只有大型科技公司才能训练它们。”


尽管 OpenAI 和谷歌都没有透露其产品的计算成本费用,但是第三方的研究者分析认为,ChatGPT 部分基于的 GPT-3 的训练所耗费的功率为 1287 兆瓦,所产生的的碳排放量超过 550 吨,相当于一个人在纽约和旧金山之间往返 550 次的碳排放量。


戈麦斯-罗德里格斯说:“这并没有那么糟糕,但你必须考虑到这个事实:你不仅要训练它,还要执行它,为数百万用户提供服务。”


将 ChatGPT 作为独立产品使用,与将其整合到每天处理约 5 亿次搜索的必应中,也是有很大区别的。据瑞银估计,ChatGPT 每天约有 1300 万用户。


加拿大数据中心公司 QScale 的联合创始人马丁·布沙尔(Martin Bouchard)认为,根据他对微软和谷歌搜索计划的解读,在这一过程中加入生成式人工智能至少需要“每次搜索至少四到五倍的计算”。他指出,ChatGPT 目前在 2021 年底停止对世界的理解,作为削减计算需求的尝试的一部分。


为了满足搜索引擎用户的需求,这种情况必须改变。“如果他们要经常重新训练模型,并添加更多的参数和东西,那就是一个完全不同的规模的事情了。”他说。


这就要求在硬件方面投入大量的资金。“当前的数据中心以及我们现有的基础设施都无法与生成式人工智能进行竞赛,”布沙尔说,“这太过分了。”


根据国际能源署(International Energy Agency)的数据,数据中心的温室气体排放量已经占到全球总排放量的 1% 左右。由于对云计算的需求不断增加,这个数据会有所增加,但是运营搜索业务的公司已承诺要降低他们在全球变暖的净贡献。


戈麦斯-罗德里格斯表示:“这肯定没有运输业或纺织业那么糟糕。但是,人工智能对碳排放的影响很大。”


微软承诺到 2050 年实现负碳排放。该公司计划在今年购买价值 150 万公吨的碳信用额度。谷歌已承诺到 2030 年在全业务和全产业链上达到净零排放。OpenAI 和微软均未对此承诺置评。


将人工智能整合到搜索中的环境足迹和能源成本,可以通过将数据中心转移到更的能源来源,以及通过重新设计神经网络以提高效率,减少所谓的“推理时间”(一种算法处理新数据所需的计算能力)来降低。


“我们必须研究如何减少这种大型模型所需的推理时间,”该谢菲尔德大学(University of Sheffield)自然语言处理讲师纳菲斯·萨达特·穆萨维(Nafise Sadat Moosavi)表示。“现在是专注于效率方面的好时机。”


谷歌发言人简·帕克(Jane Park)告诉 WIRED,谷歌最初发布的 Bard 版本是由一个更轻量级的大型语言模型驱动的。


“我们还发表了研究报告,详细介绍了最先进的语言模型的能源成本,包括较早和较大的 LaMDA 版本,”帕克说。“我们的研究结果表明,将高效模型、处理器和数据中心与能源相结合,可以将机器学习系统的碳足迹降低 1000 倍。”


问题在于,对于谷歌来说,要想提高一点搜索准确率,就必须要增加更多的计算量和不必要的麻烦,这是否值得。但穆萨维说,尽管重视 LLM 所产生的能耗和碳排放的总量是非常重要的,但是还是要有一些观点。


“这对最终用户来说真是太好了,”她说,“因为以前的大型语言模型并不是所有人都能使用的。”


作者简介:

Chris Stokel-Walker,自由撰稿人、WIRED 撰稿人。


原文链接:

https://www.wired.com/story/the-generative-ai-search-race-has-a-dirty-secret/

2023-02-27 18:092748

评论

发布
暂无评论
发现更多内容

小白福利!教你用低代码实现一个简单的HarmonyOS页面跳转功能

HarmonyOS开发者

HarmonyOS 低代码开发

Dubbo3 落地实践及 Mesh 解决方案

阿里巴巴中间件

阿里云 开源 云原生 dubbo 中间件

企评家 | 白银有色集团股份有限公司成长性评价简介

企评家

三、云原生安全关键要素

穿过生命散发芬芳

云原生安全 5月月更

抢先预约 | 阿里云无影云应用线上发布会预约开启

阿里云弹性计算

无影云电脑 云应用

漏洞扫描器并非100%靠谱,那么容器镜像安全又当如何保证?

青藤云安全

网络安全 安全管理 漏洞修复

明明已部署EDR,服务器为什么还是被入侵了?

青藤云安全

安全攻防 网络安全 主机安全

linux中vi,vim操作技巧

入门小站

Linux

李俊刚:我是如何在OpenHarmony完成ap6275s WiFi驱动的HDF适配工作的?

OpenHarmony开发者

OpenHarmony WiFi驱动

Spark离线开发框架设计与实现

百度开发者中心

攻防演练中常见的8种攻击方式及应对指南

青藤云安全

DTMO直播预告|Taier1.1新功能详解&控制台介绍

袋鼠云数栈

大数据

一文彻悟容器网络通信

阿里巴巴中间件

阿里云 容器 云原生 中间件

企评家,企业数据分析评价提供投资信息支撑

企评家

HIVE3 深度剖析 (下篇)

明哥的IT随笔

大数据 hive

直播预告丨Hello HarmonyOS进阶课程第三课——游戏开发实践

HarmonyOS开发者

游戏开发 HarmonyOS

腾讯云发布全新非关系型数据库KeeWiDB 搭载全自研存储引擎

科技热闻

OpenHarmony浏览器上新,在Dayu200开发板上终于能优雅地浏览网页

离北况归

浏览器 OpenHarmony Openharmony啃论文俱乐部 PIMF OpenHarmony应用安装

HDD·耀星领航出海峰会:华为游戏中心联运服务加速游戏出海获量增长

最新动态

工业质检如何以“智”取胜?15分钟上手工业零部件检测全流程方案

百度开发者中心

FinClip+系列 | VUE前端开发框架核心原理

Speedoooo

Vue 前端框架 移动开发 移动端开发 小程序容器

6 月亚马逊云科技培训与认证课程,精彩不容错过!

亚马逊云科技 (Amazon Web Services)

架构师 培训 认证

在线TSV转YAML工具

入门小站

工具

企评家|广州白云国际机场股份有限公司成长性报告简述

企评家

Cocos 常用功能介绍

空城机

Cocos 5月月更

接口测试工具简介!

Liam

测试 自动化测试 测试工具 测试自动化 测试管理工具

不会吧不会吧!听说还有人在手动迁移Vault密钥?

Jianmu

自动化 数据迁移 密钥 建木CI vault

在线文本列表补集计算工具

入门小站

工具

服务网格接口 SMI 规范解读

Flomesh

云原生 服务网格 SMI OpenServiceMesh

柏拉图会成为元宇宙风险标吗?PlatoFarm的机会很大

小哈区块

Redis「5」事件处理模型与键过期策略

Samson

学习笔记 Redis 核心技术与实战 5月月更

AIGC军备竞赛开启,但训练大模型存在的问题却无解?_文化 & 方法_Chris Stokel-Walker_InfoQ精选文章