ChatGPT 每日运行费超 70 万美元
以 ChatGPT 为代表的 AI 大模型爆火后，每天都有数百万用户使用 ChatGPT 这类大模型。如此高的使用需求导致了 ChatGPT 的运行成本非常昂贵。
近日，研究公司SemiAnalysis的首席分析师 Dylan Patel 在接受媒体采访时表示，考虑到 AI 需要昂贵的技术基础设施才能顺畅运行，用户们在 ChatGPT 上撰写求职信、生成课业规划和在约会应用上润色个人简介等操作，每天可能烧掉 OpenAI 多达 70 万美元，每次查询要花掉 36 美分。
为了根据用户的提示词快速做出响应，ChatGPT 需要一刻不停地消耗大量算力。
Patel 解释道，“大部分成本来自 AI 模型所依赖的昂贵服务器。”
在接受媒体采访时，Patel 表示现在的运营成本可能会更高，因为他的初步估算考虑的只是 OpenAI 的 GPT-3 模型。相比之下，家庭最新成员 GPT-4 的服务开销只会更高。
OpenAI 并未在立即回应媒体的置评请求。
在发布仅两个多月后，今年 1 月份，ChatGPT 的活跃用户迅速飙升至 1 亿个，这是此前许多科技品牌需要耗费数年时间才能实现的壮举。
ChatGPT 背后那些大语言模型的训练、运营和推理成本很可能已达数千万美元。而 Patel 和 SemiAnalysis 的另一位分析师 Afzal Ahmad 认为，“在以合理的规模部署这类模型时，实际运行开销甚至要远高于训练成本。目前，ChatGPT 的每周推理成本就已经超过了当初的训练成本。”
ChatGPT 还一直在努力应对超高访问量的问题，类似这样的问题导致其服务器速度减慢甚至崩溃。该公司试图通过引入每月 20 美元的付费 ChatGPT Plus 服务来解决这个问题，但并没有多少用户为此买单。
多年以来，使用 OpenAI 语言模型的企业一直在支付高昂的服务费。Latitude 是一家使用提示词自动创作故事情节的 AI 地牢游戏初创公司，CEO Nick Walton 表示为了让 AI 回应数百万用户的查询，2021 年他们每月运行模型和租用亚马逊云科技服务器的费用高达 20 万美元。
为了回避这笔夸张的开销，Walton 决定转向由 Al21 Labs 支持的语言软件服务商。他说此举帮助公司将 AI 成本削减了一半，目前为每月 10 万美元。
“我们开玩笑说公司既有人类员工、也有 AI 员工，而且两边的年薪水平都差不多。我们每个月要在 AI 身上花几十万美元，考虑到 Latitude 的体量并不大，所以这绝对是一笔相当夸张的支出。”
目前，OpenAI 使用的是英伟达 GPU 来维持运行，有行业分析师预计，在 2023 年剩余时间里，该公司可能需要额外的 3 万个英伟达的 GPU 来维持其商业性能。
微软自研 AI 芯片降成本
面对每天如此高的运行成本，财力强大如微软也有些吃不消了。有媒体报道，微软目前正在开发自己的专有 AI 芯片，以协助维护 OpenAI 的 ChatGPT 运行，降低运行成本。
The Information 最早发表报道，微软正在开发的这款 AI 芯片名为 Athena“雅典娜”。该项目于 2019 年在微软与 OpenAI 达成 10 亿美元的交易后启动，该交易要求 OpenAI 在微软的 Azure 云服务器上独家运行其人工智能模型。如今时间已经过去近四年，目前仍有 300 多名微软员工在开发这款芯片。
微软目前使用的 AI 芯片是对外采购，而非自家产品。微软希望 Athena AI 芯片的性能能够超越供应商的芯片，以进一步降低开发 AI 所需耗费的资金成本和时间。随着生成式 AI 大爆发，包括亚马逊和谷歌等科技巨头都已推出自研 AI 芯片。
“与英伟达的产品相比，Athena 如果具有竞争力，可以将每个芯片的成本降低三分之一，”Patel 告诉 The Information。
简单地说，潜在的节省可能是巨大的。
Athena 项目背后的原因有二：其一，微软高管意识到，他们在自主研发芯片方面落后于谷歌和亚马逊；其二，微软正在寻找更便宜的替代品，该公司目前的人工智能模型是在英伟达的图形处理单元芯片上运行的。
虽然目前在机器学习领域，NVIDIAGPU 市占率高达 95%以上，至今没有对手可以匹敌。但是，随着众多的云服务巨头纷纷自研 AI 芯片，以及英特尔在 GPU 上的持续发力，或将对 NVIDIA 造成一定的压力。
有两位知情人士向 The Information 证实，该芯片最早可能在明年发布以供微软和 OpenAI 内部使用。
虽然自研了 AI 芯片，但微软可能并不打算全面取代英伟达的 AI 芯片，因为两者最近同意了进行为期数年的 AI 合作。
参考链接：
https://www.businessinsider.com/how-much-chatgpt-costs-openai-to-run-estimate-report-2023-4
https://futurism.com/the-byte/chatgpt-costs-openai-every-day
https://www.digitaltrends.com/computing/chatgpt-cost-to-operate/
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
加V：busulishang4668
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论