【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

编程能力超强、还支持 100 多种语言,谷歌将在开发者大会上发布“巨型巴德”PaLM 2

  • 2023-05-09
    北京
  • 本文字数:2341 字

    阅读完需:约 8 分钟

编程能力超强、还支持 100 多种语言,谷歌将在开发者大会上发布“巨型巴德”PaLM 2

谷歌正在为开发人员提供其最先进的人工智能语言模型之一:PaLM。

 

据报道,当地时间周三,谷歌将举行“谷歌 I/O”年度开发者大会,AI 将成此次大会的中心议题。谷歌将会对外发布一系列有关生成式 AI 的产品技术成果,包括一个用途更广泛的大型语言模型 (LLM)。

 

内部文件显示,谷歌将在这次大会上对外发布最新版本、也是技术最先进的大型语言模型“PaLM 2”,这个语言模型支持全球 100 多种语言,之前已经在谷歌内部进行试验,测试代号是“统一语言模型(Unified Language Model)”。据悉,这一语言模型“智商更高”,已经能够编写软件代码,完成数学考试,也能够完成创意作文和分析方面的测试。而就在不久前,谷歌刚宣布要将Bard 的轻量级 LaMDA 模型升级为更大规模的 PaLM 模型,所以 Bard 也会相应地在处理常识推理和编程问题等任务时能力更强。

 

在这次大会上,谷歌宣传 AI 的一个主题是“AI 如何帮助人类实现全部潜能”,该公司也将宣布有关的产品更新,其中包括网页搜索以及 AI 对话工具 Bard 的更多生成式功能。

 

谷歌及其母公司 Alphabet 首席执行官 Sundar Pichai 将向现场的开发者发表演讲,介绍该公司在人工智能领域取得的进步。

 

谷歌此次更新正值人工智能领域的竞争加剧之际,该公司和微软都在竞相将聊天人工智能技术融入自己的产品中。微软正在利用对 ChatGPT 创建者 OpenAI 的投资来支持其必应搜索引擎,而谷歌也迅速行动起来,试图在不同的团队中整合其 Bard 技术,并推出自己的 LLM。

 

有文件显示,谷歌还计划分享 Bard 和搜索方面取得的进展,提供所谓的“生成式体验”,包括将 Bard 用于编码、数学和“逻辑”。另一份内部文件显示,谷歌还在内部开发了一个名为“Multi-Bard”的多模态模型版本,它使用了更大的数据集,可以帮助解决复杂的数学和编码问题。此外,谷歌还测试了名为“Big Bard”和“Giant Bard”的版本。

 

谷歌大模型的代码生成能力

 

CNBC 报道称,PaLM 2 的发布将是大会的一个重要的组成部分。

 

谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。PaLM 的应用在这一年取得了很大的进展,今年 3 月,该公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企业工具,称这将帮助企业“通过简单的自然语言提示生成文本、图像、代码、视频、音频等”。上个月,谷歌称其名为“Med-PaLM 2”的医学 LLM 可以回答“专家医生级别”的医学检查问题,准确率达 85%。

 

 PaLM 是谷歌基于 Pathways 系统训练的一个 5400 亿参数的大型语言模型。可对比 Bard 的 LaMDA 模型,它使用了 1370 亿个参数进行训练。为了训练这个模型,谷歌动用了 6144 块 TPU,让 Pathways 在两个 Cloud TPU v4 Pods 上训练 PaLM。

 

去年谷歌还发布了长达 83 页的 Pathways 系统论文,论文作者阵容很强大,还包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上说,这个项目花了 1 年多的时间,跨了多个部门(基础架构、数据、硬件等)。

 


强大的系统和算力投入带来了惊艳的结果,PaLM 在许多非常困难的任务上显示出了突破性的能力,包括语言理解、生成、推理和代码等相关任务。

 

PaLM 使用英语和多语言数据集进行训练,包括高质量的 web 文档、书籍、维基百科、对话和 GitHub 代码。研究者还创建了一个“无损(lossless)”词汇表,它保留了所有空格(对于代码来说尤其重要),将词汇表之外的 Unicode 字符拆分成字节,并将数字拆分成单独的 token,每个 token 对应一个数字。

 

因此,PaLM 在许多非常困难的任务上显示出突破性的能力。

 

在需要多步骤算术或常识推理的推理任务上,PaLM 能解决 GSM8K 中 58% 的问题,这是一个包含数千个具有挑战性的小学水平数学问题的基准,这个得分接近 60% 的 9 到 12 岁儿童解决问题的水平。

 

在代码生成方面,在给定自然语言描述(文本到代码)的情况下编写代码,PaLM 能很好地将代码从一种语言翻译成另一种语言,以及修复编译错误(代码到代码)。

 

相对小模型,大模型可以更好地从其他编程语言和自然语言数据中实现迁移学习,所以具有 540B 参数的 PaLM 在单个模型中显示了横跨编码任务和自然语言任务的强大性能,即使它在预训练数据集中只有 5% 的代码。

 


另外,谷歌还通过在纯 Python 代码数据集上微调 PaLM ,将模型性能进一步提高,谷歌称之为 PaLM-Coder。

 

对于给定的“DeepFix 示例代码”修复任务,谷歌研究人员想让大模型修改损坏的 C 程序,直到可以编译成功,PaLM-Coder 540B 展示了令人印象深刻的性能,实现了 82.1% 的编译率。这为修复软件开发过程中出现的更复杂的错误提供了机会。

 


PaLM-Coder 将编译错误(左图,红色)修复为可编译的代码版本(右图)。

 

将新的大模型接入 Bard

 

今年三月,谷歌首席执行官 Sundar Pichai 在接受 Hard Fork 播客节目采访时表示,Bard 将从基于轻量级 LaMDA 模型升级为更大规模的 PaLM 模型。

 

在此之前,Bard 只可以回答一些基本的编程问题,例如如何打印“Hello World”,但如果用户想要了解更高级的编程概念或技巧,Bard 就会遇到困难。Pichai 说:“我们想让 Bard 能够教你如何编程,而不仅仅是给你一些代码片段。”

 

为了实现这些,Pichai 表示,Bard 有必要接入更大的语言模型。接入 PaLM 模型后,Bard 在处理常识推理和编程问题等任务时能力会表现得更强,Pichai 将之形容为“把一辆改装过的思域汽车放在了与更强大的汽车的比赛中”。

 

谷歌每年一度的开发者大会“谷歌 I/O”将于 5 月 10 日上午 10 点至下午 1 点(太平洋时间)举行,我们将继续关注谷歌 Bard 的动态,特别是关于大型模型编程语言能力提升方面的进展。

 

参考链接:

https://www.cnbc.com/2023/05/08/google-io-to-feature-ai-updates-showing-off-palm-2-llm.html

https://m.thepaper.cn/newsDetail_forward_22559226

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

 

2023-05-09 14:366539

评论

发布
暂无评论
发现更多内容

28天瞎写的第二百二十九天:存储过程的故事

树上

28天写作

产品经理的书籍清单【持续更新】

学习高手song轻松

产品

关于利益相关者的作业

mas

产品经理训练营第二章作业(一)

新盛

Elasticsearch从入门到放弃:浅谈算分

Jackey

elasticsearch

利益相关者练习

王一凡

产品经理 产品经理训练营 利益相关者

产品经理训练营第二次作业

猫。

第二次作业

Geek_d9dd01

产品经理训练营 - 第二章作业

joelhy

产品经理训练营

抽奖助手利益相关方和问题分析

June

产品经理训练营

产品训练营·第二周作业 & 总结

tiu

共识算法的简单理解(二)

石君

28天写作 拜占庭容错 PBFT

什么是视频?|视频号28天(19)

赵新龙

28天写作

利益相关方以及优先级

skylar

作业二

hopeful

极客大学产品经理训练营

第二周作业

正午看星星

极客大学产品经理训练营

有了分身术也不能解决的问题「幻想短篇 19/28」

道伟

28天写作

产品思维和产品意识

王一凡

产品经理 产品经理训练营 极客大学产品经理训练营

产品利益相关方小结

skylar

产品经理训练营第二周总结

happy-黑皮

产品经理训练营

产品经理-第二周作业

LLL777

产品经理训练营 - 第二次作业

Geek_娴子

产品思维和产品意识-利益相关方学习总结

mas

【作业-02】产品思维和产品意识

西西里奇

产品经理

作业2

YING꯭YING

第二/三周作业

🌴stolmpj

年底想跳槽?先想清楚自己要什么。

一笑

面试 工作 28天写作

GNUCash 4: 我的使用经验

lidaobing

GNUCash 28天写作

我的自学编程之路

IT蜗壳-Tango

七日更

第2章:产品思维总结

让时间说真话

产品经理

抽奖助手stackholder

再见陛下

编程能力超强、还支持 100 多种语言,谷歌将在开发者大会上发布“巨型巴德”PaLM 2_AI&大模型_Tina_InfoQ精选文章