快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

刚发布就被质疑?超过 GPT-4 的“最强”大模型 Gemini、“最高效”训练加速器,谷歌到底行不行

  • 2023-12-08
    北京
  • 本文字数:3719 字

    阅读完需:约 12 分钟

大小:1.83M时长:10:41
刚发布就被质疑?超过GPT-4的“最强”大模型Gemini、“最高效”训练加速器,谷歌到底行不行

当地时间 12 月 6 日,谷歌发布了自己“迄今为止功能最强、通用性最高”的 AI 模型 Gemini。


谷歌及 Alphabet CEO 桑达尔·皮查伊 (Sundar Pichai)表示,首个 Gemini 1.0 针对不同规模进行优化,具体分为 Ultra、Pro 和 Nano 三个版本。“这是 Gemini 时代的首批模型,也是我们今年早些时候重组 Google DeepMind 时所表达愿景的首个实现。此模型代表着谷歌作为一家企业,在 AI 新时代下所做出的最重要的科学与工程努力之一。”


但刚发布不久,科技专栏作家 Parmy Olson 指出,其中一个 AI 实时对人类的涂鸦和手势动作给出评论和吐槽的视频被曝出“不是实时或以语音方式进行的”。还有网友吐槽整个互动过程“特别慢,跟演示视频完全不同。”


这个视频主要是演示“多模态提示”(multimodal prompting),即为大模型提供不同模式的组合(在本例中为图像和文本),并让其通过预测接下来会发生什么来做出反应。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    对此,Google DeepMind 研究与深度学习主管副总裁 Oriol Vinyals表示,“视频中的所有用户提示和输出都是真实的,只是为简洁起见进行了缩短剪辑。”但网友对此并不买账,认为谷歌在玩营销手段,误导大家。


    在谷歌发布的一篇文章里,详细介绍了效果实现经过,可以看出是使用静态图片和多段提示词拼凑训练。



    看看谷歌的测试


    Gemini 被称为谷歌迄今为止最灵活的模型,能够从数据中心到移动设备实现高效运行,帮助开发人员与企业客户显著增强在利用 AI 进行构建和扩展时的操作方式。谷歌针对三种不同体量优化了 Gemini 1.0(首个正式模型版本),分别为:


    • Gemini Ultra — 最大、功能最强的模型,适用于高度复杂的任务。

    • Gemini Pro — 可处理各种任务类型的最佳模型。

    • Gemini Nano — 能够在多种设备上高效运行的任务处理模型。


    值得注意是,本次尚未发布最强大的 Gemini Ultra,距离正式发布还需要几个月的时间。目前 Gemini Ultra 正在进行全面的信任与安全检查,包括由受信的外部合作方进行红队审查,并在广泛应用前通过微调和基于人类反馈的强化学习(RLHF)对其做进一步完善。


    Gemini Pro 和 Gemini Nano 已分别集成到了聊天机器人 Bard 和智能手机 Pixel 8 Pro 上。此外,自 12 月 13 日开始,开发者和企业客户都可通过 Google AI Studio 或者 Google Cloud Vertex AI 中的 Gemini API 访问 Gemini Pro 模型。在未来几个月间,Gemini 将逐步登陆谷歌更多产品及服务,包括搜索、广告、Chrome 浏览器以及 Duet AI 等。


    谷歌说得很厉害,那 Gemini 1.0 的实力到底如何?


    

    根据谷歌测试结果,从自然图像、音频和视频理解再到数学推理,在大语言模型(LLM)研发领域的 32 种常见学术基准测试中,Gemini Ultra 的性能一举创下 30 项最佳新纪录。


    在 MMLU(大规模多任务语言理解)中 Gemini Ultar 的得分高达 90.0%,成为首个超越人类专家的模型。这项测试结合了数学、物理、历史、法律、医学和伦理学等 57 个科目,旨在测试 AI 模型掌握知识和解决问题的能力。


    Gemini 在文本和编码等一系列基准测试中表现超过 GPT-4:



    Gemini Ultra 还在新的 MMMU 基准测试中取得了 59.4%的最高得分。这项基准测试涵盖跨越不同领域、需要深思熟虑的一系列多模态推理任务。


    根据谷歌测得的图像基准,Gemini Ultra 的性能优于以往最先进的模型,且无需借助从图像中提取文本以供进一步处理的对象字符识别(OCR)系统的辅助。谷歌表示,这些测试结果凸显出 Gemini 的天然多模态优势,也证明 Gemini 已经表现出具备复杂推理能力的早期特征。


    Gemini 在一系列多模态基准测试中均创下性能新纪录,全面超越 GPT-4V:


    多模态推理能力


    到目前为止,创建多模态模型的标准方法主要是针对不同模态训练单独的组件,再将其组合起来以粗略模仿相应能力。由此实现的模型虽然比较擅长执行某些特定任务,例如描述图像内容,但却难以处理概念性更强、复杂度更高的推理任务。


    在 Gemini 的起始阶段就将其定位为原生多模态形式,针对不同模态开展预训练。之后,谷歌又使用额外的多模态数据对其进行微调,希望进一步完善其有效性。现在,Gemini 可以同时识别和理解文本、图像、音频、视频和代码五种信息。


    理解文本、图像、音频等各种素材


    Gemini 1.0 拥有精妙的多模态推理能力,可以帮助理解复杂的书面与视觉信息,展现出了在大量数据中提取重要知识的独特能力。比如,Gemini 在阅读、过滤和理解信息的过程中,可以从数十万份文档中提取见解并进行分析。


    Gemini 1.0 在训练之后,能够同时识别并理解文本、图像、音频等各种素材,因此可以把握住更加微妙的信息,并回答与复杂主题相关的更多问题。这使得它特别擅长解释数学、物理等复杂学科的推理过程。


    比如,Gemini 可以识别学生的手写物理题答案,并验证正确性:

    


    基于视觉线索进行推理:

    


    音频方面,可以看下 Google DeepMind 研究科学家 Adrià Recasens Continente 演示 Gemini 能够理解来自多个扬声器的不同语言的音频,并结合视觉、音频和文本,在厨房做饭时提供帮助的场景:


    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00

      高级编码能力


      谷歌介绍,首个 Gemini 正式版能够理解、解释并生成基于目前各种流行编程语言(例如 Python、Java、C++和 GO)的高质量代码。其表现出的跨语言工作和复杂信息推理能力,也使得 Gemini 成为世界领先的编码基础模型之一。



      Gemini  的多模式推理功能生成用于重新排列子图的 matplotlib 代码


      Gemini Ultra 在多项编码基准测试中表现出色,包括 HumanEval(用于评估编码任务性能的重要行业标准)和 Natural2Code(谷歌内部保留的数据集),此数据集使用作者专门创作的源素材、而非来自网络的信息。


      Gemini 还能作为更高级编码系统的引擎。谷歌两年之前发布了 ALphaCode,这也是首个在编程竞赛中表现出一定竞争力的 AI 代码生态系统。使用 Gemini 的专用版本,谷歌推出更加先进的代码生成系统 AlphaCode 2。除了编码场景之外,它还擅长解决涉及复杂数学和理论计算科学的更多编程难题。


      面对与初代 AlphaCode 相同的评估场景,AlphaCode 2 表现出巨大的性能改进,其解决的问题数量几乎达到初版的两倍,谷歌估计其成绩优于 85%的竞赛参与者,而 AlphaCode 成功解决问题的比例只接近 50%。因此当程序员通过代码示例来定义某些属性,并借此向 AlphaCode 2 寻求帮助时,其表现会更好。


      “专为训练顶尖 AI 模型而生”的 TPU 系统


      在介绍自家大模型的同时,谷歌顺势推出了了自己的 AI 训练基础设施。


      谷歌使用内部设计的张量处理单元(TPU)v4 和 v5e 在 AI 优化的基础设施之上,完成了 Gemini 1.0 的大规模训练任务。


      在 TPU 上,Gemini 的运行速度明显快于其他更早、更小且功能较差的模型。这些定制设计的 AI 加速器一直是谷歌 AI 产品的核心,负责为搜索、YouTube、Gmail、谷歌地图、Google Play 和 Android 等服务的数十亿用户提供支持。它们也使得世界各地的其他企业也能经济高效地训练出自己的大规模 AI 模型。


      如今,谷歌宣布推出迄今为止“最强大、最高效且可扩展”的 TPU 系统 Cloud TPU v5p,专为训练顶尖 AI 模型而生。谷歌表示,作为下一代 TPU,它将加速 Gemini 开发,帮助开发者和企业客户快速训练大规模生成式 AI 模型,将新产品和新功能更快交付至客户手中。



      谷歌数据中心内的 Cloud TPU v5p AI 加速器超级计算机


      此外,在安全问题上,谷歌表示,Gemini 拥有迄今为止所有谷歌 AI 模型当中最全面的安全评估机制,包括偏见与有毒内容检测。谷歌还对网络攻击、说服与自主判断等潜在风险领域开展了新颖研究,并应用谷歌研究院领先的对抗性测试技术抢在部署之前帮助发现 Gemini 中的重大安全隐患。


      为了诊断 Gemini 训练阶段的内容安全问题,并确保其输出结果符合政策,谷歌使用诸如真实毒性提示词 Real Toxicity Prompts 在内的多种基准。这是一组从网络提取的、包含不同程度毒性内容的 10 万条提示词,由艾伦 AI 研究所的专家们提供。为了限制伤害,谷歌还构建了专门的安全分类器,用以识别、标记并整理涉及暴力或负面刻板印象的内容。


      附 Sundar Pichai 公开信内容:

       

      每一次技术变革都代表着推动科学发现、加速人类进步和改善生活品质的机遇。我相信我们现在所见证的 AI 转变,将成为我们一生当中最具深远意义的事件,甚至远远超越之前的移动或者 Web 革命。AI 有望为全球各地的人们创造前所未有的日常生活体验和非凡的职业发展空间,将掀起新一波的创新与经济进步,并以前所未见的规模提升知识、学习、创造力与生产力。

       

      这也让我感到兴奋,期待通过 AI 技术为各国各地的每一个人提供帮助。

       

      作为一家 AI 优先的厂商,我们已经走过近八年历程,而前进的步伐只会不断加快:数百万用户正在我们的产品中运用生成式 AI 完成一年之前还难以想象的工作,包括为更加复杂的问题寻求答案、使用新工具协作与创新等等。与此同时,开发人员也在使用我们的模型与基础设施构建出新的生成式 AI 应用程序,世界各地的初创企业和组织正利用我们的 AI 工具不断拓展业务。

       

      这是一股令人难以置信的发展态势,而且我们才刚刚开始触及这无限可能性的最表层。


      我们正以大胆且负责任的态度开展这项工作。这意味着我们既需要追求雄心勃勃、能够为人类和全社会带来巨大收益的技术成果,同时也要建立保障措施并与政府和专家合作,应对 AI 发展过程中带来的种种风险。我们将继续投资打造更好的工具、基础模型和底层设施,并在我们 AI 原则的指导下将其引入自己的产品及其他方案当中。


      相关链接:

      https://blog.google/technology/ai/google-gemini-ai/#availability

      https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf

      2023-12-08 10:045325

      评论

      发布
      暂无评论
      发现更多内容

      AI 训练加速原理解析与工程实践分享

      百度Geek说

      人工智能 机器学习 12 月 PK 榜

      软件测试面试真题 | 什么是 Redis ? Redis缓存应用场景有哪些?

      测试人

      redis 软件测试 自动化测试 测试开发

      小程序游戏的3大分发平台

      FinFish

      小程序 小游戏 小游戏运营

      研讨会回顾 | 自动化测试“领导者”SmartBear解析软件质量与测试现状调研

      龙智—DevSecOps解决方案

      软件测试 自动化测试 测试自动化

      案例丨多元业态管理服务厂商如何走通数字化转型之路

      优秀

      数字化转型 数字化管理

      Docker daemon configuration overview(Docker 守护进程配置概览)

      独钓寒江

      语音生成领域模型又填一名猛将

      felix

      深度学习 语音合成 TTS

      内网穿透你真的了解吗?

      C++后台开发

      网络安全 NAT Linux服务器开发 内网 网络穿透

      持续发力折叠屏生态,OPPO 携手开发者探索大屏应用新体验

      科技热闻

      ins快拍下载保存到手机相册最新图文教学!

      frank

      ins图片下载 ins

      启科量子或将开源环境部署工具Runtime

      启科量子开发者官方号

      #开源 #量子计算

      模块四课后作业 - 设计千万级学生管理系统的考试试卷存储方案

      闲人Eric

      架构实战营

      【观察】融云百幄:为政企数智办公按下“快进键”

      融云 RongCloud

      融云 数智化 政企 百幄

      当云原生网关遇上图数据库,NebulaGraph 的 APISIX 最佳实践

      NebulaGraph

      图数据库 API网关

      有序存储对于高性能的意义

      华为云开发者联盟

      后端 开发 华为云 12 月 PK 榜

      华为云桌面解决方案,打造安全高效办公新体验

      科技怪授

      云桌面

      多年缓慢成长,近3年野蛮狂飙,谁是这个赛道的王者?

      ToB行业头条

      还原火山引擎A/B测试产品——DataTester 私有化部署实践经验

      字节跳动数据平台

      大数据 AB testing实战 12 月 PK 榜

      小游戏开发投放平台及分成政策盘点

      Onegun

      小游戏 小游戏开发

      华为云桌面,助力企业数字化转型

      爱尚科技

      PHP转Go之后,我又开始研究机器学习和自动驾驶了。

      王中阳Go

      自动驾驶 Apollo

      安装 Azure CL 并生成 service principal 文件

      HummerCloud

      云计算 azure

      版本控制 | SVN,Git与Helix Core,谁的数据管理基础设施更安全?

      龙智—DevSecOps解决方案

      git svn 版本控制 版本控制系统

      基于Seata探寻分布式事务的实现方案

      京东科技开发者

      大数据 分布式事务 微服务架构 关系型数据库 seata

      【经验】硬件工程师与PCB槽孔斗智斗勇的故事

      华秋PCB

      工具 PCB PCB设计 槽孔

      融云任杰:激活组织生命力 让听见炮火的人做决策 | TGO专访

      融云 RongCloud

      专访 程序员‘

      管理有方!华为云数据库为医药行业管理加速

      华为云开发者联盟

      数据库 后端 华为云 12 月 PK 榜 医药

      华为云桌面,让企业随时随地开启云上办公

      爱尚科技

      代码质量与安全 | 如何将清洁代码标准扩展到整个企业,促进业务上的成功?

      龙智—DevSecOps解决方案

      代码质量 代码安全

      使用无代码构建客户门户

      间隔

      高性能网关基石——OpenResty

      ooooooh灰灰

      lua nginx openresty

      刚发布就被质疑?超过GPT-4的“最强”大模型Gemini、“最高效”训练加速器,谷歌到底行不行_AI&大模型_褚杏娟_InfoQ精选文章