AI 年度盘点与2025发展趋势展望,50+案例解析亮相AICon 了解详情
写点什么

对话 OpenAI Greg Brockman:GPT-4 并不完美,但人类也一样

  • 2023-03-23
    北京
  • 本文字数:2781 字

    阅读完需:约 9 分钟

对话OpenAI Greg Brockman:GPT-4并不完美,但人类也一样

OpenAI日前发布了备受期待的文本生成 AI 模型 GPT-4。在举世轰动之余,人们也实在好奇这样的辉煌成就究竟是如何被创造出来的。

 

GPT-4 在多个关键层面对上代 GPT-3 实现了超越,包括提供更符合事实的陈述,也允许开发人员轻松设定风格和行为。它还具备多模态支持能力,可以理解图像,甚至根据照片内容添加标题和做出解读。

 

GPT-4也有不少严重缺陷。与 GPT-3 一样,该模型仍存在“幻觉”和基础性的推理错误。OpenAI 自己发布博文称,GPT-4 将猫王称为“演员的儿子”(他的父母并非演员)。

 

为了更好地了解 GPT-4 的开发周期、现有功能和局限性,我们有幸与 OpenAI 联合创始人兼总裁 Greg Brockman 进行了交谈。

 

在被问及 GPT-4 和GPT-3的区别时,Brockman 只说了一个词:不一样。

 

“二者确实不一样。GPT-4 模型仍然存在很多问题和错误……但也可以看到,它对微积分和法律内容的理解实现了飞跃。尽管在某些领域的表现还是不行,但在其他方面就算用衡量人类的标准看也是相当出色。”

 

测试结果也证实了他的说法。在美国大学理事会的 AP 微积分 BC 考试中,GPT-4 获得了 4 分(满分 5 分),GPT-3 则仅获得 1 分。(作为 GPT-3 与 GPT-4 之间的过渡版本,GPT-3.5 同样拿到 4 分。)而在模拟律师考试中,GPT-4 的排名在人类考生中挤入前 10%,GPT-3.5 的分数则在倒数 10%左右。

 

此外,GPT-4还表现出了有趣的多模态支持能力。与只能接受文本提示的 GPT-3 和 GPT-3.5(例如「写一篇关于长颈鹿的文章」)不同,GPT-4 能够通过图像和文本提示来执行某些操作。(例如提交一张长颈鹿的实拍照片,问「图中有多少只长颈鹿?」)

 

这是因为 GPT-4 接受了图像和文本数据的双料训练,而前面几个版本只接受过文本训练。OpenAI 表示,训练数据来自“各种许可、创建且公开可用的数据源,其中可能包括公开可用的个人信息”。但 Brockman 拒绝回答更多具体细节(OpenAI 之前曾经因训练数据的归属问题陷入法律纠纷)。

 

GPT-4 也确实表现出令人印象深刻的图像理解能力。例如,输入提示“这张图片的笑点在哪里?”,再配上一张 VGA 线接 iPhone 的照片,GPT-4 就正确理解了个中内容并详细做出解释(「图像中的笑点,来自错误将陈旧的大 VGA 端口接入小型现代智能手机的充电口」)。

 

目前只有一家合作伙伴获准使用 GPT-4 的图像分析功能,这就是名为 Be My Eyes 的视障人士辅助应用。Brockman 表示,OpenAI 正在评估功能开放的风险和收益,而且后续推广一定会采取“缓慢且谨慎的方式”。

 

“我们需要想办法解决人脸识别和人物肖像等政策性问题。我们得摸清危险区在哪里、红线在哪里,然后随时间推移逐步找到正确的处理方式。”

 

OpenAI 的文本到图像系统DALL-E 2 也遭遇过类似的道德困境。OpenAI 最初允许客户上传人脸,使用 AI 图像生成系统进行画面编辑,但在激起反对后紧急叫停。后来 OpenAI 宣称安全系统已经升级,能够“最大限度降低 deepfakes、色情、政治和暴力内容造成的潜在危害”,并将人脸编辑功能重新开放。

 

另一大隐患在于 GPT-4 可能被用于造成意外危害,包括利用目标心理、实施金钱欺诈等。模型发布数小时之后,以色列网络安全初创公司 Adversa AI 就发布博文,表示已成功绕过 OpenAI 的内容过滤器,甚至公开了让 GPT-4 生成网络钓鱼邮件、对同性恋者的攻击性描述及其他有毒文本的办法。

 

这在语言模型领域算是个老大难问题了。Meta公司的 BlenderBot 和 OpenAI 的ChatGPT都曾在用户的“诱导”下生成了极具冒犯性的内容,甚至透露了系统内部运作的敏感细节。但人们仍然对 AI 大模型的表现振奋不已,也期待 GPT-4 能在自我审查和节制方面实现重大改进。

 

在被问及 GPT-4 的稳健性时,Brockman 强调该模型已经接受了六个月的安全训练。而且在内部测试中,它对 OpenAI 禁止内容做出响应的几率较 GPT-3.5 降低了 82%,生成“符合事实”响应的几率则提高了 40%。

 

“我们花了很多时间来摸索 GPT-4 的能力,摸索的方式就是把它对外公布。我们不断做更新,包括一系列改进,希望模型能真正匹配使用者想要的个性或模式。”

 

但必须承认,早期实际测试的结果并不理想。除了 Adversa AI 测试之外,基于 GPT-4 的微软聊天机器人 Bing Chat 也被证明极易被“攻破”。利用精心设计的输入,用户已经能让机器人表达爱意、威胁伤害、支持大屠杀和编造阴谋论。

 

Brockman 并不否认 GPT-4 的种种不足。但他也强调了该模型所使用的新型操控缓解工具,包括 API 级的“系统”消息功能。系统消息的本质是一种指令,负责为 GPT-4 的交互行为设定基调和边界。例如,系统消息可以这样编写,“你是一位苏格拉底式的思辨型导师,你永远不会直接给学生答案,而是通过一个个正确的问题帮助他们学会独立思考。”

 

OpenAI希望把系统消息当作护栏,防止 GPT-4 偏离既定“轨道”。

 

“我们一直在努力理解 GPT-4 的基调、风格和实质从何而来。我觉得现在我们已经在工程层面找到些思路了,包括如何实现可重现的过程,生成对人们真正有用的可预测结果。”

 

Brockman 还谈到了 Evals,这是 OpenAI 用于评估其 AI 模型性能的全新开源软件框架。OpenAI 希望借此保证自家模型的“稳健性”。Evals 允许用户开发和运行基准测试,以此评估 GPT-4 等模型的性能,这意味着大语言模型将步入众包测试的新时代。

 

“借助 Evals,我们能够以系统化的方式掌握用户最关心的用例,并据此开展测试。之所以决定开源,也是考虑到我们后续不会再隔三个月才发布新模型,而是转向持续改进的方式。如果无法衡量,自然也就无法实现了,对吧?在为模型开发新版本时,我们至少可以借此了解哪些地方发生了变化。”

 

我们询问 Brockman,OpenAI 打不打算向通过 Evals 测试其模型的人们付费。他暂时给不出确切的结论,但表示 OpenAI 确实向指定的 Evals 用户开放了 GPT-4 API 的早期访问权限。

 

Brockman 还谈到了 GPT-4 的上下文窗口,也就是模型在生成新文本之前能够参考的文本量。OpenAI 目前正在测试 GPT-4 某一特定版本,其能够“记住”约 50 页内容。换句话说,这个版本的“记忆容量”相当于普通 GPT-4 的 5 倍、GPT-3 的 8 倍。

 

Brockman 认为更大的上下文窗口将派生出前所未有的新型应用程序,特别是在企业场景之下。他设想会有专门为企业业务构建的 AI 聊天机器人,能够利用不同来源(包括各部门员工)的上下文和知识以娴熟的对话解惑答疑。

 

这虽然不是什么新鲜概念,但 Brockman 表示 GPT-4 的回答质量要远远高于责令一切聊天机器人和搜索引擎。

 

“以往,模型并不知道是谁在发问、你对哪些内容感兴趣等。更大的上下文窗口代表着更丰富的参考信息,肯定会让 AI 模型掌握更多知识、更好地为人类赋能。”

 

原文链接:

https://techcrunch.com/2023/03/15/interview-with-openais-greg-brockman-gpt-4-isnt-perfect-but-neither-are-you/?guccounter=1&guce_referrer=aHR0cHM6Ly9uZXdzLnljb21iaW5hdG9yLmNvbS8&guce_referrer_sig=AQAAAATciFx2sgGMIyHWoErJAFDo6hB-eouE0HxMvTSOgk8aD6C_Clkzk1JtNZaOTbUtf9Sa-BuwBS36sQu2t7l6vwj58K34WkrFWPpyEGskLBTvfqdMXbtLtF6ZaOoTWSWRCt7Egccc-lQIqGECJN5Y2gZX1WXh9FR5o17IQEHY3jjf

2023-03-23 16:594475
用户头像
李冬梅 加V:busulishang4668

发布了 954 篇内容, 共 550.1 次阅读, 收获喜欢 1113 次。

关注

评论

发布
暂无评论
发现更多内容

Go 语言入门很简单:技巧和窍门(Tips and Tricks)

宇宙之一粟

Go 语言 2月月更

火遍网络的KPI异常检测到底什么梗?

乌龟哥哥

2月月更

混合云模式下,如何定义一款好的 API 网关

API7.ai 技术团队

流量控制 api 网关 微服务治理 Apache APISIX

Hive往表写入数据的八种方法

编程江湖

java培训:Java堆和栈区分出来的原因

@零度

JAVA开发

第1章:初识数据库与MySQL----数据库基本概念

乌龟哥哥

MySQL 2月月更

try{}catch居然可以隐藏?让我们用函数式接口来实现吧

山河已无恙

Java 2月月更

金3银4面试前,把自己弄成卷王!

小傅哥

面试 小傅哥 金三银四 项目学习

前端培训:分享web前端面试“区别”题

@零度

前端开发 前端面试

[JAVA冷知识]为什么动态加载不适合数组?如何动态加载一个数组?

山河已无恙

Java 2月月更

Mybatis常用注解中的SQL注入

编程江湖

JVM进阶(十三):阶段学习回顾

No Silver Bullet

JVM 2月月更 回顾

经验分享 | TDengine在智能船舶领域的实践手册

TDengine

数据库 大数据 tdengine 物联网 时序数据库

Lazada 容器深度优化之旅

阿里巴巴终端技术

容器 优化业务 客户端开发 移动应用开发

也谈向上管理

wood

向上管理 300天创作

Nodejs内置模块path与fs模块简单使用

编程江湖

nodejs

云原生时代,软件交付有何不同 | 研发效能提升36计

阿里云云效

阿里云 云原生 持续交付 云平台 研发

带你读AI论文:NDSS2020 UNICORN: Runtime Provenance-Based Detector

华为云开发者联盟

漏洞 apt APT攻击 UNICONRN 数据来源分析

HarmonyOS canvas绘制“飞机大战”小游戏,真香!

HarmonyOS开发者

HarmonyOS

浅谈数仓建设及数据治理 | 社区征文

五分钟学大数据

数仓 新春征文

知名云计算厂商云宏加入龙蜥社区,共同打造信息安全坚实“地基”

OpenAnolis小助手

云计算 Linux 开源 社群运营

鸿蒙轻内核源码分析:文件系统FatFS

华为云开发者联盟

鸿蒙 Fat 文件系统 鸿蒙轻内核 FatFS

蚂蚁大规模 Kubernetes 集群无损升级实践指南【探索篇】

SOFAStack

云原生 etcd #Kubernetes# #k8s SIGMA

DDD[0]·序

陆乘风

领域驱动设计 领域驱动设计DDD 领域驱动设计思想

教你从零搭建Web漏洞靶场OWASP Benchmark

华为云开发者联盟

渗透测试 漏洞 安全测试 漏洞靶场

Nacos服务注册与发现的2种实现方法!

王磊

nacos SpringCloud Alibaba

vivo直播应用技术实践与探索

vivo互联网技术

RTMP 直播技术

你使用的是数据结构还是对象?

蜜糖的代码注释

Java 后端开发 2月月更

新年开工新气象|OceanBase 祝大家开工大吉!

OceanBase 数据库

开源 OceanBase 社区版 开工大吉

营销MM让我讲MySQL日志顺序读写及数据文件随机读写原理

华为云开发者联盟

MySQL 磁盘 数据读写 日志顺序读写 数据文件随机读写

使用JMX Exporter监控Rainbond上的Java应用

北京好雨科技有限公司

对话OpenAI Greg Brockman:GPT-4并不完美,但人类也一样_AI&大模型_Kyle Wiggers_InfoQ精选文章