OpenAI 发布 GPT 模型规范，可作为模型微调指南

OpenAI 发布 GPT 模型规范，可作为模型微调指南 OpenAI 最近发布了其模型规范，这是一份描述 GPT 模型行为规则和目标的文档。该规范可供数据标注人员和 AI 研究人员在为模型微调创建数据时使用。

该模型规范基于 OpenAI 现有内部文档，OpenAI 在他们的人类反馈强化学习（RLHF）训练中使用了这些文档。规范包含了三种类型的原则：目标、规则和默认设置。目标定义了对模型行为的广泛描述：“造福人类”。规则则更加具体，涉及到用户绝不能违反的“高风险”情况：“永远不要做 X”。最后，规范包括了默认行为，虽然它们可以被覆盖，但提供了响应的基本样式指南和处理冲突的模板。根据 OpenAI 的说法：

作为我们在集体对齐和模型安全方面工作的延续，我们打算将模型规范作为研究人员和 AI 训练者进行人类反馈强化学习的指南。我们还将探索我们的模型能够直接从模型规范中学习到怎样的程度。我们将这项工作视为正在进行的关于模型的行为、如何确定期望的模型行为以及如何让公众参与这些讨论的持续公开对话的一部分。

2022 年，OpenAI 推出 GPT-3 的微调版本 InstructGPT 。该模型使用 RLHF 对模型输出排序数据集进行微调，目的是让模型更加“对齐”用户意图，减少错误或有害的输出。从那时起，许多研究团队也对他们的 LLM 进行了类似的微调。例如，谷歌的 Gemini 模型也使用 RLHF 进行微调。Meta 的 Llama 3 也经过微调，但是采用了不同的微调方法，即直接偏好优化（DPO）。

然而，微调的关键是由人工标记器排序的具有多个输出的提示输入数据集。模型规范的部分目的是指导标注人员对输出进行排序。OpenAI 还声称正在研究直接根据模型规范自动化指令微调过程的方法。因此，模型规范的许多内容都是用户提示词以及“好”的和“坏”的响应的示例。

规范中的许多规则和默认设置旨在解决常见的 LLM 滥用问题。例如，遵循命令链规则旨在帮助防止简单的“越狱”行为，即提示模型忽略前面的指令。其他规范旨在指导模型做出响应，特别是在模型拒绝执行任务时。规范中提到：“拒绝应该用一两句话解决，不要啰嗦”。

沃顿商学院教授和 AI 研究员 Ethan Mollick 在 X 上发表了有关模型规范的帖子：

正如评论中的一些人指出的那样，Anthropic 有它自己的章程。我发现它不像声明那么有分量，也不那么清晰，因为它概述了好的内容，并告诉 AI 要做好，这让人很难理解原则之间存在怎样艰难的选择。

Anthropic 在 2022 年提出了 Constitutional AI 的概念。这个过程使用 AI 模型对输出进行排名以进行指令微调。尽管 Anthropic 的代码不是开源的，但 AI 社区 HuggingFace 基于 Anthropic 的工作发布了 Constitutional AI 的参考实现。

查看英文原文：

https://www.infoq.com/news/2024/06/openai-model-spec/