如何使用 ChatGPT 和 GPT

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

ChatGPT 和 GPT-4 模型是针对对话接口进行了优化的语言模型。 该模型的行为与旧的 GPT-3 模型不同。 以前的模型是文本输入和文本输出，这意味着它们接受了提示字符串并返回了一个会追加到提示的补全。 但 ChatGPT 和 GPT-4 模型都是输入对话和输出消息模式。这两种模型需要以类似聊天的具体脚本形式提供输入，然后通过聊天返回补全信息，以展示模型编写的消息。 虽然这种形式专为多回合对话而设计，但你会发现它也适用于非聊天场景。

在 Azure OpenAI 中，你有两种不同的方案与这两种类型的模型交互：

聊天补全 API 是一种用于与 ChatGPT 和 GPT-4 模型交互的新式专用 API。 访问这些模型的首选方式是使用此 API。 这也是访问新版 GPT-4 模型的唯一方法。

虽然 ChatML 使用的补全 API 与其他模型（如 text-davinci-002）使用的相同，但它需要一种以标记为单位的唯一提示格式，称为聊天标记语言 (ChatML)。 他提供的访问权限级别不仅比专用的聊天补全 API 低，而且还需要额外的输入验证，仅支持 ChatGPT (gpt-35-turbo) 模型，并且基础格式更有可能随着时间的推移而更改。

本文将指导你开始使用新的 ChatGPT 和 GPT-4 模型。 请务必使用本文所述的技术以获得最佳结果。 如果尝试以与旧模型系列交互的方式来与新模型交互，则模型通常会很冗长，并且提供不太有用的回复。

以下代码片段演示了通过聊天补全 API 使用 ChatGPT 和 GPT-4 模型的最基本方法。 如果你是第一次以编程方式使用这些模型，建议先开始学习 ChatGPT 和 GPT-4 快速入门。

GPT-4 模型目前仅按请求提供。 现有的 Azure OpenAI 客户可以通过填写此表单来申请访问权限。

注意

以下参数不适用于新的 ChatGPT 和 GPT-4 模型：logprobs、best_of 和 echo。 如果你设置了这些参数中的任何一个，则会收到错误。

每个回复都包含 finish_reason。 finish_reason 可能的值为：

考虑将 max_tokens 设置为略高于正常值，例如 300 或 500。 这可确保模型在到达消息末尾之前不会停止生成文本。

注意

gpt-35-turbo 等效于 OpenAI 中的 gpt-3.5-turbo 模型。

与以前的 GPT-3 和 GPT-3.5 模型不同，gpt-35-turbo 模型以及 gpt-4 和 gpt-4-32k 模型将继续更新。 创建这些模型的部署时，还需要指定模型版本。

目前，只有 0301 版本可用于 ChatGPT 模型，0314 版本可用于 GPT-4 模型。 我们会在将来继续提供更新的版本。 可以在我们的模型页上找到这些模型的模型弃用时间。

OpenAI 训练了 ChatGPT 和 GPT-4 模型，以接受对话形式的输入。 消息参数获取字典数组，对话按角色整理。

基本的聊天补全的格式如下所示：

一个示例答案后跟一个问题的对话如下所示：

数组的开头包含系统角色（也称为系统消息）。 此消息提供模型的初始说明。 可以在系统角色中提供各种信息，包括：

你可以为用例自定义系统角色，也可以仅包含基本说明。 系统角色/消息是可选的，但建议至少包含一条基本说明，以获得最佳结果。

在系统角色之后，可以在用户和助手之间加入一系列消息。

若要触发模型回复，在用户消息的末尾应提示该轮到助手回复了。 还可以在用户和助手之间加入一系列样本消息，以此进行少样本学习。

以下部分展示了可用于 ChatGPT 和 GPT-4 模型的不同提示样式的示例。 这些示例只是为了抛砖引玉，你可以尝试使用不同的提示来为自己的用例自定义行为。

如果你希望 ChatGPT 模型的行为类似于 chat.openai.com，则可以使用基本系统消息，例如“助手是 OpenAI 训练的大型语言模型。”

对于某些场景，你可能希望向模型提供其他说明，以定义模型能够执行的操作边界。

你还可以在系统消息中加入相关数据或信息，为模型提供额外的对话上下文。 如果只需要包含少量信息，则可以将其硬编码到系统消息中。 如果你有模型应注意的大量数据，则可以使用嵌入或 Azure 认知搜索等产品在查询时检索最相关的信息。

还可以为模型提供少样本学习的示例。 由于新的提示格式，少样本学习的方法略有变化。 现在可以在提示中加入用户和助理之间的一系列消息，作为少样本学习示例。 这些例子可以用来为常见问题设定回答，以启动模型或教它特定的行为。

这只是通过 ChatGPT 和 GPT-4 使用少样本学习的一个示例。 可以尝试不同的方法，看看哪种方法最适合你的用例。

聊天补全 API 设计用于多回合对话，但也适用于非聊天场景。

例如，对于实体提取场景，可以使用以下提示：

到目前为止，这些示例演示了与聊天补全 API 交互的基本机制。 此示例演示如何创建对话循环以执行以下操作：

这意味着，每次提出新问题时，都会将到截至目前正在运行的对话脚本连同最新问题一起发送。 由于模型没有内存，因此需要发送包含每个新问题的更新脚本，否则模型将丢失上述问题和答案的上下文。

运行上面的代码时，你将看到一个空白的控制台窗口。 在窗口中输入第一个问题，然后点击 Enter 键。 回复返回后，可以重复此过程并不断提出问题。

前面的示例将一直运行，直到达到模型的标记限制。 在提出每个问题和收到答案后，messages 数组的大小都会增加。 gpt-35-turbo 的标记限制为 4096 个标记，而 gpt-4 和 gpt-4-32k 的标记限制分别为 8192 和 32768。 这些限制包括发送的消息数组和模型回复中的标记计数。 与 max_tokens 参数的值组合在一起的消息数组中的标记数必须保持在这些限制以下，否则将收到错误。

你有责任确保提示和补全操作在标记限制范围内。 这意味着，对于较长的对话，需要跟踪标记数，并仅向模型发送在限制以内的提示。

注意

强烈建议继续遵守适用于所有模型的记录输入令牌限制，即时发现自己能够超出该限制也是如此。

以下代码示例演示了一个简单的聊天循环示例，以及使用 OpenAI 的 tiktoken 库处理 4096 标记计数的技术。

代码需要 tiktoken 0.3.0。 如果有旧版本，请运行 pip install tiktoken --upgrade。

在此示例中，达到标记计数后，将删除对话脚本中最早的消息。 为提高效率，使用了 del 而不是 pop()，并且从索引 1 开始，以便始终保留系统消息，并仅删除用户/助手消息。 随着时间的推移，这种管理对话的方法可能会导致对话质量下降，因为模型将逐渐失去对话早期部分的上下文。

另一种方法是将对话持续时间限制为最大标记长度或特定回合。 在达到最大标记限制，并且若允许对话继续，模型将失去上下文后，可以提示用户需要开始新的对话，清除消息数组可启动可用标记限制满额的全新对话。

前面演示的代码的标记计数部分是 OpenAI 食谱示例之一的简化版本。

重要

将 GPT-35-Turbo 模型与补全终结点配合使用的功能仍为预览版。 由于可能会更改基础 ChatML 语法，我们强烈建议使用聊天补全 API/终结点。 建议使用聊天补全 API 与 ChatGPT (gpt-35-turbo) 模型进行交互。 也只能通过聊天补全 API 来使用 GPT-4 模型。

以下代码片段演示了通过 ChatML 使用 ChatGPT 模型的最基本的方法。 如果你是第一次以编程方式使用这些模型，建议先开始学习 ChatGPT 和 GPT-4 快速入门。

注意

以下参数不适用于 gpt-35-turbo 模型：logprobs、best_of 和 echo。 如果你设置了这些参数中的任何一个，则会收到错误。

标记指示消息的结束。 建议将 标记作为停止序列包含在内，以确保模型在到达消息末尾时停止生成文本。 有关特殊标记的详细信息，请参阅聊天标记语言 (ChatML) 部分。

考虑将 max_tokens 设置为略高于正常值，例如 300 或 500。 这可确保模型在到达消息末尾之前不会停止生成文本。

注意

gpt-35-turbo 等效于 OpenAI 中的 gpt-3.5-turbo 模型。

与以前的 GPT-3 和 GPT-3.5 模型不同，gpt-35-turbo 模型以及 gpt-4 和 gpt-4-32k 模型将继续更新。 创建这些模型的部署时，还需要指定模型版本。

目前，只有 0301 版本可用于 ChatGPT 模型，0314 版本可用于 GPT-4 模型。 我们会在将来继续提供更新的版本。 可以在我们的模型页上找到这些模型的模型弃用时间。

注意

OpenAI 会持续改进 ChatGPT，用于模型的聊天标记语言将来会继续演变。 我们将在此文档中更新最新信息。

OpenAI 使用特殊标记对 ChatGPT 模型进行训练，以标明提示的不同部分。 提示从用于启动模型的系统消息开始，然后是用户和助手之间的一系列消息。

基本 ChatML 提示的格式如下所示：

系统消息包含在 system 和 标记之间的提示的开头。 此消息提供模型的初始说明。 可以在系统消息中提供各种信息，包括：

可以为你的用例自定义系统消息，也可以仅包含基本系统消息。 系统消息是可选的，但建议至少包含一个基本消息，以获得最佳结果。

在系统消息之后，可以在用户和助手之间加入一系列消息。 每条消息都应以 标记开头，后跟角色（user 或 assistant），以 标记结尾。

若要触发模型的回复，提示应以 assistant 标记结尾，指示轮到助手回复了。 还可以在提示中加入用户和助手之间的消息，作为进行少样本学习的方式。

以下部分展示了可用于 ChatGPT 和 GPT-4 模型的不同提示样式的示例。 这些示例只是为了抛砖引玉，你可以尝试使用不同的提示来为自己的用例自定义行为。

如果你希望 ChatGPT 和 GPT-4 模型的行为类似于 chat.openai.com，则可以使用基本系统消息，例如“助手是 OpenAI 训练的大型语言模型”。

对于某些场景，你可能希望向模型提供其他说明，以定义模型能够执行的操作边界。

你还可以在系统消息中加入相关数据或信息，为模型提供额外的对话上下文。 如果只需要包含少量信息，则可以将其硬编码到系统消息中。 如果你有模型应注意的大量数据，则可以使用嵌入或 Azure 认知搜索等产品在查询时检索最相关的信息。

还可以为模型提供少样本学习的示例。 由于新的提示格式，少样本学习的方法略有变化。 现在可以在提示中加入用户和助理之间的一系列消息，作为少样本学习示例。 这些例子可以用来为常见问题设定回答，以启动模型或教它特定的行为。

这只是通过 ChatGPT 使用少样本学习的一个示例。 可以尝试不同的方法，看看哪种方法最适合你的用例。

ChatML 旨在使多轮次对话更易于管理，但它也适用于非聊天场景。

例如，对于实体提取场景，可以使用以下提示：

请务必将缓解措施添加到你的应用程序中，以确保安全使用聊天标记语言。

建议阻止最终用户在其输入中加入特殊标记，例如 和 。 我们还建议加入其他验证，以确保发送到模型的提示格式正确，并遵循本文档中所述的聊天标记语言格式。

还可以在系统消息中提供说明，指导模型如何响应某些类型的用户输入。 例如，可以指示模型仅回复有关特定主题的消息。 还可以通过少样本学习示例来强化此行为。

gpt-35-turbo 的标记限制为 4096 个标记。 此限制包括来自提示和补全的标记数。 与 max_tokens 参数的值组合在一起的提示中的标记数必须保持在 4096 以下，否则将收到错误。

你有责任确保提示和补全操作在标记限制范围内。 这意味着，对于较长的对话，需要跟踪标记数，并仅向模型发送在标记限制以内的提示。

以下简易代码示例演示了如何跟踪会话中的单独消息。

控制在标记限制之下的最简单方法是在达到标记限制时删除对话中最早的消息。

可以选择始终包含尽可能多的标记，同时保持在限制范围内，也可以始终包含一定数量的先前消息（假设这些消息能保持在限制范围内）。 请务必记住，与较短的提示相比，较长的提示需要更长的时间生成回复并产生更高的成本。

可以使用 tiktoken Python 库估计字符串中的标记数，如下所示。