如何让 ChatGPT 接收或输出万字长文，突破 Token 限制

ChatGPT 强大的自然语言能力让人不得不为之惊叹，但其 Token 限制仍让许多用户不胜其烦。虽然 Claude 2 的 Token 容量更大，但 ChatGPT 的用户群远远超过了 Anthropic 的同类产品。

本文将介绍如何突破 Token 限制，不仅让你可以上传更长的文本，也可以让 ChatGPT 输出万字长文。通过实际案例，你将一步步了解如何操作这一过程，从而释放 ChatGPT 更多的潜力。

为什么 ChatGPT 有 Token 限制
人类是以字数 (单词数) 来计算文本长度的，大语言模型 (LLM) 却不是这样的计算方式。ChatGPT 使用 Token 把一个句子分解成若干部分。

Token 可以是一个单词、一个单词中的一个部分、甚至是一个字符，具体取决于它使用的标记化方法 (tokenization method)。例如，句子 “ChatGPT is great !”可能会被分割成 [“Chat”, “G”, “PT”, ” is”, ” great”, “!”] 这 6 个 Token。

你可以使用 OpenAI 的 Tokenizer (platform.openai.com/tokenizer) 把 Token 数换算为字符数。或者可以使用近似的公式：

1 个 Token ~= 4 个 英文字符
1 个 Token ~= ¾ 个英文单词
100 个 Token ~= 75 个英文单词

Token 限制包括了输入和输出，也就是你在一次对话中提交给 ChatGPT 的内容和 ChatGPT 输出的内容不能超过模型规定的 Token 数量。比如 ChatGTP 3.5 的 Token 限制是 4096，ChatGPT 4 的 Token 限制是 8192。

ChatGPT 有 Token 限制的原因与内存限制和计算效率有关。用于运行 ChatGPT 等模型的 GPU（图形处理单元）或 TPU 具有物理内存限制。如果对话超过 Token 限制，就会超过内存限制导致操作失败或极其缓慢。

此外，随着 Token 数量的增加，所需的计算量大幅度增加。这会使 ChatGPT 响应速度变慢，影响用户体验。这也是为什么 GPT-4 比 GPT-3.5 响应速度慢的原因。网页链接