告诉大模型「深呼吸，一步一步来」有奇效，DeepMind发现最有效的提示方法本文提出了一种简单而有效的方法 OPRO，其利用大型语言模型作为优化器，优化任务用自然...
告诉大模型「深呼吸，一步一步来」有奇效，DeepMind发现最有效的提示方法
本文提出了一种简单而有效的方法 OPRO，其利用大型语言模型作为优化器，优化任务用自然语言描述就可以，优于人类设计的提示。
优化对于所有领域都至关重要。
有些优化是从初始化开始的，然后迭代的更新解以优化目标函数。这种优化算法通常需要针对单个任务进行定制，以应对决策空间带来的特定挑战，特别是对于无导数的优化。
接下来我们要介绍的这项研究，研究者另辟蹊径，他们利用大型语言模型 (LLM) 充当优化器，在各种任务上的性能比人类设计的提示还好。
这项研究来自 Google DeepMind，他们提出了一种简单而有效的优化方法 OPRO（Optimization by PROmpting），其中优化任务可以用自然语言来描述，例如 LLM 的提示语可以是「深呼吸，一步一步地解决这个问题」，也可以是「让我们结合我们的数字命令和清晰的思维来快速准确地破译答案」等等。
在每个优化步骤（step）中，LLM 根据先前生成的解决方案及其值的提示生成新的解决方案，然后对新解决方案进行评估并将其添加到下一个优化步骤的提示中。
最后，该研究将 OPRO 方法用于线性回归和旅行商问题（著名的 NP 问题），然后继续进行提示优化，目标是找到最大化任务准确率的指令。
本文对多个 LLM 进行了综合评估，包括 PaLM-2 模型家族中的 text-bison 和 Palm 2-L，以及 GPT 模型家族中的 gpt-3.5-turbo 和 gpt-4 。实验在 GSM8K 和 Big-Bench Hard 上对提示进行了优化，结果表明经过 OPRO 优化的最佳提示在 GSM8K 上比人工设计的提示高出 8%，在 Big-Bench Hard 任务上比人工设计的提示高出高达 50%网页链接
转载请注明：告诉大模型「深呼吸，一步一步来」有奇效，DeepMind发现最有效的提示方法本文提出了一种简单而有效的方法 OPRO，其利用大型语言模型作为优化器，优化任务用自然... | AI 時.空 | AiTime.Space