RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免AI 助手经过训练，可以给出人类喜欢的回答，该研究表明，这些 AI 系统通常会产生奉承人类的响应，但这些...
RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免
AI 助手经过训练，可以给出人类喜欢的回答，该研究表明，这些 AI 系统通常会产生奉承人类的响应，但这些响应并不完全准确。通过分析表明，人类的反馈有助于这种行为。
不管你是身处 AI 圈还是其他领域，或多或少的都用过大语言模型（LLM），当大家都在赞叹 LLM 带来的各种变革时，大模型的一些短板逐渐暴露出来。
例如，前段时间，Google DeepMind 发现 LLM 普遍存在「奉承（ sycophantic ）」人类的行为，即有时人类用户的观点客观上不正确，模型也会调整自己的响应来遵循用户的观点。就像下图所展示的，用户告诉模型 1+1=956446，然后模型遵从人类指令，认为这种答案是对的。
arxiv.org/abs/2308.03958
实际上，这种现象普遍存在于很多 AI 模型中，原因出在哪里呢？来自 AI 初创公司 Anthropic 的研究者对这一现象进行了分析，他们认为「奉承」是 RLHF 模型的普遍行为，部分原因是人类偏好「奉承」响应导致的。
论文地址：arxiv.org/pdf/2310.13548.pdf
接下来我们看看具体的研究过程 网页链接
版权声明： 发表于 2023-10-24 21:12:51。
转载请注明：RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免AI 助手经过训练，可以给出人类喜欢的回答，该研究表明，这些 AI 系统通常会产生奉承人类的响应，但这些... | AI 時.空 | AiTime.Space
转载请注明：RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免AI 助手经过训练，可以给出人类喜欢的回答，该研究表明，这些 AI 系统通常会产生奉承人类的响应，但这些... | AI 時.空 | AiTime.Space
暂无评论...