GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人...
GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC
为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了PowerPoint任务完成（PPTC）基准测试，以评估LLM创建和编辑PPT文档的能力。
最近对大型语言模型（例如ChatGPT和GPT-4）进行的评估工作主要侧重于在基本自然语言任务上的能力，以及模型生成用于解决单句用户指令的API的工具使用能力，却忽略了在理解复杂多模态环境中使用API完成用户指令的难题。
此外，现有评估方法主要集中在比较生成的API与标签API序列，但在存在多个/无限正确解决方案的复杂情况下，这种方法也变得不再适用。
为了解决这个挑战，来自北大和微软亚洲研究院的研究人员们提出了测试大模型在多轮，多模态环境下完成PPT任务的评估数据集PPTC（PowerPoint Task Completion）。
论文地址：arxiv.org/abs/2311.01767
开源项目：github.com/gydpku/PPTC
如图1（a）所示，为了帮助用户完成对PPT文档的创建和编辑，研究人员采取多轮人机对话的形式来构建数据集。
图1：（a）模拟了人类与语言模型之间的多轮对话场景，以评估语言模型在PPT任务完成性能方面的表现。（b）对话单元的轮次数量分布。
每轮开始于用户的指令，大模型需要生成对应的API序列作为解决方法，执行并返回生成的PPT文档给用户 网页链接
版权声明： 发表于 2023-11-08 8:22:42。
转载请注明：GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人... | AI 時.空 | AiTime.Space
转载请注明：GPT-4完成正确率仅6%！北大等提出首个「多轮、多模态」PPT任务完成基准PPTC为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人... | AI 時.空 | AiTime.Space
暂无评论...