别用GPT-4直出文本摘要!MIT、哥大等发布全新「密度链」提示:实体密度是摘要质量的关键用密度链提示逐步改善GPT-4摘要中的实体密度,只需三步即可获得「人类级...

贴文 2个月前
1.2K 0

别用GPT-4直出文本摘要!MIT、哥大等发布全新「密度链」提示:实体密度是摘要质量的关键

用密度链提示逐步改善GPT-4摘要中的实体密度,只需三步即可获得「人类级摘要」!

ChatGPT发布后,文本生成技术得到飞速发展,大量NLP任务都面临被完全攻克的窘境,尤其是对于缺乏标准答案的「文本摘要」任务来说更是如此。

但如何在摘要中包含「合理的信息量」仍然十分困难:一个好的摘要应该是详细的,以实体为中心的,而非实体密集且难以理解。

为了更好地理解信息量和可理解性之间的权衡,麻省理工学院、哥伦比亚大学等机构的研究人员提出了一个全新的「密度链」(Chain of Dense)提示,可以在不增加摘要文本长度的前提下,对GPT-4生成的实体稀疏(entity-sparse)摘要进行迭代优化,逐步添加缺失的重要实体。

论文链接:arxiv.org/pdf/2309.04269.pdf
开源数据:huggingface.co/datasets/griffin/chain_of_density

从实验结果来看,用CoD生成的摘要比由普通提示生成的GPT-4摘要更抽象(abstractive),表现出更多的融合性(fusion)以及更少的lead bias

在对100篇CNN DailyMail文章进行人类偏好研究后可以发现,人类也更倾向于选择实体更密集的摘要结果,与人工编写摘要的实体密度相近。

研究人员开源了500篇带标注的CoD摘要,以及5000篇无标注的摘要数据 网页链接

暂无评论

暂无评论...