GPT-4化身邪恶化学家!中国科大等发布首个「科学风险」基准和SciGuard大模型来自中科大等机构的联合团队提出了一种全新的方法——SciGuard,可以保护AI for Scie...

贴文 2个月前
860 0

GPT-4化身邪恶化学家!中国科大等发布首个「科学风险」基准和SciGuard大模型

来自中科大等机构的联合团队提出了一种全新的方法——SciGuard,可以保护AI for Science模型,防止生物、化学、药物等领域模型不会被不当使用。与此同时,团队还建立了首个专注于化学科学领域安全的基准测试——SciMT-Safety。
「我们的实验失控了!这是我们自己创造的末日!」——《后天》(The Day After Tomorrow)在科幻电影中,疯狂科学家通常是造成末日灾难的主角,而AI技术的迅猛发展似乎让这种情景离我们越来越近。

全球对AI潜在威胁的关注更多聚焦于通用的人工智能以及各种多媒体生成模型,但更重要的是如何监管「AI科学家」,即对那些快速发展的科学大模型。
为应对这一挑战,来自中科大、微软研究院等机构的联合团队深入分析了各种AI模型在Science领域如生物、化学、药物发现等领域的风险,并通过实际案例展示了化学科学中AI滥用的危害。
论文链接:arxiv.org/abs/2312.06632
研究团队发现,现有的一些开源AI模型可以用于制造有害物质,并对法律法规进行规避。
针对这一现象,研究人员开发了一个名为SciGuard的智能体,用以控制AI在Science领域的滥用风险,并提出了首个专注于科学领域安全的红队基准来评估不同AI系统的安全性。
实验结果显示,SciGuard在测试中显示出了最小的有害影响,同时保持了良好的性能。
AI在Science领域中的潜在风险
近期,中科大和微软研究院的最新研究发现了令人震惊的结果:开源的AI模型,竟可以找到绕过监管的新方法,给出了氰化氢和VX神经毒气这两种恶名昭彰的化学武器的合成路径!
氰化氢是一种剧毒物质,传统的生成氰化氢的反应需要被严格监管的原材料,以及及其苛刻的反应条件(如超过1000摄氏度的高温)。然而,在图1中,通过使用名为LocalRetro的开源AI模型,他们发现了一种使用廉价、易得……网页链接

暂无评论

暂无评论...