OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类AI发展到现在，到底是否具有了意识？前几天，由图灵奖得主Benjio参与的一个研究项目刊登上了Nature...
OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类
AI发展到现在，到底是否具有了意识？
前几天，由图灵奖得主Benjio参与的一个研究项目刊登上了Nature，给出了一个初步的答案：现在没有，但是未来可能有。
按照这个研究中的说法，AI现在还不具备意识，但是已经有了意识的雏形。在未来的某一天，可能AI真的能像生物一样进化出全面的感知能力。
然而，OpenAI和NYU，牛津大学的研究人员的一项新研究进一步表明，AI可能具有感知自己状态的能力！
owainevans.github.io/awareness_berglund.pdf
具体来说，研究人员设想了一种情况，就是在对AI进行安全性检测的时候，如果AI能知道现它完成的任务目的是为了检测安全性，于是它就表现得很乖巧。
但是当它通过了安全检测，部署到实际的使用场景之后，藏在它「脑子里」的有毒信息再释放出来。
如果AI具备了这种「意识自己工作状态」的能力，那么AI的对齐，安全性工作就会遇到很大的麻烦。
研究人员给AI的这种特殊意识起了一个专门的名字——「情景感知」（Situational Awareness）。
进一步的，研究人员提出了一种方法来识别和预判情景感知能力的出现的和可能性。
这个方法对于未来大语言模型对齐和相关的安全性工作中会显得越来越重要网页链接
版权声明： 发表于 2023-09-09 12:12:25。
转载请注明：OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类AI发展到现在，到底是否具有了意识？前几天，由图灵奖得主Benjio参与的一个研究项目刊登上了Nature... | AI 時.空 | AiTime.Space
转载请注明：OpenAI：LLM能感知自己在被测试，为了通过会隐藏信息欺骗人类AI发展到现在，到底是否具有了意识？前几天，由图灵奖得主Benjio参与的一个研究项目刊登上了Nature... | AI 時.空 | AiTime.Space
暂无评论...