斯坦福公开十大主流模型透明度!Llama 2位列第一,GPT-4透明差,LeCun炮轰:盈利完全理解GPT-4、Llama等基础模型(FM)相继诞生,已成为当前生成式AI的引擎。尽...

贴文 1个月前
1.7K 0

斯坦福公开十大主流模型透明度!Llama 2位列第一,GPT-4透明差,LeCun炮轰:盈利完全理解

GPT-4、Llama等基础模型(FM)相继诞生,已成为当前生成式AI的引擎。

尽管这些FM的社会影响力不断增大,但透明度反而下降。

GPT-4官宣后,OpenAI公布的技术报告中,并未提及关键信息。包括谷歌PaLM,以及其他闭源模型也是如此。

每个人心中不禁有许多疑问:

模型如何训练?如何部署?训练数据从哪来?

构建这些AI系统背后,数据标注反馈的人是谁?他们薪水是多少?

除了以上问题等等,其透明度无论是对公司,还是对社会,都十分重要。

这不,斯坦福、MIT、普林斯顿团队提出了一个「基础模型透明度指数」,并对当前十个主流模型的透明度进行了评级。

地址:crfm.stanford.edu/fmti/

结果显示,10个模型中最透明的是Llama 2,得分为54%。GPT-4、PaLM 2都排在后面。

研究者承认,透明度确实是一个宽泛的概念。

斯坦福对于模型评分基于100个指标,这些指标涉及模型是如何构建、如何工作以及人们如何使用它们等等。

没想到的是,这个评分系统却引众多研究者炮轰,HuggingFace的联合创始人、LeCun都在其列。

斯坦福AI模型的公开排名,可能与模型的能力相反。而要求私人公司公开商业机密的想法太幼稚。

HuggingFace联创表示,这并非曼哈顿计划,初创公司选择不公开是为了盈利,完全可以理解。

并且,只要它们不以虚假的「安全理由」推动监管,限制那些想要开源的公司就行。

具体看看,这份报告是如何对模型透明度进行评估的。

生成式AI模型,急需透明度! 网页链接

暂无评论

暂无评论...