斯坦福公开十大主流模型透明度!Llama 2位列第一,GPT-4透明差,LeCun炮轰:盈利完全理解GPT-4、Llama等基础模型(FM)相继诞生,已成为当前生成式AI的引擎。尽...
斯坦福公开十大主流模型透明度!Llama 2位列第一,GPT-4透明差,LeCun炮轰:盈利完全理解
GPT-4、Llama等基础模型(FM)相继诞生,已成为当前生成式AI的引擎。
尽管这些FM的社会影响力不断增大,但透明度反而下降。
GPT-4官宣后,OpenAI公布的技术报告中,并未提及关键信息。包括谷歌PaLM,以及其他闭源模型也是如此。
每个人心中不禁有许多疑问:
模型如何训练?如何部署?训练数据从哪来?
构建这些AI系统背后,数据标注反馈的人是谁?他们薪水是多少?
除了以上问题等等,其透明度无论是对公司,还是对社会,都十分重要。
这不,斯坦福、MIT、普林斯顿团队提出了一个「基础模型透明度指数」,并对当前十个主流模型的透明度进行了评级。
地址:crfm.stanford.edu/fmti/
结果显示,10个模型中最透明的是Llama 2,得分为54%。GPT-4、PaLM 2都排在后面。
研究者承认,透明度确实是一个宽泛的概念。
斯坦福对于模型评分基于100个指标,这些指标涉及模型是如何构建、如何工作以及人们如何使用它们等等。
没想到的是,这个评分系统却引众多研究者炮轰,HuggingFace的联合创始人、LeCun都在其列。
斯坦福AI模型的公开排名,可能与模型的能力相反。而要求私人公司公开商业机密的想法太幼稚。
HuggingFace联创表示,这并非曼哈顿计划,初创公司选择不公开是为了盈利,完全可以理解。
并且,只要它们不以虚假的「安全理由」推动监管,限制那些想要开源的公司就行。
具体看看,这份报告是如何对模型透明度进行评估的。
生成式AI模型,急需透明度! 网页链接
版权声明: 发表于 2023-10-20 21:15:15。
转载请注明:斯坦福公开十大主流模型透明度!Llama 2位列第一,GPT-4透明差,LeCun炮轰:盈利完全理解GPT-4、Llama等基础模型(FM)相继诞生,已成为当前生成式AI的引擎。尽... | AI 時.空 | AiTime.Space
转载请注明:斯坦福公开十大主流模型透明度!Llama 2位列第一,GPT-4透明差,LeCun炮轰:盈利完全理解GPT-4、Llama等基础模型(FM)相继诞生,已成为当前生成式AI的引擎。尽... | AI 時.空 | AiTime.Space
暂无评论...