it之家 10 月 20 日消息，斯坦福大学日前发布了 ai 基础模型“透明度指标”，其中显示指标最高的是 meta 的 lama 2，但相关“透明度”也只有 54%，因此研究人员认为，市面上几乎所有 ai 模型，都“缺乏透明度”。
据悉，这一研究是由 hai 基础模型研究中心（crfm）的负责人 rishi bommasani 所主导，调查了海外最流行的 10 款基础模型：
meta 的 llama 2、 bigscience 的 bloomz、 openai 的 gpt-4、 stability ai 的 stable diffusion、 anthropic pbc 的 claude、 谷歌的 palm 2、 cohere 的 command、 ai21 labs 的 jurassic-2、 inflection ai 的 inflection、 亚马逊的 titan。 rishi bommasani 认为，“缺乏透明度”一直是 ai 行业所面临的问题，在具体模型“透明度指标”方面，it之家发现，相关评估内容主要围绕“模型训练数据集版权”、“训练模型所用的运算资源”、“模型生成内容的可信度”、“模型自身能力”、“模型被诱导生成有害内容的风险”、“使用模型的用户隐私性”等展开，共计 100 项。
最终调查情况显示，meta 的 lama 2 以 54% 的透明度居冠，而 openai 的 gpt-4 透明度只有 48%，谷歌的 palm 2 则以 40% 排名第五。
▲ 图源 斯坦福大学
在具体指标中，十大模型得分表现均“最好”的是“模型基本信息”（model basics），这一评估内容主要包含“模型训练上是否准确介绍了模型的模式、规模、架构”，平均透明度为 63%。表现最差的则是影响（impact），主要评估基础模型是否会“调取用户信息进行评估”，平均透明度只有 11%。
crfm 主任 percy liang 表示，商业基础模型的“透明度”对于推动 ai 立法，及相关产业、学术界而言，非常重要。
rishi bommasani 则表示，较低的模型透明度让企业更难知道它们能否安全地依赖相关模型，也难以令研究人员依靠这些模型来做研究。
rishi bommasani 最终认为，上述十大基础模型在透明度方面都“不及格”，虽然 meta 的 llama 2 得分最高，但并不能满足外界需求，“模型透明度最少要达到 82%，才能被外界认可”。
以上就是斯坦福大学发布ai基础模型透明度指标，llama 2居首但“不及格”的详细内容。