衡量AI产出未来研究设想的难易程度

研究背景

AI模型能否提出新的研究设想是一个重要问题，但模型想到特定设想的概率可能非常小。直接测量这一概率需要重复无数次相同的提问，成本高昂。

方法

研究人员采用了“压缩成本”的概念。当生成模型（生成器）依次提出选择题并给出每个答案的概率时，了解目标设想的引导模型会选择答案。选择的答案概率越低，需要的额外信息（比特）就越多，利用这一累积成本可以计算出在没有提示的情况下想到设想的概率下界。评估使用了5个模型，设想是否正确由另一个LLM进行判定。

主要结果

最低的中位压缩成本是Fable 5.1模型的69.9比特。据报道，将Fable 5.1、Opus 5和Astra三个模型以相同权重组合的集成将中位成本降低至55.8比特，并将概率下界提高了18,000倍。

局限与待确认之处

仅凭摘要无法确认论文筛选标准、用于判定的LLM判定的可靠性以及实验模型的详细设置。此外，摘要中也无法确认压缩成本能在多大程度上反映实际的研究价值或新颖性。

术语解释

• 语言模型 — 通过学习大量文本来生成句子的AI模型。
• 压缩成本 — 指为了传达某项内容而需要额外发送的信息量，该值越小意味着模型越容易想到该内容。
• 比特 — 衡量信息量的最小单位，一次是/否的选择为1比特。
• 下界 — 指保证实际值不会低于此水平的最低标准。
• gzip — 一种广泛使用的无损压缩工具，此处用作比较基准。
• LLM 판정(LLM-as-judge) — 由另一个语言模型而非人类来评估两个结果是否相同的方法定性。
• 集成 — 结合多个模型的结果来提升性能的方法。