Artificial Analysis (@ArtificialAnlys) · 2026/10/9 02:33:38
Harvey LAB-AA v1.1 引入幻觉门控：Grok 4.7 以 9.4% 全通过率领跑法律智能体基准
Artificial Analysis 与 Harvey 联合发布 Legal Agent Benchmark (LAB) 评分方法论更新版 v1.1，核心突破在于引入“幻觉门控全通过率”指标，要求模型输出不仅需满足所有评分标准，还必须完全排除实质性错误。测试显示，即便在通过其他标准的案例中，超过 60% 的结果仍包含误导性实质幻觉，凸显了当前大模型在法律严谨性上的短板。目前 Grok 4.7 (xhigh) 以 9.4% 的得分位居榜首，而 Muse Spark 1.3 则在成本效益上表现突出。
报道全文原始报道全文
Artificial Analysis (@ArtificialAnlys) · 2026-10-08 18
今天，我们与 Harvey 合作宣布推出 Harvey LAB-AA v1.1。此次更新调整了法律智能体基准测试（Legal Agent Benchmark, LAB）的评分方法，新增了幻觉检查机制，并要求正确回答不得包含实质性错误陈述。LAB-AA v1.1 的新核心指标——“幻觉门控全通过率”（Hallucination-Gated All-Pass Rate），仅当交付成果满足所有评分标准且不含实质性幻觉时，才计入任务得分。
我们将“实质性幻觉”定义为可能误导读者对关键要点理解的错误，例如错误的合同规定日期；而“轻微幻觉”则是真实存在但不太可能显著影响交付成果法律解读的错误。轻微幻觉将单独报告，不影响核心得分。
Grok 4.7 (xhigh) 以 9.4% 的幻觉门控全通过率位居榜首，而在发布时测试的所有模型中，超过 60% 原本通过的结果包含至少一处实质性幻觉。
这是增强 Harvey LAB-AA 方法论的第一步。在未来的更新中，我们正与 Harvey 合作，以更全面地考量律师所重视的各项因素，包括风格与语气等可用性特征。
主要要点：
➤ 排行榜首位： @SpaceXAI 的 Grok 4.7 (xhigh) 以 9.4% 的幻觉门控全通过率领先，略微超过 @AIatMeta 的 Muse Spark 1.3 (max)（8.9%）和 @OpenAI 的 GPT-6 Astra (max)（8.6%）。
➤ 幻觉重塑排行榜格局： 若没有幻觉门控机制，Muse Spark 1.3 (max) 将以 26.7% 的全通过率明显领先，但其三分之二的通过结果包含一处或多处实质性幻觉，导致其幻觉门控全通过率降至 8.9%。GPT-6 Astra (max) 在应用幻觉门控后保留了几乎全部通过结果（从 8.9% 降至 8.6%），排名从并列第 10 位跃升至第 3 位。
➤ GPT-6 系列模型最具事实依据性： GPT-6 Astra (max) 平均每项任务产生 0.03 次实质性幻觉（在全部 120 项任务中共计 4 次），GPT-6 Sol (max) 平均为 0.07 次。在使用六个检查器模型对 20 项任务子集进行比较时，GPT-6 Astra 在所有检查器下均显示零实质性幻觉，其中包括 Claude Opus 5.5 (high)。相比之下，Gemini 3.8 Flash (high) 平均每项任务产生 13.96 次实质性幻觉。
➤ 得分最高的模型并非最昂贵的：Grok 4.7 (xhigh) 以约 21.70/任务的一半。Muse Spark 1.3 (max) 在性价比方面表现强劲，以约 $4.20/任务的成本位列第二
感谢 @harvey 团队的 @nikogrupen 和 @ItsJulioPereyra 在 Harvey LAB 的工作及协作。
65 赞 · 5 转发
