AIToday for AI

News · 高影响

寻找真正的“性价比之王”

DeepSwe 最新评测数据分析:只要满足 Pass@1 高于 65% 的性能基线,只看价格。gpt-5.6-luna 是当前最省钱的首选。

相关内容

从这里继续浏览相关内容。

返回资讯

DeepSwe(代码/Agent类能力)最新评测榜单公布了各家模型的 Pass@1 成功率、平均成本、输出Token量和交互步数。

在生产环境挑模型,我有一条铁律:只要 Pass@1 跨过 65% 这个高可用基线,剩下的只看价格。

📊 核心评测数据

image

模型 (Model)成功率 (Pass@1)平均成本 (Avg Cost)消耗Token量交互步数
gpt-5.6-sol73%$8.3960k61
claude-fable-570%$21.63119k88
gpt-5.6-terra70%$4.9572k76
gpt-5.6-luna67%$3.0373k102
gpt-5.567%$7.2346k82
claude-opus-4.859%$13.22135k120
claude-sonnet-554%$26.40214k268
gpt-5.452%$5.6571k70
glm-5.244%$3.9278k129
gemini-3.5-flash37%$7.34276k86
kimi-k2.7-code31%$2.8259k149

🏆 过线模型成本厮杀

只要跨过 65% 成功率,就可以直接按 API 账单排座次。

1. 极致底价:gpt-5.6-luna

gpt-5.6-luna 拿到 67% 的准确率,完全持平前代旗舰 gpt-5.5,但单次调用成本压到了 $3.03。 对比全场最便宜的 kimi-k2.7-code($2.82),luna 只多花了 2 毛钱,就把成功率从 31% 硬生生拉到 67%。日常跑任务,闭眼选 luna 最省钱。

2. 高配平替:gpt-5.6-terra

如果业务场景咬死 70% 的准确率,往上看一档是 gpt-5.6-terra。 它的单次成本是 $4.95。对比同样考到 70% 的 claude-fable-5($21.63),terra 的账单连后者的四分之一都不到。

3. 攻坚首选:gpt-5.6-sol

如果需求是最高成功率、最少交互步数,gpt-5.6-sol 交出了 73% 成功率、仅需 61 步的成绩。花 $8.39 解决核心疑难杂症,一点都不亏。

4. 建议弃用的高价模型

过了 65% 的及格线,有些旧模型和高溢价模型完全不值得调用。

  • gpt-5.5:同样的 67% 准确率,收费 $7.23。建议全切 luna。
  • Claude 全系:claude-fable-5(70%)要 $21.63,而 claude-sonnet-5(54%)更是开出了全场最贵的 $26.40。在当前评测的测试题库里,纯纯的 API 账单刺客。

💡 选型落脚点

  • 铺量/高频调用:gpt-5.6-luna($3.03 / 67%)。
  • 复杂任务兜底:gpt-5.6-terra($4.95 / 70%)。
  • 顶尖难题:gpt-5.6-sol($8.39 / 73%)。

基线下看质量,基线上拼成本。这笔账算清楚,每个月的 API 账单能砍掉大半。

(数据:DeepSwe)

下一步

继续了解相关 AI 工具

从这篇内容继续进入相关知识。

探索 GPT-5.6 Sol