11月10日,谷歌的 Android Developers 账号在 X 上为 Android Bench 新增了三款模型。Kimi K3.1 Pro 通过率 24.0%,排第六;DeepSeek V4.1 Flash 17.3%,排第九;同批新增的 GPT-6.1 Terra 28.7%,排第四。 四款国产模型里,Kimi 最好,DeepSeek 次之,Qwen3.8 Max 和 Kimi K3 排在第十、第十一。前五名被 Claude 和 GPT 包揽。IT之家
24% 看起来像不及格,但榜首 Claude Sonnet 5.5 也只有 40.0%。Android Bench 2.0 考的不是写单个函数,而是新增功能、从零建应用、跨平台迁移这类工程师要花几天到一周才能完成的任务。 题量只有 30 个任务。 单轮一道题值 3.3 个百分点;Kimi 和 GPT-6.1 Terra 的置信区间分别是 12.0–37.3 和 14.0–42.7,大幅重叠。按 30 道题折算,Kimi 和第四名平均只差约一道半题,和榜首差约五道题。IT时代网知乎
真正说明问题的是完成率。Kimi 82.3%,GPT-6.1 Terra 81.1%,Claude Sonnet 5.5 80.9%。完成率按功能、视觉还原、回归综合打分,任何一项掉链子都会被扣;通过率看的是整项任务有没有完全达标。24% 和 82% 放在一起,说的不是“不会做”,而是“做不完、做不精”。它超过了谷歌自家的 Gemini 4 Argon(21.3%),但还没进入 Claude/GPT 的第一集团。
成本是另一张榜。Kimi 平均成本 317.4 美元,Claude Sonnet 5.5 是 1574.9 美元;按通过率粗算,每通过一个任务,前者约 1323 美元,后者约 3937 美元。DeepSeek 平均成本 9.9 美元,平均延迟 12 小时,通过率 17.3%;每通过一个任务约 57 美元,是 Kimi 的约 1/23。只看名次,DeepSeek 第九;只看“做成一个任务要花多少钱”,它不在同一张表上。
但别把这张榜当成模型单挑。每一行都是“模型+智能体”:Claude 配 claude-code,GPT 配 codex,Kimi 配 kimi-code,DeepSeek 配 opencode,推理档位也不一样。谷歌自己说,评测框架的设计会影响实际效果。 所以更准确的说法是:Kimi 这种自家模型配自家智能体的组合,已经挤进中上游;DeepSeek 在第三方外壳 opencode 里跑出的成本优势,反而更像它真正的长板。关键任务仍然要人审;国产模型已经能接住大部分工作,但还接不住最后那一下。IT时代网

登录