九个AI造桥,Sol拿了第一:为什么这张榜不能当模型能力排行榜

源自107位全网作者

08:30

11月8日,B站一场“九个AI造桥”的比赛出圈了。90分钟,七关,九个模型,冠军是GPT-6.2 Sol。到11月11日,视频播放145万。评论区里,“Sol赢了Astra”和“DeepSeek垫底”一起流传,一张游戏成绩表很快被读成了模型能力榜。

但比赛仓库的 README 里写着一句很直白的话:工具和接入渠道不同,不能把本场结果当作模型能力排名。GitHub

主办方在解释限制里还补了一句:每个模型只跑一次,单次结果有偶然性。GitHub

把赛制摊开看,这张榜测的比“模型能力”具体得多,也窄得多。

把逐关成绩摊开,总榜其实被三道题切成了三段:第4关和第6关,前三名过了,后六名全没过;第5关,只有Sol过了。 于是第1名和第2、3名之间,以及前三名和后六名之间,各有一道0分隔开。GitHub

这不是后六名比前三名差了整整一个能力层,而是规则:一关里有任何一个场景没过,整关0分。Kimi第6关交了一份造价11741的桥,预算20000,但三个场景一个都没过,记0。在榜上,这份设计和“没交”没有区别。

对比赛来说这很合理——“过”是硬门槛,没过就是没过。但对看榜的人来说,它把“差一点”和“差很多”压成了同一个0。你看到的不是一条平滑的能力曲线,而是一道悬崖。

九个人也不在同一条起跑线上。

他们拿到的是同一份选手包、同一句提示词、同样的90分钟,连本地模拟器和裁判都是同一份程序,结果确定,可以无限次试。 这一点比很多“跑分”都干净。GitHub

但九个人用的是九套工具:Sol用Codex,Opus用Claude Code,Astra用Codex CLI,Gemini、混元、豆包都走OpenCode但接入方不同,Grok、Kimi、DeepSeek各有自己的工具。工具怎么读文件、怎么跑模拟、怎么分配90分钟,是九套不同的东西。主办方也说了,“最高思考档”是各工具自己的最高档,没有逐请求验证,同名档位不能直接等同。GitHub

另一个细节:DeepSeek这边上场的是V4.1 Flash。Flash通常意味着更便宜、更快的档位;对面是Sol、Opus 5.5、Gemini 4 Argon这些旗舰。把不同定位的模型放进同一张总榜,名次就不能直接翻译成“谁更聪明”。

总分也不是一个中性的东西。

总分 = 前六关关卡分之和 + 第7关攻防分,再除以7。 造桥占六份,拆桥占一份。单独看前六关,Sol第一,106.24;单独看第7关,Astra第一,87.50。总榜按6:1加权,Sol第一。GitHub

这个权重是主办方定的,不是物理定律。你要是更在意“桥能不能扛住别人的捣蛋车”,Astra就是另一个故事。而且第7关每对选手只打一局,72局里18局攻破;一次出发时机、一辆车晚0.1秒,都可能改写一个格子。 主办方自己把这条写进了限制里。GitHub

那这张榜还有用吗?有,但要把问题问对。

它至少说明,在这个具体任务里,Sol把90分钟用得很好:它是唯一过了第5关的选手;第2关造价7701.80,比主办方参考答案的10616.73低27%,拿到137.85分;第7关守8/8、破5/8。这个成绩可复现——引擎、设计、计分脚本都开源,跑一遍能对上。它不是“Sol全面强于Opus”,而是“Sol+Codex+这一次90分钟,在造桥这件事上最强”。

另外,137.85不是“137分的能力”,是“比参考答案便宜27%”。关卡分以主办方参考答案为100,参考答案不是理论最优,超过100只说明比它便宜。GitHub

如果你的工作流正好是给coding agent一份规则、一个本地模拟器、90分钟,让它反复试错、交一个结构化文件,这比赛很有参考价值。如果你想知道哪个模型写文案更好、客服更稳,这张榜几乎不提供信息。

UP主在置顶评论里也说了,这期“偏向娱乐,也比较赶工”。 比赛本身是认真的:规则、引擎、设计、计分全开源;但“认真办的比赛”和“模型能力排行榜”之间,还隔着工具、渠道、权重和一次性的临场发挥。哔哩哔哩

所以,看九个AI造桥,最好的看法不是把它当排行榜,而是当一场公开的工程实录:同样的工地,不同的工具箱,一次性的90分钟。冠军值得看,但冠军头上的“第一”,只在这场工地里成立。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
最新文章 热门文章