自由 开放 发现 分享 专业 助力
注册

认知网精选 · 认知

SWE-bench

它评的不是对话好不好,是代码跑不跑得通
答案对不对,由测试自己说了算。
swebench.com

一句话定位

SWE-bench 做的是量一件事:一个模型能不能把代码改对。

它的评法很硬:不看你说了什么,只看改完之后测试过不过。

把尺子交给测试,是它整页最要紧的一句话。

它把尺子交给了测试

谁说了算

问一类工具答得好不好,最方便的评法是找人打分。找人打分快,但不稳。

这里换了一种:把题目改成一段能跑的代码,答案对不对,跑一遍就知道。

尺子从人手里交到了测试手里。对错不必争,跑一遍就有结论。

为什么这一换很要紧

说话这件事,好与不好本来就有余地。代码不一样,过就是过。

把余地去掉,量出来的东西才能拿来比。

它整页的分量,都压在这一个选择上。

把余地去掉之后

一个说法好不好,十个人可能有十种意见。一段代码跑不跑得通,只有两种。

把评价从十种压到两种,是这套量法能站住的前提。

它没有解释这件事有多难,只把做法摆了出来。

拿什么当考题

跑代码

评的是这一件事。

改一处

题目来自真实的改动。

看测试

过没过由测试定。

榜单

排在一块板上。

说明

数据怎么来的。

公开

题目与答案都摆出来。

题目不是编的,是从真实的改动里挑出来的

页面讲题的来路时,说的是一件很实的事:题从真的改过的地方来。

编一道题,容易编得太干净,干净到不像真的活儿。

从真实的改动里挑题,题里就带着原来那件事的乱。

带着乱才像真的

真的活儿,往往不是从零写起,是在别人写过的东西上动一处。

题里带上这一层,量出来的本事才更接近真用的时候。

页面在讲这一点时没有举例,只说题来自哪里。

题要铺成一张能比的榜,先得够多、够杂。这一点它在讲来路时交代过。

题与答案都摆出来,谁都能自己跑一遍

页面把题与判法都摆在明处,谁都能拿去自己跑。

一个评测要是把题目藏起来,外面的人只能信它报的数。

摆出来之后,数还能不能站得住,别人自己就能验。

把题摆出来还有一层好处:来的人能拿它当练习,不只是拿它当尺子。

一把只能看不能用的尺子,用的人会少很多。能拿来练,它就成了两样东西。

把验的权也交出去

交出尺子是一层,交出验尺子的权是更进一层。

两层都交出去,这个量法才算真的立住了。

藏着一手的地方,量出来的东西,外面的人只能信,不能核。

页面把这两层都摆了,没有留一手。

页脚只留必要的那几条

页脚分成几组,各组之间留白,不挤。

整页翻下来,没有一处摆价格档位,也没有一处摆名次。

本站为条目陈列,不写金额,不提供任何资料文件。

一句话总结

SWE-bench 做的是量一个模型能不能把代码改对这件事。它的评法很硬:不看说了什么,只看改完之后测试过不过,把尺子从人手里交到测试手里,对错不必争。题目不是编的,是从真的改过的地方挑出来的,带着原来那件事的乱,量出来的本事更接近真用的时候。页面还把题与判法都摆在明处,谁都能拿去自己跑,把验的权也交了出去。交出尺子是一层,交出验尺子的权是更进一层,两层都摆才算立住。本站为条目陈列,不写金额,不提供任何资料文件。

要看它把尺子交给了谁,从官网进去。

前往 swebench.com

回顶部

Copyright © 2021-2026 陕ICP备2021016533号-1法律条款