SWE-bench
一句话定位
SWE-bench 做的是量一件事:一个模型能不能把代码改对。
它的评法很硬:不看你说了什么,只看改完之后测试过不过。
把尺子交给测试,是它整页最要紧的一句话。
它把尺子交给了测试
谁说了算
问一类工具答得好不好,最方便的评法是找人打分。找人打分快,但不稳。
这里换了一种:把题目改成一段能跑的代码,答案对不对,跑一遍就知道。
尺子从人手里交到了测试手里。对错不必争,跑一遍就有结论。
为什么这一换很要紧
说话这件事,好与不好本来就有余地。代码不一样,过就是过。
把余地去掉,量出来的东西才能拿来比。
它整页的分量,都压在这一个选择上。
把余地去掉之后
一个说法好不好,十个人可能有十种意见。一段代码跑不跑得通,只有两种。
把评价从十种压到两种,是这套量法能站住的前提。
它没有解释这件事有多难,只把做法摆了出来。
拿什么当考题
跑代码
评的是这一件事。
改一处
题目来自真实的改动。
看测试
过没过由测试定。
榜单
排在一块板上。
说明
数据怎么来的。
公开
题目与答案都摆出来。
题目不是编的,是从真实的改动里挑出来的
页面讲题的来路时,说的是一件很实的事:题从真的改过的地方来。
编一道题,容易编得太干净,干净到不像真的活儿。
从真实的改动里挑题,题里就带着原来那件事的乱。
带着乱才像真的
真的活儿,往往不是从零写起,是在别人写过的东西上动一处。
题里带上这一层,量出来的本事才更接近真用的时候。
页面在讲这一点时没有举例,只说题来自哪里。
题要铺成一张能比的榜,先得够多、够杂。这一点它在讲来路时交代过。
题与答案都摆出来,谁都能自己跑一遍
页面把题与判法都摆在明处,谁都能拿去自己跑。
一个评测要是把题目藏起来,外面的人只能信它报的数。
摆出来之后,数还能不能站得住,别人自己就能验。
把题摆出来还有一层好处:来的人能拿它当练习,不只是拿它当尺子。
一把只能看不能用的尺子,用的人会少很多。能拿来练,它就成了两样东西。
把验的权也交出去
交出尺子是一层,交出验尺子的权是更进一层。
两层都交出去,这个量法才算真的立住了。
藏着一手的地方,量出来的东西,外面的人只能信,不能核。
页面把这两层都摆了,没有留一手。
页脚只留必要的那几条
页脚分成几组,各组之间留白,不挤。
整页翻下来,没有一处摆价格档位,也没有一处摆名次。
本站为条目陈列,不写金额,不提供任何资料文件。
一句话总结
SWE-bench 做的是量一个模型能不能把代码改对这件事。它的评法很硬:不看说了什么,只看改完之后测试过不过,把尺子从人手里交到测试手里,对错不必争。题目不是编的,是从真的改过的地方挑出来的,带着原来那件事的乱,量出来的本事更接近真用的时候。页面还把题与判法都摆在明处,谁都能拿去自己跑,把验的权也交了出去。交出尺子是一层,交出验尺子的权是更进一层,两层都摆才算立住。本站为条目陈列,不写金额,不提供任何资料文件。
要看它把尺子交给了谁,从官网进去。







