自由 开放 发现 分享 专业 助力
注册

认知网精选 · 认知

LiveBench

半年换一次题,题目不入训练集
一块榜单,一块洞察。
livebench.ai

一句话定位

LiveBench 是一个模型评测榜单站。页面标题把自己写成一份避开污染的模型评测。

首页分成两块:一块榜单,一块洞察。

首页不铺长文,上面一块排数与筛选,下面一块排图与清单,两块之间用小标题隔开。

先出数,再讲取舍。

顶部那一行

左边四格

榜单、洞察、详情与论文依次排开。一格看数,一格看图,一格看做法,一格看文稿。

右边一格

代码收在末尾,后面带一个向外的小箭头,说明它指向站外。

页面开头那段

主标题下面跟着一段按语:若干项客观任务、分成七个类别,每半年换一轮;可以选一个版本,一路比到子任务,并看每个模型跑一遍的花费。

半年换一轮的那件事

页面把这件事写在最前面:题目每隔半年换一批,换下来的题不进新的训练数据。

页头有一个版本选择器,摆着早期的一个版本与最新的一个版本。选哪个版本,整页的数就换成哪个版本的。

为什么强调这件事

按语里点出来的是:题目一旦被模型见过,分数就不可比。换题是为了让分数一直能比。

六项能力

榜单

综合与每个类别都可排序。

版本切换

页面上一个版本选择器,换一批题就换一版数。

二十三项任务

分成七个类别,逐项排开。

洞察

一张成本与质量的散点图。

成本维度

得分旁边摆着跑一遍的花费,两个一起看。

筛选与对比

按权重开放与机构筛,再挑列对比。

榜单那一块有哪些开关

榜单块上面排着一行开关:只展开权重的、含微调版、按机构看、对比与选列。机构那一项下面排着一批模型机构的名字。

类别那一行排着七个:推理、代码、代理式代码、数学、数据分析、语言与指令遵循。选一个类别,整张表就按这一项排;选多个,就看类别均值。

表格每一行前面有一个可点开的标记,点开是这一行的子任务得分。得分旁边摆着成本那一列。

第二块讲成本与质量

第二块开头就说明:光看得分看不出一个模型值不值,所以把成本摆在得分旁边。

这一块排着三样:一张成本与质量的关系图、一份按成本从低到高排的清单,以及一份把两三个模型按类别并排对比的画像。

页脚那两句

页脚留着一句赞助说明与一句定义:综合分取各类别均值的均值,成本按成功完成一次任务计。定义写在页脚,读者要看时能翻到。

页面里没有的东西

首页没有资讯栏,也没有课程或社群。版面落在一块榜单与一块洞察上。

页面上不摆售卖入口,只摆榜单、图与定义。

站上不点评具体模型的强弱,评论区也不在页面上。整页只给数与算法说明。

一句话总结

LiveBench 是一个模型评测榜单站,页面标题把自己写成一份避开污染的模型评测,首页分榜单与洞察两块。顶部依次是榜单、洞察、详情、论文与代码。主标题下面说明它有二十三项客观任务、分成七个类别,每半年换一轮,换下来的题不进新的训练数据。榜单块上面排着筛选与对比的开关,类别一行排着推理、代码、代理式代码、数学、数据分析、语言与指令遵循。第二块把成本摆在得分旁边一起看。本站为条目陈列,不写金额,不提供任何资料文件。

想看看那二十三项任务怎么分的,从官网进去。

前往 livebench.ai

回顶部

Copyright © 2021-2026 陕ICP备2021016533号-1法律条款