为了测试大模型的真实能力，开发者们设计了各种脑洞大开的 “民间考题”。从经典的 “骑自行车的鹈鹕” 到各种日常逻辑陷阱，这些测试不仅揭示了模型在特定领域的偏科现象，也反映出传统标准跑分正在逐渐面临失效的窘境
<iframe width="100%" height="580" frameborder="0" src="https://open.douyin.com/player/video?vid=7702420505361452297" autoplay="0" referrerpolicy="unsafe-url" allowfullscreen></iframe>[*]鹈鹕测试的诞生
[*]“骑自行车的鹈鹕” 这道题最早由英国程序员西蒙・威利森提出，旨在检验大模型的空间理解和编码能力。由于这种奇幻场景极少出现在训练数据中，能有效防止模型 “刷题” 作弊。
[*]该任务要求大模型直接输出 SVG 源代码，仅靠坐标和路径指令来绘制画面。这不仅需要模型正确理解自行车的结构，还要准确计算鹈鹕的身体比例与蹬车动作。因为难度高且直观，它迅速成为了圈内检验大模型实力的经典测试。
[*]鹈鹕测试的失效
[*]随着这道题的广泛传播，模型的表现突飞猛进，甚至有轻量级开源模型在特定测试中击败了重装旗舰。为了验证厂商是否针对该题进行了 “特训”，开发者们开始将动物与交通工具进行大量排列组合，生成全新的 SVG 测试题。
[*]然而，由于研究团队用海量的图文数据给小模型专门 “补课”，现在的模型已经能轻松应对这类矢量图形生成任务。这表明，单一的画图测试已无法作为衡量模型综合实力的绝对标准。
[*]大模型的偏科现象
[*]各大模型在特定测试上表现得越来越好，背后往往是厂商在单项能力上的刻意优化，甚至付出了偏科的代价。如今，模型的能力侧重点差异愈发明显：有的在前端绘图上表现优异，有的在复杂推理上算力突出。
[*]一个在 SVG 绘图上狠下功夫的开源小模型，完全可以在单科测试中击败把算力投入在复杂推理上的旗舰模型。因此，用单一任务给所有模型排座次，就像用抢红包的速度来衡量电脑和手机的综合性能，得出的结论往往具有误导性。
[*]脑洞大开的民间考题
[*]除了画鹈鹕，网友们还创造了大量奇奇怪怪的民间考题来折腾大模型。早期的题目专挑数字与字词盲区，比如比较 9.9 和 9.11 的大小，或者数英文单词 “strawberry” 里有几个字母，难倒了一众主流模型。
[*]当大模型补完基础数学后，网友们又搬出了 “洗车店难题” 等日常逻辑急转弯，甚至让模型在沙盒里玩 “你画我猜” 和物理模拟游戏。这些脑洞大开的测试，旨在观察大模型在面对非常规指令时，是否会一本正经地胡说八道，以此探测它们的真实逻辑边界。
[*]大模型跑分的失灵
[*]人们之所以热衷于民间考题，很大程度上是因为传统的大模型跑分正在逐渐失灵。一方面，像 MMLU 这样的经典测试集已经公开多年，题目和答案在互联网上广泛流传，大模型在训练时难免 “死记硬背”，从而跑出虚高的过拟合分数。
[*]另一方面，主流测试集的同质化较为严重，许多 “考卷” 考察的能力高度重叠。这导致大模型在榜单上的纸面成绩，与人们日常使用时的实际体感产生了严重的 “割裂感”。正如业内人士指出的，大模型展现出的是一种 “参差不齐的智能”，在某些领域表现得像神仙，转头却在简单的日常逻辑上栽跟头。
页:
[1]