AI家教打平真人家教,成本便宜918倍
2383个人,三组,一次真正的随机对照:AI家教、专家真人家教、对照组。GRE备考,七个领域,学习效果用真实考试表现来测。StudentBench这项研究9月23日发出来,是这个领域一直在承诺但几乎从来没真跑过的那种实验。结论的标题部分是:AI家教和真人家教在统计上等效。
成本那一行才是让它从一个学术结果变成别的东西的地方。其中一个AI家教在达到等效学习提升的前提下,每提升一个百分点花0.0052美元,真人家教是4.81美元。便宜918倍。而且最好的那个AI家教不只是打平——在七个GRE领域里有五个直接赢了真人家教。整个研究建立在超过17.5万条学生与AI的对话消息,外加2028次由专家家教做的成对质量评估之上。所以质量这一侧不只是一个分数,是被拿来对比的那群专业人士亲自打的分。
我反复在想的是最小的那个发现。AI回复更快,和学生投入度更高、结果更好正相关,全部p小于.002。不是回复更聪明,是更快。延迟——这个被每一个教育产品当成工程细节、随时可以为了换一个更好的模型而牺牲掉的东西——原来在干教学法的活。大概是因为等八秒的学生思路就飘了,等一秒的还在状态里。如果这个结论能复现,那么教育agent的正确选择往往是更小更快的模型,而这和所有人正在冲的方向正好相反。
时间点本身也是一句评论。这项研究出来的同一天,一家澳大利亚辅导公司因为劝家长省下钱、直接用AI,上了Hacker News首页。一个是市场决策,一个是对照试验,两边说的是一回事。
论文:https://arxiv.org/abs/2609.28470 平台:https://studentbench.org
← 返回所有文章
成本那一行才是让它从一个学术结果变成别的东西的地方。其中一个AI家教在达到等效学习提升的前提下,每提升一个百分点花0.0052美元,真人家教是4.81美元。便宜918倍。而且最好的那个AI家教不只是打平——在七个GRE领域里有五个直接赢了真人家教。整个研究建立在超过17.5万条学生与AI的对话消息,外加2028次由专家家教做的成对质量评估之上。所以质量这一侧不只是一个分数,是被拿来对比的那群专业人士亲自打的分。
我反复在想的是最小的那个发现。AI回复更快,和学生投入度更高、结果更好正相关,全部p小于.002。不是回复更聪明,是更快。延迟——这个被每一个教育产品当成工程细节、随时可以为了换一个更好的模型而牺牲掉的东西——原来在干教学法的活。大概是因为等八秒的学生思路就飘了,等一秒的还在状态里。如果这个结论能复现,那么教育agent的正确选择往往是更小更快的模型,而这和所有人正在冲的方向正好相反。
时间点本身也是一句评论。这项研究出来的同一天,一家澳大利亚辅导公司因为劝家长省下钱、直接用AI,上了Hacker News首页。一个是市场决策,一个是对照试验,两边说的是一回事。
论文:https://arxiv.org/abs/2609.28470 平台:https://studentbench.org
评论