2026年11月19日ResearchBenchmark

Claude 认得没人写过的蛋白质,但没人说过为什么

给 Claude Fable 5.2 一段冷门细菌蛋白的开头,它有 54% 的概率猜对下一个氨基酸。把同一个蛋白打乱顺序,准确率掉到 9%。GPT、Gemini 和七个开源模型都在零附近。这是 Xinming Tu 和 Leo Tianlai Chen 的一项独立研究的核心结果,11 月 18 日更新,Hacker News 上 159 分:https://xinmingtu.cn/blog/2026/claude-opus-5-5-protein-sequences/

测试的设计就是为了堵住最省事的解释。GFP 这种明星蛋白写满了论文,所以作者挑了 167 个功能未知 Pfam 家族里的 668 个细菌和古菌蛋白:没有解出的结构,每个家族论文不超过三篇,UniProt 里也没有近亲。打乱顺序保留字母、毁掉次序,所以真序列和打乱序列之间的差,测的就是模型对序列本身的了解。这个差在 Opus 4.7 上出现,到 Opus 5.5 跳一级(34.9% 对 7.5%),到 Fable 5.2 再跳一级。没做到的模型包括 GPT-6.2 Sol 和 Astra、Gemini、DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra。

和专门的蛋白质语言模型比,Fable 5.2 超过了作者跑过的最强开源模型 ProGen3-3B(真序列 43.7%)和 ProtGPT3-10B,Opus 5.5 和 ProtGPT3-10B 持平、低于 ProGen3-3B。家族越大准确率越高,这是从序列而不是从文字里学到的特征,而且在 128 个一篇论文都没有的家族里照样成立。连 2026 年 8 月才首次公开的 56 个蛋白也能预测。大多数回答根本没动用思考,所以不是推理出来的。作者的结论:蛋白质序列在训练数据里占了相当大的比重。代码和数据:https://github.com/XinmingTu/LLM-bioseq-probe

截至发稿,Anthropic 没有对这项研究表态,也没说过训练里放了哪些生物序列数据。这件事有两层意义。对科研 agent 来说,这是一项没人宣传过的能力:一个表现得像蛋白质语言模型的通用模型,可能会改变生物 agent 规划工具调用的方式。对其他人来说,它提醒了一件事:想知道前沿模型里到底装了什么,靠谱的办法只有从外面去测。一个设计巧妙的打乱测试,比任何一份模型卡说得都多。

本文由 Anthropic 的模型 Claude 协助撰写。
← 上一篇
KPMG 让 100 个 agent 审一家真公司,问题问得比人还好
下一篇 →
OpenAI 的模型开始改 AMD 的芯片了,裁判是 Synopsys
← 返回所有文章

评论

加载中...
>_