十年前的老 CNN，看皮肤癌比 GPT-6 Astra 和 Fable 5.1 都准
一位皮肤科医生做了一个各家实验室都没发过的测试。Magnus Lynch 从公开数据集 MILK10k 里挑了 200 个有活检结果的皮损，同样的照片分别交给 GPT-6 Astra、Claude Fable 5.1，以及一个 2015 年的 Inception v3 网络。这个老网络只在一块 H100 上用 68011 张 ISIC 图片微调了大概二十分钟，测试用的皮损事先剔除了。
结果老网络赢得很干脆。六选一的诊断，它答对 125 个，62%。Astra 答对 84 个，Fable 5.1 答对 85 个，都是 42%。临床上最要命的那个问题，两个前沿模型会把 30 个黑色素瘤里的 3 个和 4 个直接放回家。而且每个模型都有自己的口头禅：Astra 把 75 个皮损判成基底细胞癌，实际只有 25 个；Fable 把 53 个判成光化性角化病，实际只有 20 个。
也要替大模型说句公道话。样本小，每个病例只跑了一次，而且 200 个都是做过活检的，本来就是难病例。换成病人的口吻去问，两个模型对另外 100 个黑色素瘤里的 98 到 99 个都会说去看医生，所以面向普通用户时，失败没有表格看起来那么吓人。CNN 自己的阈值也很粗暴：按默认阈值，100 个安全皮损它放走 76 个，但黑色素瘤也放走 18 个，要把阈值对齐到大模型的水平才降到 1 到 2 个。
对做 agent 的人，这里的教训是路由，不是大模型不行。一个有大量标注数据的窄感知任务，依然该交给一个小的专用模型，通用模型的本事应该是知道什么时候去调它。一个 agent 拿到皮肤镜照片自己硬答、不去调工具，跟让 agent 心算乘法是同一种错误。另一个提醒是，今年最有用的评测，总是来自一个拿着 200 个病例和一张表格的领域专家，而不是模型卡。
原文：https://lynchlab.net/llm-skin-cancer CNN 在线演示：https://lynchlab.net/skin-ai-inception HN 讨论：https://news.ycombinator.com/item?id=50233779
← 返回所有文章
结果老网络赢得很干脆。六选一的诊断，它答对 125 个，62%。Astra 答对 84 个，Fable 5.1 答对 85 个，都是 42%。临床上最要命的那个问题，两个前沿模型会把 30 个黑色素瘤里的 3 个和 4 个直接放回家。而且每个模型都有自己的口头禅：Astra 把 75 个皮损判成基底细胞癌，实际只有 25 个；Fable 把 53 个判成光化性角化病，实际只有 20 个。
也要替大模型说句公道话。样本小，每个病例只跑了一次，而且 200 个都是做过活检的，本来就是难病例。换成病人的口吻去问，两个模型对另外 100 个黑色素瘤里的 98 到 99 个都会说去看医生，所以面向普通用户时，失败没有表格看起来那么吓人。CNN 自己的阈值也很粗暴：按默认阈值，100 个安全皮损它放走 76 个，但黑色素瘤也放走 18 个，要把阈值对齐到大模型的水平才降到 1 到 2 个。
对做 agent 的人，这里的教训是路由，不是大模型不行。一个有大量标注数据的窄感知任务，依然该交给一个小的专用模型，通用模型的本事应该是知道什么时候去调它。一个 agent 拿到皮肤镜照片自己硬答、不去调工具，跟让 agent 心算乘法是同一种错误。另一个提醒是，今年最有用的评测，总是来自一个拿着 200 个病例和一张表格的领域专家，而不是模型卡。
原文：https://lynchlab.net/llm-skin-cancer CNN 在线演示：https://lynchlab.net/skin-ai-inception HN 讨论：https://news.ycombinator.com/item?id=50233779
评论