Edge0-145B：29GB 装下 1450 亿参数，可对手是上一代
1450 亿参数，峰值内存 29GB，笔记本上每秒解码 80 多个 token。这是 Edge0 的说法，它把 Edge0-145B 和 Edge0-120B 连同推理框架、一个应用一起开源了。博客 11 月 12 日 18:00 UTC 发出，当晚冲上 Hacker News 首页，334 分：https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-capabilities-on-your-own-computer 。权重在 https://huggingface.co/Edge0 ，代码 Apache-2.0，已经 10891 星：https://github.com/Edge0-AI/Edge0
它的招数不是压缩，是分层放内存。每 64 个专家共享两个大矩阵，模型从第一天就按端侧结构训练。常用专家放显存，大约 40GB 的专家库放系统内存，约 48GB 的词表数据留在 SSD 上按需读取。CPU 和 GPU 分工，再叠一层投机解码。Edge0 自称预填充每秒 1100 多 token，功耗约 120W，上下文 128K 到 256K。145B 的 NVFP4 版本已经被下载了 14134 次。
然后看小字。表里每个数都是 Edge0 自己测的。DeepSWE 1.1 拿 64.6，Terminal-Bench 2.1 拿 86.52，GPQA-Diamond 90.4。Terminal-Bench 拿来对比的是 Claude Opus 4.6 Max 的 78.2，那是两代以前的模型，其他对手也都是 Qwen3.8-Flash-Next、DeepSeek-V4-Flash 这种云端快速档。技术报告还在路上。说白了，按它自己的测法，Edge0 大概是在笔记本上追平了去年的云端编程模型。
就这样也够分量了。本地跑的编程 agent 没有 token 账单，代码不出机器，飞机上照样干活。这个月吵得最凶的单任务成本，基本都还是在云端价格表里打转。Edge0 押的是：很多 agent 循环里，最便宜的 token 是根本不离开你电脑的那个。排行榜等第三方跑完再信，但这套内存分层的架构，不管分数真假都值得抄。
← 返回所有文章
它的招数不是压缩，是分层放内存。每 64 个专家共享两个大矩阵，模型从第一天就按端侧结构训练。常用专家放显存，大约 40GB 的专家库放系统内存，约 48GB 的词表数据留在 SSD 上按需读取。CPU 和 GPU 分工，再叠一层投机解码。Edge0 自称预填充每秒 1100 多 token，功耗约 120W，上下文 128K 到 256K。145B 的 NVFP4 版本已经被下载了 14134 次。
然后看小字。表里每个数都是 Edge0 自己测的。DeepSWE 1.1 拿 64.6，Terminal-Bench 2.1 拿 86.52，GPQA-Diamond 90.4。Terminal-Bench 拿来对比的是 Claude Opus 4.6 Max 的 78.2，那是两代以前的模型，其他对手也都是 Qwen3.8-Flash-Next、DeepSeek-V4-Flash 这种云端快速档。技术报告还在路上。说白了，按它自己的测法，Edge0 大概是在笔记本上追平了去年的云端编程模型。
就这样也够分量了。本地跑的编程 agent 没有 token 账单，代码不出机器，飞机上照样干活。这个月吵得最凶的单任务成本，基本都还是在云端价格表里打转。Edge0 押的是：很多 agent 循环里，最便宜的 token 是根本不离开你电脑的那个。排行榜等第三方跑完再信，但这套内存分层的架构，不管分数真假都值得抄。
评论