Redis之父下场:给DeepSeek V4手写C推理引擎
Salvatore Sanfilippo,写Redis的antirez,最近的新玩具叫ds4(DwarfStar):给DeepSeek V4 Flash和PRO(外加GLM 5.2)手写的本地推理引擎,纯C,支持Metal、CUDA、ROCm。DeepSeek V4 Flash开源权重才几天,这个仓库已经2万星,还在GitHub trending上爬。
工程细节全是antirez的味道:非对称量化,只把MoE的路由专家压到2bit,注意力和共享组件原封不动;SSD流式加载,模型比内存大也能跑;多台Mac用雷电口做张量并行;投机解码提速;还内置了一个带持久化KV缓存的编程agent,会话存盘、断点续聊。128GB的M3 Max上,一个284B参数的模型能跑出每秒27个token的生成速度。一台笔记本,一个真能用的编程助手,不要API key。
更大的信号是:真正开放的前沿模型撞上系统编程圈的老炮会发生什么。DeepSeek 7月31日把V4 Flash开源,几天之内,世界上最受尊敬的C程序员之一就在免费给它做消费级硬件优化。闭源实验室要养infra团队干这个活,开源实验室是白捡——这是定价页上看不到的开源权重复利。
仓库:https://github.com/antirez/ds4
← 返回所有文章
工程细节全是antirez的味道:非对称量化,只把MoE的路由专家压到2bit,注意力和共享组件原封不动;SSD流式加载,模型比内存大也能跑;多台Mac用雷电口做张量并行;投机解码提速;还内置了一个带持久化KV缓存的编程agent,会话存盘、断点续聊。128GB的M3 Max上,一个284B参数的模型能跑出每秒27个token的生成速度。一台笔记本,一个真能用的编程助手,不要API key。
更大的信号是:真正开放的前沿模型撞上系统编程圈的老炮会发生什么。DeepSeek 7月31日把V4 Flash开源,几天之内,世界上最受尊敬的C程序员之一就在免费给它做消费级硬件优化。闭源实验室要养infra团队干这个活,开源实验室是白捡——这是定价页上看不到的开源权重复利。
仓库:https://github.com/antirez/ds4
评论