SpecEyes：通过推测感知将智能体多模态 LLM 加速 3.35 倍

SpecEyes 是一个全新的研究框架，可将智能体多模态 LLM 加速最高 3.35 倍，同时保持甚至提升精度（最高 +6.7%）。论文发表在 arXiv 上并在 HuggingFace 获得 64 票，引入了推测感知和规划技术，让轻量级视觉语言模型先筛选视觉输入，仅在必要时才交给更强的工具调用模型处理。

该框架使用基于答案可分性的认知门控机制来量化模型置信度，无需预言标签即可自我验证。异构并行漏斗利用小模型的无状态并发来掩盖大模型的有状态串行执行，最大化系统吞吐量。这意味着 GUI 导航、文档分析或网页浏览等智能体视觉任务可以显著加速，而不牺牲 Agent 决策质量。

官方实现以 Apache-2.0 许可证在 https://github.com/MAC-AutoML/SpecEyes 开源，包含评估代码、裁判脚本和置信度分析工具。对于智能体生态系统，SpecEyes 解决了一个关键瓶颈：需要在视觉环境中感知和行动的多模态 Agent 一直受限于大型视觉语言模型的延迟。感知层的推测执行可能成为实时 Agent 应用的标准技术。