量子位· 听雨·· 5 天前精选AI 评分78
百度开源文心Unlimited OCR 2，峰值KV缓存从47GB降至1.77GB
KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96%
AI 导读
百度发布并开源文心Unlimited OCR 2，通过稀疏参考滑动窗口注意力机制SR-SWA和无限解码机制，在百页级单序列测试中把峰值KV缓存从47GB降至1.77GB，减少约96%。
推荐理由
读者可以看到长文档 OCR 的缓存与解码开销如何被压到与页数无关，以及两项评测的对比数据。
来源：量子位 · qbitai.com