首页 > 教程资讯 > 教程详情

百度发布 Unlimited OCR 2:用 SR-SWA 解析超长文档,延迟和显存几乎不随长度增长

AI 与前沿 极客小林 2026-10-28
文章分享

2026 年 10 月 27 日,百度发布文档解析模型 Unlimited OCR 2,代码仓库为 GitHub 上的 baidu/Unlimited-OCR。据 Hugging Face 模型页介绍,该模型借助新加入的稀疏参考滑动窗口注意力(SR-SWA),实现「无限长度」的文档解析。同一天,百度还发布了面向超长文档解析的新基准 MarathonDocBench。

SR-SWA 做了什么

模型页称,SR-SWA 把超长序列中的图文注意力交互压缩到一个固定大小的参考集合里,例如 512 个 token。这样,逐步解码的延迟和显存占用几乎不随文档长度变化。

模型页还表示,在 SR-SWA 的支持下,Unlimited OCR 2 能在有限的上下文窗口内完成不设上限的文档解析,随文档变长而出现的注意力二次方增长和显存瓶颈也随之消除。

成绩与新基准

模型页称,Unlimited OCR 2 在几十页级的基准(如 MPDocBench)和上百页级的极端基准(如 MarathonDocBench)上,均达到 SOTA。这些成绩出自发布方的模型页,页面上另附有排行图。

MarathonDocBench 的数据集放在 Hugging Face 的 baidu/MarathonDocBench 下。

上架渠道与使用方式

10 月 27 日,模型同时上架魔搭社区(ModelScope)和百度智能云。模型页还提供了由 AK 制作的 Hugging Face Spaces 在线演示。

模型支持两种推理方式:

  • Transformers:原生支持,适合快速测试。示例在 NVIDIA A800-80GB 上测试,环境为 Python 3.10、torch==2.13.0、transformers==4.52.1,模型以 torch.bfloat16 加载。
  • SGLang:模型页推荐用于服务部署,需要安装定制的 sglang-0.5.20.dev10+g8d62f5fb9c wheel。

多页推理(infer_multi)会把文档的所有页面放进同一个请求,以便模型利用跨页上下文。SGLang 示例则先把 PDF 按 dpi=300 转成图片,再整体输入。

对于很长的文档,SGLang 示例支持按页窗口调度:示例把每个窗口设为 10 页,单页输出上限设为 20000 token。模型页提醒,较小的页窗口能降低峰值显存,但会影响跨页合并,因为跨越窗口边界的内容块会丢失上下文。

模型页另附一段回放,展示用单个请求解析一整本书的过程。

前代背景

第一代 Unlimited-OCR 于 2026 年 6 月 22 日发布,目标是在 DeepSeek-OCR 的基础上再推进一步。相关论文《Unlimited OCR Works》于 6 月 23 日上线 arXiv,编号为 2606.23050。

来源