首页 > 教程资讯 > 教程详情

Labqoat 推出 8 亿参数决策模型 qev-0.8b:发布方自测准确率居 27 款之首

AI 与前沿 编辑部小鹿 2026-10-22
文章分享

Labqoat 推出决策模型 qev-0.8b,参数量为 8 亿,面向提示词注入检测、工具选择、客服工单分流等任务。它不生成文本,而是输出判断的概率。发布方自测显示,该模型在 Benchmark Heaven 公开集上的准确率为 77.1%,在参与比较的 27 款决策模型中排名第一;在单张 NVIDIA L40S 上,单次请求的中位延迟为 3.5 毫秒,也是此次比较中最快的。

输出概率,支持本地运行

据项目页介绍,qev-0.8b 是基于 Qwen3.5-0.8B-Base 的全量微调模型,采用 Apache-2.0 许可。其接口支持选择题、是否判断和评分题,返回概率分布,供调用方按阈值决定执行操作,或转交人工及更大的模型处理。

接口每次最多接收 16 个问题,每个选择题最多支持 255 个选项;批量接口一次最多处理 64 个请求。官方还展示了收据识别和截图判断:据发布方测试,在 100 张生成的收据上,总额、类别及限额判断全部正确;在 100 张生成的截图上,屏幕类型和错误判断全部正确。

本地部署方面,项目提供 CUDA、面向 Apple silicon 的 MLX,以及供 llama.cpp 使用的 GGUF 格式。官方列出的 bf16 权重大小为 1.7 GB,8-bit 权重为 0.8 GB;Mac 上运行 8-bit 版本约需 1.3 GB 内存,M4 Pro 上的延迟为 109 毫秒。

排名领先,但评测存在条件差异

此次比较使用相同题目和评分方式,各模型在单张 NVIDIA L40S 上采用各自公布的推理方案运行。Benchmark Heaven 公开集包含 231 道题,项目页标注的抽样误差约为 ±2.8 个百分点。

发布方表格中,排名第二的 decision-2b 准确率为 76.2%,参数量为 20 亿;第三名 decider-2b 为 75.8%,参数量为 19 亿。两者的单次请求中位延迟分别为 81.3 毫秒和 7.2 毫秒,延迟测试的批大小为 1。

在另外两项评测中,发布方报告 qev-0.8b 的 JevExtra 得分为 72.0%,次优模型为 64.1%;JevSpatial 得分为 74.2%。项目页称,Tetris、Pac-Man、Breakout、2048 和 Whac-A-Mole 均未进入训练数据。

这些成绩均来自发布方测试。官方注明,qev 使用自家评测脚本,其余 26 款模型使用另一套对比脚本;后者曾给上一版 qev 少算对一道题,结果为 76.6%,而非 77.1%。表中带脚注标记的部分模型有 100 道以上题目运行失败,被按均匀猜测计分,官方称这低估了它们的成绩。此外,decider-2b 和 lev-350m 缺少 JevSpatial 与 Rules-7 的测试结果。

来源