GitHub 项目 capy-flash 于 2026-10-16 发布 v0.5.4。项目说明称，它可以在两张 16 GB 消费级显卡上运行 Qwen3.8-Flash-Next：这是一个 1250 亿参数的混合专家（MoE）模型，使用 NVFP4 权重。放不进显存的路由专家留在主机内存，由支持 AVX-512 的 CPU 计算。README 同时给出与 Strata 的同机对比，以及相对 GB300 上 vLLM 的质量参考。文中 capy-flash 与 Strata 的测试在发布方所列的同一台双 RTX 5070 Ti 机器上进行，GB300 质量参考则来自 GB300 上运行的 vLLM。
README 写明，引擎使用 NVIDIA 官方发布的 NVFP4 专家权重，没有重新量化。两张显卡以张量并行分工，其间不需要点对点直连（peer-to-peer），部分和经主机内存中的邮箱传递。放不进显存的路由专家留在主机内存，由 CPU 用 AVX-512 的 NVFP4 内核计算，并套用与 GPU 相同的 W4A4 激活量化；显存里再按专家编号缓存一部分路由专家。其余计算在两张 GPU 上完成。
capy-flash 由 ninfer-tp2 在 v0.5.0 改名而来，是 Neroued/ninfer 的双卡张量并行分支。同一程序也能运行稠密模型 Qwen3.8-27B，且按项目说明，方式与 ninfer-tp2 v0.4.9 一致，权重可全部放在两张显卡上。功能还包括 MTP 投机解码（K = 3）、INT8 KV 缓存、最长 262144 token 的上下文，以及兼容 OpenAI 与 Anthropic 的服务接口。项目以 Apache License 2.0 开源，并声明与 Qwen、NVIDIA 无关联。
测试机器为 AMD Ryzen 9 9900X、96 GB DDR5-5600、两张 RTX 5070 Ti 16 GB（PCIe 5.0 x8 + x8，无 P2P），系统为 Ubuntu，CUDA 13.1。README 把「GB300」定义为质量参照：同一 NVFP4 检查点由 vLLM 在 GB300 上、用相同提示词成对评测。
智能体回放中，capy-flash 首 token 中位时间为 1.82 秒，服务端解码 100.8 tok/s，总耗时 243 秒。同机 Strata 0.1.44.1 使用相同 NVFP4 权重时，对应为 2.42 秒、78.3 tok/s、314 秒。质量表（服务配置对应本 README，标注为 v0.5.3、2026-10-16）中，GSM8K（1319 题）得分为 0.9765，GB300 参考为 0.9810；MMLU-Pro（1008 题）得分为 0.8452，参考同为 0.8452。5 个多步编码任务各跑 4 次，20/20 完成，1124 次工具调用无格式错误，每次运行生成 42.9k token。
README 另注：质量、预填充和冷启动测于 v0.5.3；智能体回放与上述编码任务测于 2026-10-14 的内部构建，该构建与 v0.5.3 的差异在于一处 PLE 表行以及提示词路由器。
项目列出的运行要求为：Linux、CUDA 13.1、两张 sm_120（RTX 50 系）16 GB 显卡、支持 AVX-512 的 CPU、约 70 GiB 空闲内存、135 GB 磁盘。路由专家对应一块 64.6 GiB 的锁页主机内存；启动时会检查是否放得下，不够则拒绝启动。
已知限制写明：一次只处理一个请求（--max-concurrency 1）；只在上述那台机器上测试过；输出不能逐位复现，因为哪些专家留在显存取决于时序，走 GPU 路径还是 CPU 路径会随之变化，长预填充的末位也会有差别。质量数字是在这一前提下测得的。
