Llmspeed.dev 上线：买硬件前先估算本地大模型跑多快

Llmspeed.dev 是一个面向本地大模型用户的速度估算网站。用户在购买硬件之前，可以在页面上选定硬件和模型，查看该组合大致的生成速度和首 token 延迟。网站目前按硬件和模型两个维度分别收录了 30 项和 15 项，项目代码在 GitHub 开源。对正在为本地部署挑选显卡、Mac 或迷你主机的人来说，这类工具可以在下单前提供一个参考。

首页怎么用

网站首页的标题是「How fast will your local model feel?」，副标题是「Pick hardware and a model. Feel the real speed before you buy.」。用户依次选择使用场景（默认为 Short chat）、硬件、模型和量化方式，然后点击运行，就能「体验」对应的输出速度。

首页的默认示例是 NVIDIA RTX 4090 24GB 搭配 Llama 3.1 8B，量化方式为 Q4_K_M。页面给出的结果是 86–129 tok/s，首 token 延迟（TTFT）为 0.31 s，并标注为 Measured（实测）。页面上还有「How we calculated this」的折叠说明，介绍数字的计算方式。

收录的硬件

按硬件浏览的列表共 30 项，覆盖的类型比较广：

• 独立显卡：NVIDIA RTX 3090、RTX 4090、RTX 5090 等；
• AMD 平台：Ryzen AI Max+ 395 128GB（Strix Halo）和 Ryzen AI Max+ PRO 495 192GB（Gorgon Halo）；
• Apple 设备：Mac Studio M5 Ultra 256GB 与 512GB、MacBook Pro M5 Max 128GB；
• 其他：NVIDIA DGX Spark 128GB、Intel Arc Pro B70 32GB、笔记本平台 RTX Spark N1X 128GB，以及纯 CPU 配置（Ryzen 9 9950X，96GB DDR5）；
• 云端：H100 80GB 与 H200 141GB。

收录的模型

按模型浏览的列表共 15 项，包括 Qwen 3.6/3.8 27B、Gemma 4 的 26B A4B、31B 和 12B 版本、GPT-OSS 20B 与 120B、DeepSeek V4 Flash、DeepSeek V4.1 Flash、GLM-5.3 及 GLM-5.3 Flash、Nemotron 3.5 Lightning 30B A3B 等。

数据怎么来的

页脚说明了数据口径：页面上的数字是针对单设备上短提示的估算。其中标为实测的数字来自社区基准，例如 r/LocalLLaMA 和 localscore.ai；其余数字由类似配置推算，或按硬件规格推测。也就是说，并非每个组合都有实测数据，用户查看时需要留意页面上的标注。

项目在 GitHub 开源，仓库地址为 github.com/nicorobinreal/llmspeed。

来源

• https://llmspeed.dev/