首页 > 教程资讯 > 教程详情

Hugging Face 推理服务改用 OpenRouter 路由,语言模型请求失败可自动重试

AI 与前沿 极客小林 2026-11-17
文章分享

Hugging Face 宣布与 OpenRouter 合作,将 Inference Providers 的语言模型请求从自建路由器切换至 OpenRouter。新路由按实时价格、速度和可靠性选择服务商,首家服务商调用失败后,会在同一次调用内换一家重试。Hugging Face 表示,用户代码无需改动,但语言模型将不再支持用户自带的服务商 API key。

从单次分发到自动重试

据 Hugging Face 博客介绍,旧路由只为每次请求选择一家服务商,一旦失败便直接返回错误。新路由会在服务商变慢或出现故障时转移流量,待其恢复后再使用,并对失败请求自动重试。

博客援引 OpenRouter 自测结果称,其新路由使容量错误减少 46%,首 token 时间改善 16.9%,吞吐量提升 16.3%。这些数据来自 OpenRouter 的测量。

用户仍可在模型 ID 后加后缀指定策略::fastest 选择吞吐量最高的服务商,:cheapest 选择价格最低的服务商,:novita 则限定只使用 Novita。路由还具备提示缓存感知能力,让同一对话留在持有缓存的服务商上;用户也可通过 X-HF-Session-Id 请求头,为每段对话传入稳定的 UUID,显式标识会话。

接口兼容,账单与密钥规则调整

该路由支持 OpenAI 的 Chat Completions、Responses API,以及 Anthropic 的 Messages API。博客同时提供 Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的接入指南。

Hugging Face 表示,价格保持不变:用户在 Hugging Face 账单上按服务商价格付费,平台不额外加价。PRO 用户每月获得 2 美元额度,Team 和 Enterprise 组织每席位获得 2 美元额度。

密钥使用规则有一项破坏性变更:语言模型请求统一经 OpenRouter 路由,并计入 Hugging Face 账户或组织账单,不能再使用用户自己的服务商 API key。用户仍可用 model:provider 后缀指定服务商,或在设置中关闭不希望使用的服务商。

图像、视频和音频生成继续直接通过 Hugging Face Inference Providers 运行,不经过 OpenRouter;图像和视频服务商的自定义密钥仍可使用。

开放权重模型用量上升

博客引用 OpenRouter 数据称,开放权重模型占其服务 token 的比例,从 2025 年 10 月的 26.8% 升至 2026 年 9 月底的 71.7%。同期,开放权重模型的周用量增长超过 60 倍,闭源模型增长近 10 倍。

Hugging Face 将此次切换称为双方合作的第一步,后续计划支持连接 OpenRouter 账户,并让更多任务类型使用 OpenRouter 路由。

来源