首页 > 教程资讯 > 教程详情

Respan 开源 Rust AI 网关,将服务商适配与协议处理做成插件

AI 与前沿 编辑部小鹿 2026-10-21
文章分享

Respan 的 Andy 在 Hacker News 的 Launch HN 帖子中介绍了开源项目 Respan Gateway。这款用 Rust 编写的 AI 网关采用小核心与插件架构,将服务商适配、协议、模态及网关功能拆成插件,让团队能够在不修改核心的情况下扩展功能。按作者的介绍,项目仍处于 pre-alpha 阶段。

从 LiteLLM 包装层转向重新设计

Andy 称,团队自 2024 年起基于 LiteLLM 搭建网关,目前为数千个组织提供服务。为满足不同组织对 API 密钥、路由和限额的需求,团队不断增加外围功能,包装代码一度超过 10 万行。

据他描述,今年 1 月的一次例行 LiteLLM 升级引发了间歇性连接错误,团队随后回滚,至今未查明原因。此后,他们停止直接升级 LiteLLM,改为手动移植上游修复。这段经历促使团队重新设计网关。

核心分发事件,插件承接功能

据 Andy 介绍,新架构受到 Nginx 启发,核心只负责分发事件。OpenAI、Anthropic、Gemini 等服务商,聊天、实时语音、MCP 等协议,以及图像、视频等模态均通过插件实现;智能路由、回退和个人身份信息(PII)脱敏也被纳入插件设计。

作者举例称,Mistral 的服务商适配文件只有 22 行;Groq 将 token 用量放在自有字段中这类接口差异,也被拆成插件并分别测试。

协议转换是另一项功能。按作者说法,基于 OpenAI Realtime API 的应用可以通过网关使用 Gemini Live,但并非所有功能都能对应。普通聊天应用也能调用网关中配置的 MCP 工具,无须自行实现 MCP。

插件需要编译,模板配置可直接调整

Andy 在评论区进一步说明,插件是原生编译的 Rust crate,并非解释执行或动态加载。开发者若要添加超出模板范围的自定义逻辑,需要将其编译进应用;通过模板插件配置服务商和格式,则不必重新构建。

部署方面,作者称团队因部分 API 仍可能变化,在发布前撤下了 Docker 镜像,目前 GitHub Releases 提供内置第一方插件的官方二进制构建。

评论者 verdverm 对插件机制的供应链风险提出质疑。Andy 回应时承认,crate 同样存在供应链风险,并表示开发者可以审阅引入的源码。这些讨论属于参与者对架构的意见,并非已披露的安全事件。

项目采用 MIT 或 Apache-2.0 许可,用户可以在本地运行,无须使用 Respan 托管平台。作者表示,公司的收入来自托管平台,服务包括可观测性、评测和统一计费。

来源