Respan 的 Andy 在 Hacker News 的 Launch HN 帖子中介绍了开源项目 Respan Gateway。这款用 Rust 编写的 AI 网关采用小核心与插件架构,将服务商适配、协议、模态及网关功能拆成插件,让团队能够在不修改核心的情况下扩展功能。按作者的介绍,项目仍处于 pre-alpha 阶段。
Andy 称,团队自 2024 年起基于 LiteLLM 搭建网关,目前为数千个组织提供服务。为满足不同组织对 API 密钥、路由和限额的需求,团队不断增加外围功能,包装代码一度超过 10 万行。
据他描述,今年 1 月的一次例行 LiteLLM 升级引发了间歇性连接错误,团队随后回滚,至今未查明原因。此后,他们停止直接升级 LiteLLM,改为手动移植上游修复。这段经历促使团队重新设计网关。
据 Andy 介绍,新架构受到 Nginx 启发,核心只负责分发事件。OpenAI、Anthropic、Gemini 等服务商,聊天、实时语音、MCP 等协议,以及图像、视频等模态均通过插件实现;智能路由、回退和个人身份信息(PII)脱敏也被纳入插件设计。
作者举例称,Mistral 的服务商适配文件只有 22 行;Groq 将 token 用量放在自有字段中这类接口差异,也被拆成插件并分别测试。
协议转换是另一项功能。按作者说法,基于 OpenAI Realtime API 的应用可以通过网关使用 Gemini Live,但并非所有功能都能对应。普通聊天应用也能调用网关中配置的 MCP 工具,无须自行实现 MCP。
Andy 在评论区进一步说明,插件是原生编译的 Rust crate,并非解释执行或动态加载。开发者若要添加超出模板范围的自定义逻辑,需要将其编译进应用;通过模板插件配置服务商和格式,则不必重新构建。
部署方面,作者称团队因部分 API 仍可能变化,在发布前撤下了 Docker 镜像,目前 GitHub Releases 提供内置第一方插件的官方二进制构建。
评论者 verdverm 对插件机制的供应链风险提出质疑。Andy 回应时承认,crate 同样存在供应链风险,并表示开发者可以审阅引入的源码。这些讨论属于参与者对架构的意见,并非已披露的安全事件。
项目采用 MIT 或 Apache-2.0 许可,用户可以在本地运行,无须使用 Respan 托管平台。作者表示,公司的收入来自托管平台,服务包括可观测性、评测和统一计费。