oaklight/llm-rosetta-gateway repository overview

⁠llm-rosetta-gateway

Drop-in HTTP proxy that accepts requests in any major LLM API format and forwards them to any upstream provider with live format conversion, streaming, and key rotation.

即插即用的 HTTP 代理，接受任意主流 LLM API 格式的请求，实时转换并转发到任意上游提供商，支持流式传输和密钥轮换。

Supported formats / 支持格式: OpenAI Chat · OpenAI Responses · Anthropic Messages · Google GenAI

⁠Quick start / 快速开始

docker run -d \
  -p 8765:8765 \
  -v /path/to/config:/config \
  oaklight/llm-rosetta-gateway:latest

Create a config.jsonc in your config directory — see the configuration guide⁠ for the full reference.

在配置目录中创建 config.jsonc，完整参考见配置指南⁠。

⁠Features / 特性

• Any-to-any conversion / 任意格式互转 — point your OpenAI SDK at an Anthropic model, or vice versa / 用 OpenAI SDK 调 Anthropic 模型，反之亦然
• Streaming / 流式传输 — full SSE round-trip across all four API standards / 四种 API 标准间完整 SSE 往返
• Provider shims / 提供商适配层 — declarative YAML configs handle per-provider quirks / 声明式 YAML 配置处理各提供商差异
• Admin panel / 管理面板 — built-in web UI for metrics, request logs, and live model testing / 内置 Web UI 用于指标监控、请求日志和模型测试
• Zero runtime dependencies / 零运行时依赖 — the gateway has no external Python dependencies / 网关无外部 Python 依赖

⁠Multi-arch / 多架构

Images are built for linux/amd64 and linux/arm64.

镜像支持 linux/amd64 和 linux/arm64 双架构。

⁠Links / 链接

• ⭐ GitHub⁠ — star the repo if you find it useful / 好用请点 Star
• 📖 Documentation / 文档⁠ — guides, API reference, provider compatibility matrix / 指南、API 参考、提供商兼容矩阵
• 📦 PyPI⁠ — pip install llm-rosetta for the library / 安装核心库
• 🐛 Issues⁠ — bug reports and feature requests / 问题反馈和功能建议