LLMGateway

Appearance

接口兼容总览 ​

LLMGateway 的 /v1 接口面向 OpenAI-compatible 客户端。除特别说明外，请使用：

text
Base URL: https://llm.xiaoyue9527.xyz/v1
Authorization: Bearer sk-gtw-REPLACE_ME
Content-Type: application/json

Anthropic-compatible 客户端也可以使用 x-api-key: sk-gtw-REPLACE_ME。

测试环境和正式环境的 Base URL 由文档站构建配置注入，不要混用。

兼容入口 ​

如果客户系统会自动拼接 /v1/chat/completions、/v1/messages 这类后缀，建议使用兼容入口，避免客户理解 LLMGateway 内部 /v2 路径：

客户端类型Base URL
OpenAI SDK（需要显式传入 v1 base_url）https://llm.xiaoyue9527.xyz/compatible/v1
NewAPI / OneAPI 类平台（会自动补 /v1/...）https://llm.xiaoyue9527.xyz/compatible
Anthropic SDK（会自动请求 /v1/messages）https://llm.xiaoyue9527.xyz/compatible

当前兼容入口只开放白名单接口：

兼容入口内部实现说明
POST /compatible/v1/chat/completions/v2/chat/completionsOpenAI Chat 兼容，保留 V2 的 reasoning/usage 行为
POST /compatible/v1/messages/v2/messagesAnthropic Messages 兼容
POST /compatible/v1/messages/count_tokens/v2/messages/count_tokensAnthropic token 预估
GET /compatible/v1/models/v1/models模型列表
GET /compatible/v1/models/{model}/v1/models/{model}单模型查询

/compatible 本身只返回说明 JSON，不会把任意路径泛转发到网关内部接口。

已支持接口 ​

接口SDK 方法文档说明
GET /v1/modelsclient.models.list()模型列表返回当前可用模型列表
GET /v1/models/{model}client.models.retrieve(model)模型列表查询单个模型
GET /v1/model-catalogHTTP API模型列表返回模型能力、模态、任务分类
GET /v1/model-catalog/{model}HTTP API模型列表查询单个模型的能力、模态、任务分类
POST /v1/chat/completionsclient.chat.completions.create()Chat Completions文本/多模态对话，支持 SSE
POST /v2/chat/completionsclient.chat.completions.create()Chat V2OpenAI 兼容，SSE 更严格遵循 stream_options
POST /v1/responsesclient.responses.create()Responses部分兼容：文本/图片输入、文本输出、SSE 和有限取消能力
POST /v1/embeddingsclient.embeddings.create()Embeddings文本向量化
POST /v1/rerankHTTP APIRerank文档重排序，支持文本和图片
POST /v1/video/generations/tasksHTTP API视频生成任务异步视频生成，查询任务状态和结果
POST /v1/messagesAnthropic SDKAnthropic MessagesAnthropic Messages 兼容接口
POST /v1/messages/count_tokensAnthropic SDKAnthropic Messages本地估算 token 数，不计费

通用响应 ​

OpenAI-compatible /v1/* 接口不包裹公司内部 {code,message,data}。成功响应保持对应协议格式；网关自身生成的失败响应使用 OpenAI 风格 error envelope：

json
{
  "error": {
    "message": "upstream service temporarily unavailable",
    "type": "upstream_error",
    "code": "502"
  }
}

如果上游服务返回了有意义的错误体，网关可能保留上游 HTTP 状态码及 JSON/文本错误内容。客户端应先按 HTTP 状态码处理，并兼容错误体不含 error.message 的情况。

通用边界 ​

项说明
鉴权必须传 Authorization: Bearer <API Key>；Anthropic-compatible 客户端可改用 x-api-key: <API Key>
模型名大小写敏感，以 /v1/models 返回为准
能力判断使用 /v1/model-catalog 查看 modalities、tasks、features
流式Chat Completions 和 Responses 支持 SSE
文件上传暂未开放 /v1/files 文件管理能力
未启用接口返回 501 unsupported_feature，见 不支持接口

接口页面 ​

OpenAI-compatible API documentation.

LLMGateway