模型接入
本地模型接入 自建推理服务对接到业务,协议兼容与鉴权 API 与 SDK 各家官方 SDK、OpenAI 兼容层、流式输出与重试 成本与配额 Token 计费、缓存命中、限流、预算与账单分析 多模型网关 LiteLLM / OneAPI / 自建路由,多供应商容灾与灰度
| 话题 | 回复 | 浏览量 | 活动 | |
|---|---|---|---|---|
| 关于“模型接入”类别 |
|
0 | 0 | 2026 年10 月 27 日 |
| 模型 API 成本控制：把 token 账单砍掉一半的几个手段 |
|
0 | 0 | 2026 年10 月 26 日 |