首页/术语表/模型网关

模型网关

智算Model Gateway / LLM Gateway

定义

企业通常会同时使用私有模型、公有模型和行业模型。模型网关提供统一 API、访问控制、调用审计、限流、路由、成本统计和服务降级能力。

模型网关可以降低上层应用对具体模型供应商和部署形态的依赖。

应用场景

  • 统一接入多个大模型
  • 按部门控制模型调用权限
  • 记录模型调用日志和成本

关联资源