AI 应用访问大模型的统一入口
MCP Server 统一管理和访问
经典应用服务暴露及流量管控
API 全生命周期管理
AI 应用流量入口与集成
面向 LLM,统一代理各主流大模型和自建大模型服务,提供 OpenAI 兼容的访问方式,并提供二次 API KEY 签发、限流、安全防护、观测等治理能力。
能够提供
高可用
多模型灰度、多模型间 Failover、Token 额度管理和流控。
高安全
提供大模型内容安全检测,并支持路由配置认证和消费者鉴权,实现对 API 访问的控制、安全性和策略管理。
降低模型幻觉
提供联网搜索、搜索结果自动融合、问题意图识别。
企业级可观测
在应用、网关、后端 LLM 服务上开启 OT 服务来进行全链路的跟踪,通过 TraceId 串联各个地方的日志、请求参数等信息。
MCP Server 统一管理和访问
面向 MCP Server,提供 MCP Server 代理、安全认证,以及统一观测、限流等治理能力。
能够提供
API-to-MCP
支持将 REST API 直接转化成 MCP Server,避免重新构建和维护 MCP Server 等重复性劳动。
协议卸载
无缝支持 MCP 官方最新版协议,降低升级成本,例如支持将 SSE 转换为 Streamable HTTP,避免无状态应用也要使用 SSE。
MCP 市场
提供官方维护的 MCP 市场,确保 MCP 服务端能用、好用、安全。
服务暴露及流量管控
兼容 K8s Ingress 标准,支持微服务、函数服务等多种后端服务,支持 K8s、Nacos 等多种发现方式,具备高集成、易使用、易扩展、热更新的特点。
能够提供
容器及微服务的流量管理
作为容器服务的接入层,兼容 K8s Ingress 标准,提供精细化的路由或 API 管控。支持一键导入K8s SVC 或 Nacos 注册服务,请求直连 Pod IP,支持 Nginx Ingress 核心注解扩展,并提供限流、预热、灰度等服务治理能力。
Serverless
与函数计算结合搭建完美的 Serverless 计算平台。一个函数对应一个 API 快速对外提供服务,并提供强大易用的鉴权和流控能力。
多活容灾
用于多个集群的统一接入层,进而实现容灾多活等功能。支持 ACK、MSE Nacos,FC,DNS 域名,IP 固定地址等多种服务来源, 可按比例/请求内容精准路由,支持健康检测,服务 fallback。
API 全生命周期管理
提供 API 设计、开发、发布及下线的全生命周期管理能力,并支持多环境管理,帮助团队更高效、安全地管理和发布 API,推动业务的快速迭代和创新。
能够提供
开发规范化,效率提升
通过 API 全生命周期管理,开发者可以基于 API First 的模式实现前后端的并行开发,实现系统的快速迭代。
API 精细化管理
在上下游合作伙伴开放、内外部系统接入及协作的使用场景下,实现 API 的精细化管理,避免开放范围的失控。
多环境管理
通过多环境管理,开发、测试、预生产和生产环境可以相互独立,避免在开发和测试过程中对生产环境造成影响,同时也便于进行不同阶段的测试和验证。