Ai+开源项目

AI Gateway

应用程序和托管 LLM 之间的接口

标签:

AI Gateway 是一个AI领域的开源工具,是应用程序和托管 LLM 之间的接口,通过统一简单的 API,让用户轻松快速接入 100 多种大语言模型,如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。

特色功能

• ✅ 速度极快(快 9.9 倍),占用空间极小(已安装约 45kb)

• ✅ 跨多个模型、提供程序和密钥的负载平衡

• ✅ 回退确保您的应用程序保持弹性

• ✅ 默认情况下具有指数回退的 自动重试

• ✅ 插件中间件根据需要

• ✅ 经过超过100B 代币的战斗测试

 

数据统计

相关导航

暂无评论

暂无评论...