部署谷歌 gemini-api 负载均衡服务

部署谷歌 gemini-api 负载均衡服务

  • 悲报: 谷歌 Gemini 2.5 Pro 的 API 已不再提供给免费用户, 只剩下 2.5 flash 了

官网

  1. 官方提供的web chat: https://gemini.google.com/app

  2. AIStudio(免费API): https://aistudio.google.com/

AIStudio提供了免费的api, 但有额度和每分钟请求次数限制, 所以可以使用多个账号负载均衡使用

注意项

  1. 部分国家不提供服务, 最好全局美区ip
  2. 注意环境隔离, 不要使用大号, 可能会被封号

官方文档

速率限制

RPM: 每分钟请求数 RPD: 每日请求数 TPM: 每分钟令牌数

https://ai.google.dev/gemini-api/docs/rate-limits?hl=zh-cn

  • 2.5 flash : 10 RPM 500 RPD 250000 TPM
  • 2.0 flash : 10 RPM 1500 RPD 1000000 TPM

可用模型

https://ai.google.dev/gemini-api/docs/models?hl=zh-cn

  • gemini-2.5-flash-preview-04-17:
    • 输入令牌限制 1,048,576
    • 输出令牌限制 65,536

注册账号和申请api

  • 需要多个谷歌账号
  • 每个谷歌账号开通项目最好不超过==3==个(多了可能被封)
  • 每个项目单独申请一个 api (同一个项目共享额度和速率)
  1. 登录谷歌账号, 可能会提示需要开通两步验证才能使用cli, 绑定 TOTP 即可, 不需要绑手机号
  2. 打开 https://console.cloud.google.com/projectcreate 开通项目
  3. 打开 https://console.cloud.google.com/apis/library/generativelanguage.googleapis.com 开通 api
  4. 新建凭据,在左上角第三个Credentials, 选择Create credentials -> API Keys
  5. 重复 2-4, 点击左上角的项目名可以快速切换项目或者开通项目, 不要超过3个
  6. 打开 https://aistudio.google.com/, 点击顶部 get api key -> crteate app key, 选择对应的项目
  7. 如果api总是返回429, 可能是项目被ban了, 删除后新建
  8. 需要删除项目的话, 右上角三点, Project settings -> shut down

启动服务

https://github.com/snailyp/gemini-balance 克隆项目

按照模板修改 .env, 如果是本地运行, 且使用 sqlite 作为数据库

目前文档有两处错误的地方:

  • SQLITE_DATABASE 是文件名, 不是路径
  • BASE_URL 可以使用网络上分享的没有被墙的转发URL
  • 启动命令需要添加 --env-file .env, 即 uvicorn app.main:app --host 0.0.0.0 --port 8000 --reload --env-file .env
  • 为了提高速度: SAFETY_SETTINGS 全部设置为 OFF
  • 自带关闭 thinking 模型, 在模型列表选择

使用

  • cherry studio中, api地址为 http://localhost:8000, 会自动补上
  • 同时支持 Gemini 和 OpenAI 格式的 CHAT API 请求转发。
1
2
openai baseurl `http://localhost:8000(/hf)/v1`
gemini baseurl `http://localhost:8000(/gemini)/v1beta`
build with Hugo, theme Stack, visits 0