liteLLM实践

本地极简安装liteLLM proxy

使用Python uv虚拟环境安装proxy，不安装SDK。

uv venv
source .venv/bin/activate
uv pip install 'litellm[proxy]'

一个简单的可以正常启动的配置文件示例：config.yaml

model_list:
  - model_name: gemini-pro
    litellm_params:
      model: openai/glm-5
      api_base: "https://kspmas.ksyun.com/v1"
      api_key: "sk-aae6dccf"

启动命令示例

litellm --config config.yaml