LLM API - Единый Шлюз для Доступа к Ведущим Моделям ИИ OpenAI, Anthropic, Google и Llama | LLM API.Ru

Обзор

Шлюз служит единой точкой входа для всего трафика, независимо от вашего провайдера. Он позволяет отправлять запросы любому провайдеру через единую конечную точку. Это дает вам преимущество использования всех функций LLM API, таких как Кэширование, Мониторинг, Ограничение скорости, Управление стоимостью, и многое другое для любого провайдера.

Интеграция

Это достигается тем, что вы можете определить назначение вашего запроса, указав провайдера в пути URL. Например, если вы хотите отправить запрос в OpenAI, вы отправляете запрос на https://gw.llmapi.ru вместо https://api.openai.com но указываете провайдера и конечную точку в пути URL в заголовках вашего запроса.

Пример

Как использовать шлюз

import openai

openai.api_base = "https://gw.llmapi.ru"

# Create the completion request

openai.ChatCompletion.create(
    model="[DEPLOYMENT]",
    messages=[{"role": "User", "content": "Say hi!"}],
    headers={
    "LLMAPI-Auth": "Bearer [LLMAPI_API_KEY]",
    "LLMAPI-Target-Provider": "openai",
    }
)