Eine API. Für jeden Wunsch das passende Modell.

Wählen Sie Modelle nach Aufgabe aus

Leiten Sie eine kurze Klassifizierungsaufgabe an ein Modell weiter, das Ihren Kosten- und Latenzzielen entspricht. Wählen Sie eine andere für komplexe Analysen oder Codegenerierung. Speichern Sie diese Auswahlmöglichkeiten in der serverseitigen Konfiguration, damit Sie sie aktualisieren können, ohne die Benutzeroberfläche zu ändern.

Beziehen Sie GPT, Claude und Gemini in dieselbe Bewertung ein wie Kimi, GLM, DeepSeek und MiMo. Der nützliche Vergleich ist das Ergebnis Ihrer Arbeitsbelastung und nicht, ob ein Modell offene Gewichte hat.

Halten Sie die Routing-Regeln explizit

Verwenden Sie das Modellfeld, um für jeden Anruf eine unterstützte Kennung auszuwählen. Erstellen Sie eine kleine Zuordnung von Anwendungsaufgaben zu Modellbezeichnern und protokollieren Sie dann, welches Modell jede Anfrage bedient hat.

Ein gemeinsamer Endpunkt erfordert nicht für jedes Modell identische Einstellungen. Behalten Sie modellspezifische Funktionen und Argumentationsparameter bei der Routing-Konfiguration bei. Vermeiden Sie die Weiterleitung nicht validierter Modellnamen von öffentlichen Clients.

Berücksichtigen Sie regionale Regeln bei der Routing-Entscheidung

Wählen Sie für eine Arbeitslast, die eine EU-Inferenz erfordert, die dafür aktivierten in der EU gehosteten Routen aus. Beschränken Sie die geeigneten Modelle, bevor Sie die Leistung vergleichen. Ein Fallback sollte innerhalb der gleichen Verarbeitungsanforderungen bleiben.

Verwenden Sie den Leitfaden zur Datenresidenz, um die Route und die umliegenden Systeme zu dokumentieren. Der allgemeine Musterkatalog und die EU-Zulassungsliste dienen unterschiedlichen Zwecken.

Stellen Sie Ihre erste API-Anfrage

Erstellen Sie ein TextCortex-Konto und generieren Sie einen API-Schlüssel in den Kontoeinstellungen. Installieren Sie das Python-Paket OpenAI auf Ihrem Server. Speichern Sie den Schlüssel in TEXTCORTEX_API_KEY und setzen Sie TEXTCORTEX_MODEL auf einen von GET /models zurückgegebenen Bezeichner.

In diesem Beispiel werden Anmeldeinformationen in Umgebungsvariablen gespeichert. Die gleiche Client-Konfiguration funktioniert, wenn Sie ein anderes unterstütztes Modell auswählen. Lesen Sie API-Referenz für endpunktspezifische Parameter.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)