1. Inventarisieren Sie die aktuelle Integration
OpenRouter befasst sich bereits mit einem breiten Modellzugriff. Vergleichen Sie die für Ihren Antrag erforderlichen Modelle, Routing-Kontrollen, europäischen Verarbeitungsmöglichkeiten und Kontobedingungen.
Notieren Sie die Modellkennungen, Anforderungsparameter, Tools, Streaming-Verhalten und Ausgabeformate, auf die Ihre Anwendung angewiesen ist. Behalten Sie eine Kopie der vorhandenen Clientkonfiguration für das Rollback.
2. Zielmodell-IDs zuordnen
Rufen Sie den TextCortex-Katalog mit GET /models ab. Ordnen Sie jede Anwendungsaufgabe einem verfügbaren Modell zu, einschließlich der in der EU gehosteten Route, sofern erforderlich.
Eine anbieterspezifische Kennung ist standardmäßig nicht portierbar. Legen Sie den Zielbezeichner explizit fest und überprüfen Sie alle modellspezifischen Argumentations- oder Generierungseinstellungen.
3. Konfigurieren Sie den TextCortex-Client
Erstellen Sie ein TextCortex-Konto und generieren Sie einen API-Schlüssel in den Kontoeinstellungen. Installieren Sie das Python-Paket OpenAI auf Ihrem Server. Speichern Sie den Schlüssel in TEXTCORTEX_API_KEY und setzen Sie TEXTCORTEX_MODEL auf einen von GET /models zurückgegebenen Bezeichner.
In diesem Beispiel werden Anmeldeinformationen in Umgebungsvariablen gespeichert. Die gleiche Client-Konfiguration funktioniert, wenn Sie ein anderes unterstütztes Modell auswählen. Lesen Sie API-Referenz für endpunktspezifische Parameter.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TEXTCORTEX_API_KEY"],
base_url="https://api.textcortex.com/v1",
)
for model in client.models.list():
print(model.id)
response = client.chat.completions.create(
model=os.environ["TEXTCORTEX_MODEL"],
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)4. Wiederholen Sie einen repräsentativen Anforderungssatz
Führen Sie synthetische oder genehmigte Testeingaben über beide Integrationen aus. Lassen Sie externe Aktionen wie E-Mails oder Käufe während des Tests deaktiviert.
- Vergleichen Sie die Antwortqualität und die Gültigkeit der strukturierten Ausgabe.
- Überprüfen Sie Streaming-Blöcke, Tool-Argumente und Abbruch.
- Üben Sie Authentifizierungsfehler, Ratenbeschränkungen und Zeitüberschreitungen aus.
- Messen Sie Nutzung und Latenz bei erwarteter Parallelität.
5. Wechseln Sie schrittweise und behalten Sie die vorherige Route bei
Führen Sie einen kleinen Teil des berechtigten Datenverkehrs ein, nachdem die Akzeptanzprüfungen bestanden wurden. Verfolgen Sie Fehler und Modellnutzung nach Route, damit Sie Regressionen schnell erkennen können.
Behalten Sie eine Rollback-Konfiguration bei, bis der Überwachungszeitraum abgeschlossen ist. Entfernen Sie nur Anmeldeinformationen und Dienste, die nicht mehr verwendet werden. Verwenden Sie Routenplaner, um zukünftige Modellauswahlen zu organisieren.