Installieren Sie die Client-Integration
Installieren Sie langchain-openai in Ihrer Python-Umgebung. Generieren Sie einen TextCortex-API-Schlüssel, speichern Sie ihn serverseitig als TEXTCORTEX_API_KEY und wählen Sie eine Kennung aus GET /models für TEXTCORTEX_MODEL.
Die Basis-URL ist https://api.textcortex.com/v1.. Hängen Sie /chat/completions nicht an eine Client-Basis-URL an; Der Client erstellt den Endpunkt.
Erstellen Sie einen ChatOpenAI-Client
Dieses Minimalbeispiel verwendet das konfigurierte Modell. Ändern Sie diese Kennung, um ein anderes unterstütztes Modell auszuwerten und gleichzeitig die Client-Konfiguration beizubehalten.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
base_url="https://api.textcortex.com/v1",
api_key=os.environ["TEXTCORTEX_API_KEY"],
model=os.environ["TEXTCORTEX_MODEL"],
)
answer = llm.invoke("Hello")
print(answer.content)Fügen Sie Funktionen nacheinander hinzu
Nachdem die grundlegende Anfrage funktioniert, fügen Sie das Streaming, die Tool-Schemata oder die Ausgabevalidierung hinzu, die Ihre Kette benötigt. Überprüfen Sie die Unterstützung für die genaue Route des TextCortex-Modells, anstatt davon auszugehen, dass alle OpenAI-Clientoptionen portierbar sind.
Pinnen Sie die Paketversionen, die Sie validieren, und behalten Sie einen kleinen Anforderungs-Fixture-Satz bei. Dadurch können SDK-Upgrades und Modelländerungen einfacher separat bewertet werden.
Behalten Sie die Weiterleitung und den Abruf unter Ihrer Kontrolle
Verwenden Sie die Anwendungskonfiguration, um Modelle für verschiedene Ketten auszuwählen. GPT, Claude, Gemini und Modelle mit offenem Gewicht können die TextCortex-Verbindung gemeinsam nutzen und gleichzeitig unterschiedliche Aufgaben erfüllen.
Wenn eine Kette Dokumente abruft, wenden Sie Berechtigungen an, bevor Sie Kontext an das Modell senden. Wählen Sie für europäische Verarbeitungsanforderungen für jeden Modellaufruf in der Kette in der EU gehostete Routen aus.