Installa l'integrazione del client
Installa langchain-openai nel tuo ambiente Python. Genera una chiave API TextCortex, archiviala lato server come TEXTCORTEX_API_KEY e scegli un identificatore da GET /models per TEXTCORTEX_MODEL.
L'URL di base è https://api.textcortex.com/v1. Non aggiungere /chat/completions all'URL di base del client; il client costruisce l'endpoint.
Crea un cliente ChatOpenAI
Questo esempio minimo utilizza il modello configurato. Modifica l'identificatore per valutare un altro modello supportato mantenendo la configurazione del client.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
base_url="https://api.textcortex.com/v1",
api_key=os.environ["TEXTCORTEX_API_KEY"],
model=os.environ["TEXTCORTEX_MODEL"],
)
answer = llm.invoke("Hello")
print(answer.content)Aggiungi funzionalità una alla volta
Dopo che la richiesta di base ha funzionato, aggiungi lo streaming, gli schemi degli strumenti o la convalida dell'output di cui la tua catena ha bisogno. Verificare il supporto per il percorso esatto del modello TextCortex anziché dare per scontato che tutte le opzioni client OpenAI siano portatili.
Blocca le versioni del pacchetto che convalidi e mantieni un piccolo set di dispositivi di richiesta. Ciò rende più semplice valutare separatamente gli aggiornamenti SDK e le modifiche al modello.
Mantieni il routing e il recupero sotto il tuo controllo
Utilizzare la configurazione dell'applicazione per selezionare modelli per catene diverse. I modelli GPT, Claude, Gemini e a peso aperto possono condividere la connessione TextCortex svolgendo compiti diversi.
Se una catena recupera documenti, applica le autorizzazioni prima di inviare il contesto al modello. Per i requisiti di elaborazione europei, seleziona le rotte ospitate nell'UE per ogni chiamata modello nella catena.