Un'API. Il modello giusto per ogni richiesta.

Scegli i modelli per attività

Indirizza una breve attività di classificazione a un modello che soddisfi il tuo obiettivo di costo e latenza. Scegline un altro per analisi complesse o generazione di codice. Memorizza queste scelte nella configurazione lato server in modo da poterle aggiornare senza modificare l'interfaccia utente.

Includere GPT, Claude e Gemini nella stessa valutazione di Kimi, GLM, DeepSeek e MiMo. Il confronto utile è il risultato sul carico di lavoro, non se un modello ha pesi aperti.

Mantieni esplicite le regole di routing

Utilizza il campo del modello per selezionare un identificatore supportato per ogni chiamata. Effettua una piccola mappatura dalle attività dell'applicazione agli identificatori del modello, quindi registra quale modello ha servito ciascuna richiesta.

Un endpoint comune non richiede impostazioni identiche per ogni modello. Mantieni le funzionalità e i parametri di ragionamento specifici del modello con la configurazione del routing. Evitare di inoltrare nomi di modelli non convalidati da client pubblici.

Mantenere le regole regionali nella decisione sul routing

Per un carico di lavoro che richiede l'inferenza dell'UE, seleziona le rotte ospitate nell'UE abilitate. Limita i modelli idonei prima di confrontare le prestazioni. Un fallback dovrebbe rimanere entro gli stessi requisiti di elaborazione.

Utilizza lo guida alla residenza dei dati per documentare il percorso e i sistemi attorno ad esso. Il catalogo generale dei modelli e l'elenco dei modelli idonei per l'UE hanno scopi diversi.

Effettua la tua prima richiesta API

Crea uno Conto TextCortex e genera una chiave API nelle impostazioni dell'account. Installa il pacchetto Python OpenAI sul tuo server. Memorizza la chiave in TEXTCORTEX_API_KEY e imposta TEXTCORTEX_MODEL su un identificatore restituito da GET /models.

Questo esempio mantiene le credenziali nelle variabili di ambiente. La stessa configurazione del client funziona quando scegli un altro modello supportato. Leggere Riferimento API per i parametri specifici dell'endpoint.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TEXTCORTEX_API_KEY"],
    base_url="https://api.textcortex.com/v1",
)

for model in client.models.list():
    print(model.id)

response = client.chat.completions.create(
    model=os.environ["TEXTCORTEX_MODEL"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)