1. Inventariare l'integrazione corrente
Lyceum combina carichi di lavoro di calcolo e inferenza. Separa le chiamate API del modello da istanze GPU, contenitori, storage ed endpoint dedicati prima di scegliere cosa migrare.
Registra gli identificatori del modello, i parametri di richiesta, gli strumenti, il comportamento dello streaming e i formati di output su cui fa affidamento la tua applicazione. Conservare una copia della configurazione client esistente per il rollback.
2. Mappare gli identificatori del modello di destinazione
Recupera il catalogo TextCortex utilizzando GET /models. Associa ciascuna attività dell'applicazione a un modello disponibile, incluso il percorso ospitato nell'UE, ove richiesto.
Un identificatore specifico del provider non è trasferibile per impostazione predefinita. Imposta l'identificatore di destinazione in modo esplicito ed esamina eventuali ragionamenti o impostazioni di generazione specifici del modello.
3. Configurare il client TextCortex
Crea uno Conto TextCortex e genera una chiave API nelle impostazioni dell'account. Installa il pacchetto Python OpenAI sul tuo server. Memorizza la chiave in TEXTCORTEX_API_KEY e imposta TEXTCORTEX_MODEL su un identificatore restituito da GET /models.
Questo esempio mantiene le credenziali nelle variabili di ambiente. La stessa configurazione del client funziona quando scegli un altro modello supportato. Leggere Riferimento API per i parametri specifici dell'endpoint.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TEXTCORTEX_API_KEY"],
base_url="https://api.textcortex.com/v1",
)
for model in client.models.list():
print(model.id)
response = client.chat.completions.create(
model=os.environ["TEXTCORTEX_MODEL"],
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)4. Riprodurre una serie di richieste di rappresentante
Esegui input di test sintetici o approvati attraverso entrambe le integrazioni. Mantieni disabilitate le azioni esterne come e-mail o acquisti durante il test.
- Confronta la qualità della risposta e la validità dell'output strutturato.
- Controlla i blocchi di streaming, gli argomenti dello strumento e la cancellazione.
- Errori di autenticazione degli esercizi, limiti di velocità e timeout.
- Misura l'utilizzo e la latenza in condizioni di concorrenza prevista.
5. Cambia gradualmente e mantieni il percorso precedente
Introduci una piccola quota di traffico idoneo dopo aver superato i controlli di accettazione. Tieni traccia dei guasti e dell'utilizzo del modello per percorso in modo da poter identificare rapidamente le regressioni.
Conserva una configurazione di rollback fino al completamento del periodo di monitoraggio. Rimuovi solo le credenziali e i servizi che non vengono più utilizzati. Utilizza guida al percorso per organizzare le future scelte dei modelli.