1. Inventera den aktuella integrationen
Lyceum kombinerar beräkningsarbetsbelastningar och slutledning. Separera modell-API-anrop från GPU-instanser, behållare, lagring och dedikerade slutpunkter innan du väljer vad som ska migreras.
Registrera modellidentifierare, förfrågningsparametrar, verktyg, streamingbeteende och utdataformat som din applikation är beroende av. Behåll en kopia av den befintliga klientkonfigurationen för återställning.
2. Identifierare för kartdestinationsmodeller
Hämta TextCortex-katalogen med GET /models. Matcha varje applikationsuppgift till en tillgänglig modell, inklusive den EU-värdade rutten vid behov.
En leverantörsspecifik identifierare är inte portabel som standard. Ställ in destinationsidentifieraren uttryckligen och granska eventuella modellspecifika resonemang eller genereringsinställningar.
3. Konfigurera TextCortex-klienten
Skapa en TextCortex konto och generera en API-nyckel i kontoinställningarna. Installera OpenAI Python-paketet på din server. Lagra nyckeln i TEXTCORTEX_API_KEY och ställ TEXTCORTEX_MODEL till en identifierare som returneras av GET /models.
Det här exemplet behåller referenser i miljövariabler. Samma klientkonfiguration fungerar när du väljer en annan modell som stöds. Läs API-referens för ändpunktsspecifika parametrar.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TEXTCORTEX_API_KEY"],
base_url="https://api.textcortex.com/v1",
)
for model in client.models.list():
print(model.id)
response = client.chat.completions.create(
model=os.environ["TEXTCORTEX_MODEL"],
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)4. Spela om en representativ begäran-uppsättning
Kör syntetiska eller godkända testingångar genom båda integrationerna. Håll externa åtgärder som e-post eller köp inaktiverade under testet.
- Jämför svarskvalitet och strukturerad utdatavaliditet.
- Kontrollera strömmande bitar, verktygsargument och annullering.
- Övningsautentiseringsfel, hastighetsgränser och timeouts.
- Mät användning och latens under förväntad samtidighet.
5. Byt gradvis och behåll den föregående rutten
Inför en liten andel av den kvalificerade trafiken efter att acceptanskontrollerna har passerat. Spåra fel och modellanvändning efter rutt så att du snabbt kan identifiera regressioner.
Behåll en återställningskonfiguration tills övervakningsperioden är klar. Ta bara bort autentiseringsuppgifter och tjänster som inte längre används. Använd vägledning för att organisera framtida modellval.