1. Inventariseer de huidige integratie
Inceptron publiceert modelconfiguraties en bedieningsopties. Vergelijk de exacte configuratie die uw werkbelasting gebruikt, inclusief kwantisering en modelversie, in plaats van alleen een familienaam te matchen.
Registreer de model-ID's, aanvraagparameters, tools, streaminggedrag en uitvoerformaten waarvan uw applicatie afhankelijk is. Bewaar een kopie van de bestaande clientconfiguratie voor terugdraaien.
2. Identificaties van bestemmingsmodellen in kaart brengen
Haal de TextCortex-catalogus op met GET /models. Koppel elke applicatietaak aan een beschikbaar model, inclusief de in de EU gehoste route, indien nodig.
Een providerspecifieke ID is standaard niet overdraagbaar. Stel de bestemmings-ID expliciet in en bekijk eventuele modelspecifieke redenerings- of generatie-instellingen.
3. Configureer de TextCortex-client
Maak een TextCortex-rekening en genereer een API-sleutel in accountinstellingen. Installeer het OpenAI Python-pakket op uw server. Sla de sleutel op in TEXTCORTEX_API_KEY en stel TEXTCORTEX_MODEL in op een identificatie die wordt geretourneerd door GET /models.
In dit voorbeeld worden de referenties in omgevingsvariabelen bewaard. Dezelfde clientconfiguratie werkt wanneer u een ander ondersteund model kiest. Lees de API-referentie voor eindpuntspecifieke parameters.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TEXTCORTEX_API_KEY"],
base_url="https://api.textcortex.com/v1",
)
for model in client.models.list():
print(model.id)
response = client.chat.completions.create(
model=os.environ["TEXTCORTEX_MODEL"],
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)4. Speel een representatieve verzoekenset opnieuw af
Voer synthetische of goedgekeurde testinvoer uit via beide integraties. Houd externe acties zoals e-mails of aankopen tijdens de test uitgeschakeld.
- Vergelijk de antwoordkwaliteit en de validiteit van de gestructureerde uitvoer.
- Controleer streaming-brokken, tool-argumenten en annulering.
- Oefen authenticatiefouten, snelheidslimieten en time-outs uit.
- Meet het gebruik en de latentie onder de verwachte gelijktijdigheid.
5. Stap geleidelijk over en behoud de vorige route
Introduceer een klein deel van het in aanmerking komende verkeer nadat de acceptatiecontroles zijn geslaagd. Volg fouten en modelgebruik per route, zodat u snel regressies kunt identificeren.
Bewaar een rollback-configuratie totdat de monitoringperiode is voltooid. Verwijder alleen inloggegevens en services die niet langer worden gebruikt. Gebruik de routebeschrijving om toekomstige modelkeuzes te organiseren.