Breng een API-grens aan de serverzijde tot stand
Bewaar de TextCortex-sleutel in de serveromgeving en authenticeer de gebruikers van uw eigen applicatie voordat u modelaanvragen indient. Beperk de invoergrootte en parameters die klanten kunnen indienen.
Onderhoud goedgekeurde model-ID's en standaardinstellingen in de configuratie. Gebruik een afzonderlijke configuratie voor workloads waarvoor in de EU gehoste inferentie vereist is.
Valideer voordat u productieverkeer verzendt
Maak een verzoekset die normale invoer, verkeerd opgemaakte inhoud, ontbrekende context en de modelmogelijkheden die u gebruikt omvat. Controleer uitvoerparsering, tools, streaming en annulering.
Oefen applicatiegedrag uit op time-outs, ongeldige inloggegevens, onbekende modellen en snelheidslimieten. Houd het aantal nieuwe pogingen beperkt en vermijd het herhalen van externe acties.
Voer het verkeer geleidelijk in
Begin met een kleine in aanmerking komende werklast. Vergelijk het succespercentage, de latentie en het tokengebruik met uw acceptatiecriteria en eerdere configuratie.
Registreer welk model elk verzoek heeft afgehandeld. Houd voldoende informatie bij om regressies te diagnosticeren en minimaliseer tegelijkertijd de gevoelige inhoud die in logboeken wordt bewaard.
Breid uit met een releasetraject
Het toevoegen van een model is een productwijziging wanneer de antwoorden, kosten of verwerkingslocatie kunnen worden gewijzigd.
- Evalueer het nieuwe model op basis van de vastgestelde verzoekenset.
- Bekijk de mogelijkheden en regionale vereisten.
- Promoot de configuratie met een expliciet terugdraaipad.
- Bewaak de taakresultaten na vrijgave.