Upprätta en API-gräns på serversidan
Behåll TextCortex-nyckeln i servermiljön och autentisera din egen applikations användare innan du gör modellförfrågningar. Begränsa indatastorleken och parametrarna som klienter kan skicka.
Behåll godkända modellidentifierare och standardinställningar i konfigurationen. Använd separat konfiguration för arbetsbelastningar som kräver slutledning från EU.
Validera innan du skickar produktionstrafik
Skapa en förfrågningsuppsättning som täcker normala indata, felaktigt innehåll, saknat sammanhang och de modellfunktioner du använder. Kontrollera utdataparsning, verktyg, streaming och annullering.
Utöva applikationsbeteende för timeouts, ogiltiga referenser, okända modeller och hastighetsgränser. Håll begränsade försök och undvik att upprepa externa åtgärder.
Inför trafik gradvis
Börja med en liten kvalificerad arbetsbörda. Jämför framgångsfrekvens, latens och tokenanvändning mot dina acceptanskriterier och tidigare konfiguration.
Anteckna vilken modell som tjänade varje begäran. Behåll tillräckligt med information för att diagnostisera regressioner samtidigt som du minimerar det känsliga innehållet i loggar.
Utöka med en releaseprocess
Att lägga till en modell är en produktändring när den kan ändra svar, kostnad eller bearbetningsplats.
- Utvärdera den nya modellen på den etablerade begäranden.
- Granska kapacitet och regionala krav.
- Marknadsför konfigurationen med en explicit återställningsväg.
- Övervaka uppgiftsresultat efter release.