Definiera ett accepterat resultat
Skriv en regel eller rubrik för om en uppgift lyckades. En extraktion kan kräva giltiga fält och korrekta värden; en genererad ändring kan kräva att projektkontroller blir godkända.
Håll acceptansdefinitionen densamma för modellkandidater. Annars kan skillnader i poängen spegla utvärderingen snarare än modellen.
Inkludera varje modellanrop i uppgiften
Lägg till in- och utdataanvändning från första försöket, återförsök och eventuella stödjande modellanrop. Tillämpa den aktuella kursen för varje modell som används.
Dela den totala uppmätta API-kostnaden med antalet accepterade uppgifter. Rapportera felfrekvensen tillsammans med den siffran så att en modell som avvisar de flesta förfrågningar inte kan se artificiellt attraktiv ut.
Kör en kontrollerad jämförelse
Använd TextCortex för att hålla anslutningen konsekvent medan du testar olika modellfamiljer.
- Använd samma representativa uppgiftsuppsättning.
- Spela in modellidentifierare och begära inställningar.
- Använd samma utdatavalidering.
- Mät total användning, accepterade resultat och latens.
- Upprepa när uppmaningen eller modellversionen ändras.
Rutt där resultatet motiverar det
En mer kapabel modell kan vara värt besväret för svåra förfrågningar även om dess tokenhastighet är högre. Ett mindre eller snabbare alternativ kan fungera bra för en enklare funktion.
Använd API kostnadskalkylator för tokenaritmetik och vägledning för att hålla produktionsmodellvalen tydliga.