Definieer een geaccepteerd resultaat
Schrijf een regel of rubriek die aangeeft of een taak is geslaagd. Voor een extractie kunnen geldige velden en correcte waarden nodig zijn; Voor een gegenereerde wijziging kan het nodig zijn dat er projectcontroles worden doorlopen.
Houd de acceptatiedefinitie voor alle modelkandidaten hetzelfde. Anders kunnen verschillen in de score de evaluatie weerspiegelen in plaats van het model.
Neem elke modelaanroep op in de taak
Voeg invoer- en uitvoergebruik toe vanaf de eerste poging, nieuwe pogingen en eventuele ondersteunende modelaanroepen. Pas het huidige tarief toe voor elk gebruikt model.
Deel de totale gemeten API-kosten door het aantal geaccepteerde taken. Rapporteer het faalpercentage naast dat cijfer, zodat een model dat de meeste verzoeken afwijst er niet kunstmatig aantrekkelijk uit kan zien.
Voer een gecontroleerde vergelijking uit
Gebruik TextCortex om de verbinding consistent te houden tijdens het testen van verschillende modelfamilies.
- Gebruik dezelfde representatieve takenset.
- Registreer model-ID's en verzoekinstellingen.
- Pas dezelfde uitvoervalidatie toe.
- Meet het totale gebruik, de geaccepteerde resultaten en de latentie.
- Herhaal dit wanneer de prompt of de modelversie verandert.
Route waar het resultaat dit rechtvaardigt
Een capabeler model kan de moeite waard zijn voor moeilijke verzoeken, zelfs als de tokensnelheid hoger is. Een kleinere of snellere optie kan goed werken voor een eenvoudiger functie.
Gebruik de API-kostencalculator voor tokenberekeningen en de routebeschrijving om de keuzes voor het productiemodel expliciet te houden.