Definieren Sie den Erfolg, bevor Sie ein Modell auswählen
Definieren Sie für die Extraktion erforderliche Felder und den Umgang mit fehlenden Werten. Definieren Sie für die Codierung die Prüfungen, die eine vorgeschlagene Änderung bestehen muss. Definieren Sie im Gespräch Hilfsbereitschaft, sachliche Unterstützung und Eskalationsverhalten.
Verwenden Sie einen repräsentativen Eingabesatz für gewöhnliche und schwierige Fälle. Halten Sie den Testsatz getrennt von Beispielen, die zur Optimierung von Eingabeaufforderungen verwendet werden.
Filtern Sie den Katalog nach Anforderungen
Wählen Sie Modelle mit den Eingabetypen, dem Ausgabeverhalten und den Tools, die Ihre Funktion benötigt. Wenden Sie die Anforderungen an die Verarbeitungsregion an, bevor Sie die Leistung testen.
Rufen Sie Identifikatoren aus dem TextCortex-Modellkatalog ab. Behalten Sie Versions- und Routendetails im Experiment bei, damit die Ergebnisse nicht versehentlich einer anderen Bereitstellung zugeordnet werden.
Messen Sie mehr als nur einen Schlagzeilenwert
Führen Sie dieselbe Aufgabe für alle Kandidatenmodelle aus und verwenden Sie dabei jeweils die entsprechenden Einstellungen.
- Bewerten Sie gültige und nützliche Ergebnisse anhand einer schriftlichen Bewertung.
- Zeichnen Sie die Latenz beim ersten Token und bei der abgeschlossenen Antwort auf.
- Messen Sie die Token-Nutzung und wiederholte Versuche.
- Überprüfen Sie die Argumente des Tools und geben Sie Parsing-Fehler aus.
- Bewerten Sie bei Bedarf die ausgewählte, in der EU gehostete Route.
Weisen Sie Modelle Funktionen zu und prüfen Sie die Auswahl erneut
Unterschiedliche Merkmale können unterschiedliche Modelle rechtfertigen. Behalten Sie die Aufgaben-zu-Modell-Zuordnung in der Konfiguration bei und überwachen Sie die Ergebnisse nach der Einführung.
Bewerten Sie neu, wenn sich Eingabeaufforderungen, Datenverkehr oder Modellversionen ändern. Verwenden Sie Routenplaner, um die Auswahl überschaubar zu halten, und Preisrechner, um die Nutzung abzuschätzen.