Μια ομάδα μπορεί να αφιερώνει χρόνο στην καταχώριση αιτημάτων, στις απαντήσεις πελατών και στην προετοιμασία αναφορών. Και οι τρεις εργασίες φαίνονται κατάλληλες για αυτοματοποίηση. Η συχνότητά τους, όμως, δεν αρκεί για να διαλέξετε.
Χρειάζεται να ξέρετε πόσο εύκολα ελέγχεται το αποτέλεσμα, πόσες εξαιρέσεις υπάρχουν και τι συμβαίνει όταν γίνει λάθος. Με αυτά τα στοιχεία μπορείτε να περιορίσετε τη δοκιμή σε μια εργασία που η ομάδα καταλαβαίνει ήδη καλά.
Καταγράψτε και τις εξαιρέσεις
Για μία εβδομάδα, σημειώστε πόσες φορές εκτελείται κάθε εργασία, πόσο διαρκεί και πόσο συχνά απαιτεί διευκρίνιση. Αν η επεξεργασία ενός αιτήματος ξεκινά με αναζήτηση σε τρία διαφορετικά αρχεία, καταγράψτε και αυτή την αναζήτηση.
Εξετάστε αν χρειάζεται μοντέλο. Μια μεταφορά δεδομένων ανάμεσα σε δύο συστήματα μπορεί να λυθεί με διασύνδεση και ελέγχους πεδίων. Η ανάγνωση ελεύθερου κειμένου ή η σύνταξη προσχεδίου προσθέτει διαφορετικές απαιτήσεις, επειδή το αποτέλεσμα χρειάζεται αξιολόγηση.
Συγκρίνετε δύο εργασίες με διαφορετικό κόστος λάθους
Η εξαγωγή αριθμού παραγγελίας από ένα μήνυμα μπορεί να ελεγχθεί με αναζήτηση στο σύστημα. Η σύνταξη απάντησης για μια ειδική συμφωνία απαιτεί περισσότερο πλαίσιο: τι έχει υποσχεθεί η ομάδα, ποιοι όροι ισχύουν και ποιος επιτρέπεται να τους αλλάξει.
Αν ξεκινούσαμε με την πρώτη εργασία, θα ορίζαμε τι γίνεται όταν δεν βρίσκεται παραγγελία ή εμφανίζονται δύο πιθανά αποτελέσματα. Για τη δεύτερη, θα κρατούσαμε ανθρώπινη έγκριση και θα μετρούσαμε πόση διόρθωση χρειάζεται το προσχέδιο. Το ευκολότερο demo μπορεί να αποδειχθεί ακριβότερο στη χρήση.
Μετρήστε τον χρόνο μέχρι το εγκεκριμένο αποτέλεσμα
Ας υποθέσουμε ότι η ομάδα επεξεργάζεται 40 αιτήματα την ημέρα, με τέσσερα λεπτά ανά αίτημα. Αν ένα εργαλείο απαιτεί δύο λεπτά ελέγχου και άλλο ένα λεπτό για διορθώσεις, η διαφορά είναι 40 λεπτά ημερησίως. Τα νούμερα είναι ενδεικτικά για τον υπολογισμό, όχι πρόβλεψη εξοικονόμησης.
Από αυτή τη διαφορά αφαιρείται και ο χρόνος για εξαιρέσεις, συντήρηση και επανεκτέλεση αποτυχημένων εργασιών. Συγκρίνετε επίσης το κόστος λειτουργίας. Η ταχύτητα παραγωγής μιας απάντησης έχει μικρή αξία αν ο υπεύθυνος πρέπει να την ελέγξει από την αρχή.
Φτιάξτε ένα μικρό αρχείο αξιολόγησης
Συγκεντρώστε δείγματα που έχετε δικαίωμα να χρησιμοποιήσετε και αφαιρέστε τα προσωπικά στοιχεία που δεν χρειάζονται. Συμπεριλάβετε καθημερινές περιπτώσεις, ελλιπή αιτήματα και γνωστές εξαιρέσεις. Για κάθε περίπτωση γράψτε το αναμενόμενο αποτέλεσμα και ποια λάθη θα την έκαναν μη αποδεκτή.
Κρατήστε ορισμένα δείγματα έξω από τις καθημερινές προσαρμογές, για να ελέγξετε αν μια αλλαγή βοηθά και σε περιπτώσεις που δεν χρησιμοποιήθηκαν στη ρύθμιση. Επαναλάβετε τον έλεγχο όταν αλλάζει μοντέλο, οδηγία ή πηγή δεδομένων. Η τεκμηρίωση της OpenAI περιγράφει αυτή τη λογική αξιολόγησης με στόχους, δεδομένα και συγκρίσεις.
Συμφωνήστε τι θα δικαιολογούσε συνέχεια
Πριν ξεκινήσει η δοκιμή, ο υπεύθυνος της εργασίας ορίζει τα αποδεκτά όρια χρόνου, διορθώσεων και κόστους. Για μια λειτουργία που ενημερώνει εγγραφές, χρειάζεται επίσης σαφής τρόπος εντοπισμού και διόρθωσης μιας λανθασμένης αλλαγής.
Στο τέλος, η ομάδα πρέπει να μπορεί να απαντήσει: ποια αιτήματα ολοκληρώνονται ευκολότερα, ποια επιστρέφουν στον άνθρωπο και πόση δουλειά δημιουργεί ο έλεγχος; Αν οι απαντήσεις παραμένουν ασαφείς, περιορίστε το πεδίο της εφαρμογής πριν συνδέσετε περισσότερα συστήματα.
Πηγές
OpenAI — Evaluation best practices ↗
Η πηγή τεκμηριώνει τη διαδικασία αξιολόγησης μοντέλων. Η σύγκριση εργασιών και το αριθμητικό παράδειγμα αποτελούν προτεινόμενη μέθοδο του Achilles Lab.