Για πολλούς από εμάς, η τεχνητή νοημοσύνη βοηθάει να βρούμε την απάντηση σε κάτι που δε γνωρίζουμε ή δε θυμόμαστε. Εάν δεν μπορούμε να θυμηθούμε ένα γεγονός ή να καταλάβουμε κάτι, απλά γκουγλάρουμε για να μάθουμε την απάντηση.
Είναι ενδιαφέρον ότι το αντίστροφο ισχύει όλο και περισσότερο – οι υπολογιστές στηρίζονται στους ανθρώπους για να ελέγξουν τη δουλειά τους. Τα συστήματα τεχνητής νοημοσύνης «human-in-the-loop» βασίζονται στην ανθρώπινη παρέμβαση για τη διασφάλιση ότι η τεχνητή νοημοσύνη δεν έχει παρερμηνεύσει τις πληροφορίες και δεν έχει κάνει ανακριβή πρόβλεψη.
Για παράδειγμα, ένας ακτινολόγος θα επανεξετάσει μια ακτινογραφία Τεχνικής Νοημοσύνης για να δει εάν ένα οστό έχει κάταγμα ή ρωγνή. Ο γιατρός μπορεί στη συνέχεια να διορθώσει τυχόν λάθος της Τεχνικής Νοημοσύνης για να εξασφαλίσει ότι ο ασθενής λαμβάνει την κατάλληλη φροντίδα.
Ο ίδιος ακτινολόγος μπορεί να δει μια περιοχή του οστού που έχει διαφορετικό χρώμα στην ακτινογραφία και να αναρωτηθεί: «Είναι βλάβη ή ανωμαλία στην ίδια την ακτινογραφία; Αν πρόκειται για βλάβη, ποια είναι η αιτία;» Ακόμη και εξηδικευμένοι ακτινολόγοι δεν μπορούν να αποφασίσουν με βεβαιώτητα. Εάν πιστεύουν ότι υπάρχει 10% πιθανότητα λάθους, μπορεί να ζητήσουν από τον ασθενή τους να επαναλάβει την εξέταση ή να κάνει κάποια άλλη εξέταση πιο εξιδικευμένη.
Τα συστήματα human-in-the-loop δεν αιτιολογούν με αυτόν τον τρόπο. Διαβάζουν τις ανθρώπινες παρεμβάσεις με διαφορετικό τρόπο: Ο γιατρός είτε ξέρει τι ξέρει είτε δεν ξέρει. Κάτι τέτοιο μπορεί να περιορίσει την ικανότητα ενός συστήματος τεχνητής νοημοσύνης να μετριάσει τον κίνδυνο ανθρώπινου σφάλματος στη συνεργασία.
Είναι δυνατόν ένα τέτοια συστήματα να κατανοήσει καλύτερα της ανθρώπινης λήψης αποφάσεων για να βελτιώσουν την απόδοσή τους – και τη δική μας; Είναι ένα ερώτημα που μια ομάδα ερευνητών στο Πανεπιστήμιο του Cambridge έθεσε σε δοκιμασία σε μια νέα ερευνητική εργασία.
Είστε σίγουροι γι’ αυτό;
Στην πρώτη τους δοκιμή, οι ερευνητές χρησιμοποίησαν μοντέλα βασισμένα σε έννοιες – μοντέλα μηχανικής μάθησης που βελτιώνουν τις προβλέψεις μέσω ανθρώπινης ανατροφοδότησης – με δύο σύνολα δεδομένων. Το πρώτο σύνολο δεδομένων, που ονομάζεται CheXpert, ταξινόμησε τις ακτινογραφίες θώρακος. Το άλλο, που ονομάζεται UMNIST, πρόσθεσε τα αθροίσματα των ψηφίων από χειρόγραφα δείγματα. Όπως και τα περισσότερα μοντέλα που βασίζονται σε έννοιες, κανένα από τα δύο δεν είχε προηγουμένως εκπαιδευτεί στην αβεβαιότητα, οπότε οι ερευνητές ήθελαν να δουν πώς θα το χειριστούν.
«Πολλοί προγραμματιστές εργάζονται για να αντιμετωπίσουν την αβεβαιότητα του μοντέλου, αλλά λιγότερη δουλειά έχει γίνει για την αντιμετώπιση της αβεβαιότητας από την οπτική γωνία του ατόμου», δήλωσε η Katherine Collins, συγγραφέας της μελέτης και φοιτήτρια έρευνας στο Τμήμα Μηχανικών του Cambridge. «Θέλαμε να δούμε τι συμβαίνει όταν οι άνθρωποι εκφράζουν αβεβαιότητα, κάτι που είναι ιδιαίτερα σημαντικό σε κρίσιμες για την ασφάλεια ρυθμίσεις».
Οι ερευνητές διαπίστωσαν ότι ακόμη και με χαμηλή προσομοιωμένη αβεβαιότητα, η απόδοση των μοντέλων μειώθηκε και συνέχισε να μειώνεται καθώς αυτή η αβεβαιότητα αυξανόταν. Αυτό υποδηλώνει ότι τα μοντέλα, ενώ είναι ακριβή όταν λαμβάνουν πλήρως ορισμένες παρεμβάσεις, «δεν ήταν σε θέση να γενικεύσουν σε ρυθμίσεις στις οποίες ο παρεμβαίνων χρήστης είναι αβέβαιος για τη φύση ορισμένων εννοιών».
Για την επόμενη δοκιμή τους, οι ερευνητές χρησιμοποίησαν ένα σύνολο δεδομένων ταξινόμησης εικόνων πουλιών και έφεραν πραγματικούς ανθρώπους. Αυτοί οι συμμετέχοντες κλήθηκαν να προσδιορίσουν συγκεκριμένα χαρακτηριστικά των πτηνών σε εικόνες. Ήταν το πουλί πολύχρωμο, με στίγματα ή ριγέ; Είναι το σχήμα της ουράς του διχαλωτό, στρογγυλεμένο, φουσκωμένο ή τετράγωνο; Και ούτω καθεξής.
Ωστόσο, οι εικόνες δεν έδιναν πάντα την καλύτερη αναπαράσταση του πουλιού. Το εικονιζόμενο πουλί μπορεί να σκιαγραφείται σε φωτεινό φόντο ή να έχει τα φτερά της ουράς του να καλύπτονται από ένα κλαδί. Ως εκ τούτου, οι ερευνητές έδωσαν στους συμμετέχοντες τη δυνατότητα να χρησιμοποιούν «μαλακές ετικέτες» – έννοιες που δεν είναι ούτε το ένα ούτε το άλλο, αλλά επιτρέπουν στους ανθρώπους να επισημάνουν την αληθοφάνεια από 0-100 (με το 0 να αντιπροσωπεύει καμία ιδέα και το 100 να αντιπροσωπεύει απόλυτη βεβαιότητα).
Για παράδειγμα, εάν ο συμμετέχων πίστευε ότι ήταν πολύ πιθανό το σχήμα του φτερού του πουλιού να είναι φαρδύ, θα μπορούσε να γράψει 80. Αλλά αν ήταν λιγότερο σίγουροι αν τα φτερά ήταν στρογγυλεμένα ή μυτερά, θα μπορούσε να γράψει 20 ή ακόμα και 10.
Οι ερευνητές διαπίστωσαν ότι η απόδοση ήταν μικρότερη όταν οι μηχανές αντικαταστάθηκαν από ανθρώπους. Ωστόσο, διαπίστωσαν επίσης ότι εάν το μοντέλο εκπαιδεύτηκε στην αβεβαιότητα, θα μπορούσε να διευκολύνει ορισμένες λάθος εκτιμήσεις των ανθρώπων που συμμετείχαν. Ωστόσο, δεν ήταν τέλειοι. Μερικές φορές, η ανθρώπινη αβεβαιότητα ήταν χρήσιμη. Άλλες φορές, έβλαψε την απόδοση του μοντέλου.
«Χρειαζόμαστε καλύτερα εργαλεία για την επαναβαθμονόμηση αυτών των μοντέλων, έτσι ώστε οι άνθρωποι που εργάζονται μαζί τους να έχουν τη δυνατότητα να λένε πότε είναι αβέβαιοι», δήλωσε ο Matthew Barker, συν-συγγραφέας της μελέτης. «Κατά κάποιο τρόπο, αυτή η εργασία έθεσε περισσότερα ερωτήματα από όσα απάντησε, αλλά παρόλο που οι άνθρωποι μπορεί να είναι λανθασμένα βαθμονομημένοι στην αβεβαιότητα τους, μπορούμε να βελτιώσουμε την αξιοπιστία και την αξιοπιστία αυτών των ανθρώπινων συστημάτων λαμβάνοντας υπόψη την ανθρώπινη συμπεριφορά».
Στη μελέτη της ομάδας του Cambridge συμμετείχαν επίσης ερευνητές του Princeton, του Ινστιτούτου Alan Turing και του Google DeepMind. Παρουσίασαν την εργασία τους στο συνέδριο AAI/ACM 2023 για την Τεχνητή Νοημοσύνη, την Ηθική και την Κοινωνία στο Μόντρεαλ. Η εργασία είναι προς το παρόν διαθέσιμη ως προδημοσίευση στο arXiv.
Οδεύοντας προς ένα αβέβαιο μέλλον
Οι ερευνητές ελπίζουν ότι η εργασία τους μπορεί να βοηθήσει μια μέρα στην ανάπτυξη συστημάτων human-in-the-loop που μπορούν να λάβουν υπόψη την αβεβαιότητα και ως εκ τούτου να μετριάσουν τους κινδύνους τόσο του ανθρώπινου όσο και του AI σφάλματος. Ωστόσο, αυτή η έρευνα αντιπροσωπεύει μόνο τα αρχικά βήματα προς αυτόν τον στόχο.
Εάν αυτά τα προβλήματα μπορούν να επιλυθούν, η ανθρώπινη αβεβαιότητα μπορεί να βοηθήσει στη βελτίωση των επιδόσεων αυτών των μοντέλων υποστηρίζοντας καλύτερα το «ανθρώπινο» μέρος του human-in-the-loop.
«Όπως το έθεσαν τόσο έξοχα ορισμένοι από τους συναδέλφους μας, η αβεβαιότητα είναι μια μορφή διαφάνειας και αυτό είναι εξαιρετικά σημαντικό», πρόσθεσε ο Collins. «Πρέπει να καταλάβουμε πότε μπορούμε να εμπιστευτούμε ένα μοντέλο και πότε να εμπιστευτούμε έναν άνθρωπο και γιατί. Σε ορισμένες εφαρμογές, εξετάζουμε τις πιθανότητες έναντι των δυνατοτήτων».
Πηγή: Free Think
