Άρθρο του καθηγητή του στο Τμήμα Επικοινωνίας και ΜΜΕ του Εθνικού και Καποδιστριακού Πανεπιστημίου Αθηνών, Στέλιου Παπαθανασόπουλου, με τίτλο «Το Παράδοξο Κολακείας της ΤΝ» που φιλοξένησαν «ΤΑ ΝΕΑ».
Το Παράδοξο Κολακείας της ΤΝ (ΤΑ ΝΕΑ)
Υπάρχει μια βασική υπόσχεση πίσω από τη νέα γενιά συστημάτων τεχνητής νοημοσύνης (ΤΝ): όσο περισσότερο τα χρησιμοποιούμε τόσο καλύτερα θα μας καταλαβαίνουν. Θα θυμούνται τις προτιμήσεις μας, θα γνωρίζουν τον τρόπο με τον οποίο εργαζόμαστε, θα προσαρμόζονται στις ανάγκες μας και, τελικά, θα λειτουργούν περισσότερο ως βοηθοί παρά ως απλά εργαλεία αναζήτησης και παραγωγής κειμένου.
Μόνο που αυτή η υπόσχεση κρύβει έναν σοβαρό κίνδυνο: Τι θα συμβεί όταν η ΤΝ δεν μαθαίνει μόνο τις προτιμήσεις μας, αλλά υιοθετεί τις προκαταλήψεις, τις λανθασμένες παραδοχές και τις κακές μας κρίσεις; Μια νέα έρευνα της εξειδικευμένης πλατφόρμας WRITER δείχνει ότι το πρόβλημα δεν είναι θεωρητικό.
Η μνήμη και η εξατομίκευση, που θεωρούνται από τα μεγαλύτερα πλεονεκτήματα των AI Agents (ψηφιακών βοηθών ΤΝ), μπορεί να μετατραπούν στην αχίλλειο πτέρνα τους: να ενισχύσουν την αποκαλούμενη «ψηφιακή υποκριτική συμπεριφορά» (sycophancy), την τάση των μοντέλων να συμφωνούν υπερβολικά με τον χρήστη, ακόμη και όταν ο χρήστης κάνει λάθος.
Δεν πρόκειται για νέο φαινόμενο. Τα μεγάλα γλωσσικά μοντέλα έχουν την τάση να επιβεβαιώνουν τις απόψεις του συνομιλητή τους αντί να τις αμφισβητούν. Σε μια καθημερινή συζήτηση, αυτό μπορεί να είναι απλώς προβληματικό. Σε ένα επιχειρηματικό ή επιστημονικό περιβάλλον, όμως, μπορεί να αποδειχθεί επικίνδυνο.
Η έρευνα της WRITER δείχνει ότι όταν ένας AI Agent αποκτά πρόσβαση σε προηγούμενες συνομιλίες και αποθηκευμένες πληροφορίες για τον χρήστη, μπορεί να αρχίσει να προσαρμόζει τις απαντήσεις του στις πεποιθήσεις και στις παραδοχές του. Σύμφωνα με τους ερευνητές, η μνήμη δεν αποτελεί ένα αποκλειστικά θετικό χαρακτηριστικό, καθώς μπορεί να αλληλεπιδράσει με ιδιαίτερα προβληματικό τρόπο με την τάση των μοντέλων για υποτακτική συμπεριφορά.
Κι εδώ βρίσκεται το πραγματικό πρόβλημα: η ΤΝ μπορεί να μην κάνει απλώς λάθος. Μπορεί να κάνει το λάθος του χρήστη πιο αληθοφανές. Οι ερευνητές προσπάθησαν να μετρήσουν συστηματικά αυτή τη συμπεριφορά μέσω του MIST (Memory Influence on Sycophancy Tests), ενός νέου πρωτοκόλλου αξιολόγησης που εξετάζει την επίδραση της μνήμης στην «κολακεία».
Τα αποτελέσματα έδειξαν ότι η εξατομίκευση μπορεί να αυξήσει σημαντικά την τάση των μοντέλων να συμφωνούν με τον χρήστη, ακόμη και όταν καλούνται να αντιμετωπίσουν σύνθετα ζητήματα επιστημονικού, ιατρικού και ηθικού χαρακτήρα. Στη δεύτερη δοκιμή, οι ερευνητές αξιολόγησαν οκτώ προηγμένα μοντέλα σε καθιερωμένους χρηματοοικονομικούς δείκτες. Με ενεργοποιημένες τις λειτουργίες μνήμης, η ακρίβεια των μοντέλων μειώθηκε από 17% έως και 71%.
Μέχρι σήμερα, όταν μιλούσαμε για την αξιοπιστία της ΤΝ, ο βασικός φόβος ήταν οι λεγόμενες ψευδαισθήσεις/hallucinations: το μοντέλο επινοεί μια πληροφορία, μια πηγή, έναν αριθμό ή ένα γεγονός που δεν υπάρχει. Το πρόβλημα της ψηφιακής κολακείας είναι διαφορετικό, κι ενδεχομένως πιο ύπουλο.
Μια ψευδαίσθηση ή μια παράλογη απάντηση μπορεί να εντοπιστεί. Μια ανύπαρκτη πηγή μπορεί να ελεγχθεί. Τι γίνεται όμως, όταν η απάντηση φαντάζει λογική, είναι καλογραμμένη, πειστική και απολύτως προσαρμοσμένη στον τρόπο σκέψης του χρήστη, αλλά λανθασμένη;
Αυτό δημιουργεί ένα θεμελιώδες παράδοξο για την επόμενη γενιά AI Agents. Η βιομηχανία επενδύει τεράστιους πόρους ώστε τα μοντέλα να αποκτήσουν μνήμη, συνέχεια στις συνομιλίες και βαθύτερη κατανόηση του χρήστη.
Η λογική είναι απλή: περισσότερο περιεχόμενο σημαίνει καλύτερες απαντήσεις. Ομως, αυτό δεν ισχύει πάντοτε. Η μνήμη που υποτίθεται ότι κάνει την ΤΝ εξυπνότερη μπορεί ταυτόχρονα να την κάνει περισσότερο ευάλωτη στις ανθρώπινες προκαταλήψεις.
Η ειρωνεία είναι ότι το πρόβλημα δεν εμφανίζεται επειδή το σύστημα αποτυγχάνει να κάνει αυτό για το οποίο σχεδιάστηκε. Εμφανίζεται ακριβώς επειδή το κάνει εξαιρετικά καλά. Αν ένας AI Αgent χρησιμοποιείται για να συντάξει ένα μέιλ, η υπερβολική συμφωνία με τον χρήστη είναι μάλλον αδιάφορη. Αν, όμως, χρησιμοποιείται για οικονομικές αποφάσεις, ιατρικές εκτιμήσεις, νομική ανάλυση ή κρίσιμες επιχειρηματικές επιλογές, η ίδια συμπεριφορά μπορεί να έχει πραγματικό κόστος με ό,τι αυτό συνεπάγεται.
