Το σύστημα μετατρέπει τα κύματα σε κώδικα που μπορεί να αντιστοιχιστεί με συγκεκριμένες λέξεις
Επιστήμονες στην Αυστραλία ανέπτυξαν ένα φορητό, μη επεμβατικό σύστημα τεχνητής νοημοσύνης που αποκωδικοποιεί τις σκέψεις και τις μετατρέπει σε κείμενο. Το εργαλείο DeWave, όπως ονομάστηκε, δοκιμάστηκε σε 29 εθελοντές.
Οι συμμετέχοντες διάβαζαν σιωπηλά ενώ φορούσαν ένα «σκουφάκι» που κατέγραφε τα εγκεφαλικά τους κύματα μέσω ηλεκτροεγκεφαλογραφήματος (EEG) και τα αποκωδικοποιούσε σε κείμενο, όπως γράφει το sciencealert.
Με περαιτέρω βελτίωση, το DeWave θα μπορούσε να βοηθήσει τους ασθενείς που έχουν υποστεί εγκεφαλικό επεισόδιο ή παράλυση να επικοινωνούν.
«Η έρευνα αυτή αποτελεί μια πρωτοποριακή προσπάθεια για τη μετάφραση ακατέργαστων κυμάτων EEG απευθείας σε γλώσσα, σηματοδοτώντας μια σημαντική ανακάλυψη στον τομέα», δήλωσε ο Τσιν-Τενγκ Λιν επιστήμονας πληροφορικής στο Πανεπιστήμιο Τεχνολογίας του Σίδνεϊ (UTS).
Παρόλο που το DeWave πέτυχε ακρίβεια μόλις λίγο πάνω από 40% με βάση ένα από τα δύο σύνολα μετρήσεων σε πειράματα που διεξήγαγαν ο Λιν και οι συνάδελφοί του, αυτό αποτελεί βελτίωση κατά 3% σε σχέση με το προηγούμενο πρότυπο για τη μετάφραση σκέψεων από καταγραφές EEG. Ο στόχος των ερευνητών είναι να βελτιώσουν την ακρίβεια του συστήματος σε περίπου 90%– ποσοστό εφάμιλλο των συμβατικών μεθόδων γλωσσικής μετάφρασης ή του λογισμικού αναγνώρισης ομιλίας. Άλλες μέθοδοι μετάφρασης εγκεφαλικών σημάτων σε γλώσσα απαιτούν επεμβατικές χειρουργικές επεμβάσεις για την εμφύτευση ηλεκτροδίων ή ογκώδη, ακριβά μηχανήματα μαγνητικής τομογραφίας, γεγονός που τις καθιστά μη πρακτικές για καθημερινή χρήση.
Μετά από εκτενή εκπαίδευση το DeWave μετέτρεψε τα κύματα EEG σε κώδικα που μπορεί να αντιστοιχιστεί με συγκεκριμένες λέξεις. Οι ερευνητές εκτιμούν πως η ενσωμάτωση του μοντέλου σε μεγάλα γλωσσικά μοντέλα (Large Language Models, LLMs) ανοίγει επίσης νέους δρόμους στη νευροεπιστήμη και την τεχνητή νοημοσύνη.
Ο Λιν και η ομάδα του χρησιμοποίησαν εκπαιδευμένα γλωσσικά μοντέλα και δοκίμασαν το εργαλείο σε υπάρχοντα σύνολα δεδομένων ανθρώπων που περιλάμβαναν την καταγραφή της παρακολούθησης των ματιών και την εγκεφαλική δραστηριότητα κατά την ανάγνωση κειμένου. Έτσι το σύστημα έμαθε να αντιστοιχεί τα μοτίβα των εγκεφαλικών κυμάτων με τις λέξεις. Στη συνέχεια εκπαιδεύτηκε σε ένα μεγάλο γλωσσικό μοντέλο ανοιχτού κώδικα που ουσιαστικά φτιάχνει προτάσεις από τις λέξεις. Το DeWave είχε τις καλύτερες επιδόσεις στην πρόβλεψη των ρημάτων. Ωστόσο έτεινε να μεταφράζει τα ουσιαστικά ως συνδυασμούς λέξεων που έχουν μεν την ίδια σημασία αλλά δεν αποτελούν ακριβή μετάφραση, όπως για παράδειγμα «ο άνδρας» αντί για «ο συγγραφέας».
«Πιστεύουμε ότι αυτό συμβαίνει επειδή όταν ο εγκέφαλος επεξεργάζεται αυτές τις λέξεις, οι εννοιολογικά παρόμοιες λέξεις μπορεί να παράγουν παρόμοια μοτίβα εγκεφαλικών κυμάτων», εξήγησε ο επικεφαλής συγγραφέας της μελέτης Γικούν Ντουάν, επιστήμονας πληροφορικής στο UTS.
«Παρά τις προκλήσεις, το μοντέλο μας δίνει ουσιαστικά αποτελέσματα, αντιστοιχώντας τις λέξεις-κλειδιά και σχηματίζοντας παρόμοιες δομές προτάσεων», σημείωσε.
Η μελέτη παρουσιάστηκε στο συνέδριο NeurIPS 2023. Μια προδημοσίευση είναι διαθέσιμη στον ιστότοπο ArXiv.
