Φανταστείτε να μπορούσαμε να “ακούσουμε” με κάποιον τρόπο τον ήχο από ένα βίντεο, χωρίς ο ήχος αυτός να έχει καταγραφεί στο βίντεο – να μπορούσαμε, δηλαδή, να ανασυνθέσουμε τον ήχο του βίντεο με βάση την εικόνα του βίντεο. Ακούγεται τραβηγμένο, όμως ίσως η εποχή αυτή δεν είναι και τόσο μακριά.
Ερευνητές του MIT, της Microsoft και της Adobe ανέπτυξαν έναν αλγόριθμο που μπορεί να ανακατασκευάσει ένα ηχητικό σήμα, αναλύοντας τις ανεπαίσθητες δονήσεις αντικειμένων που απεικονίζονται σε ένα βίντεο. Μάλιστα, σε πειράματα που διεξήγαγαν, κατάφεραν να ανακατασκευάσουν τον ήχο ενός βίντεο με τη βοήθεια μίας συσκευασίας από πατατάκια, ενός φυτού, ενός κομματιού αλουμινόχαρτου, αλλά και από την επιφάνεια ενός ποτηριού με νερό.
“Όταν ο ήχος πέφτει πάνω σε ένα αντικείμενο, του προκαλεί δονήσεις”, εξηγεί ο Έιμπ Ντέιβις, μέλος της ομάδας. “Η κίνηση αυτής της δόνησης δημιουργεί ένα πολύ διακριτικό οπτικό σήμα που συνήθως είναι αόρατο δια γυμνού οφθαλμού. Οι άνθρωποι δεν είχαν συνειδητοποιήσει ότι αυτές οι πληροφορίες υπήρχαν εκεί”.
Για την επιτυχή ανακατασκευή του ήχου απαιτείται μία εξαιρετικά γρήγορη κάμερα, με συχνότητα που να ξεπερνά αυτήν του ηχητικού σήματος. Σε κάποια από τα πειράματα, οι ερευνητές χρησιμοποίησαν μία κάμερα που έπιανε 2.000 με 6.000 καρέ ανά δευτερόλεπτο, όταν τα περισσότερα smartphones διαθέτουν κάμερες που δεν ξεπερνούν τα 60 καρέ ανά δευτερόλεπτο. Ωστόσο, ακόμα και τα πειράματα που έγιναν με τέτοιες κάμερες είχαν θετικά αποτελέσματα, καθώς ο ήχος που ανακατασκευάστηκε από αυτές δεν ήταν εξίσου καθαρός, όμως ήταν διακριτό το φύλο του ομιλητή και ο αριθμός τους.
Και αν ακόμα όλα αυτά σας φαίνονται μπερδεμένα και πολύ “τεχνικά”, το βίντεο που έδωσε στη δημοσιότητα η ομάδα του ΜΙΤ μάλλον θα σας λύσει κάθε απορία:
