Penyelidik di Jepun telah membangunkan satu teknik baharu yang dikenali sebagai mind-captioning, sebuah sistem kecerdasan buatan (AI) yang berupaya menterjemah isyarat otak manusia kepada teks deskriptif.
Projek yang diketuai oleh Tomoyasu Horikawa dari NTT Communication Science Laboratories ini menggunakan data daripada pengimbas fMRI. Menurut kertas kajian yang diterbitkan di Science.org, data tersebut digunakan untuk menulis kapsyen bagi apa yang sedang dilihat atau dibayangkan oleh seseorang, tanpa memerlukan sebarang pergerakan otot atau lisan.
Teknologi ini berfungsi dengan menggabungkan neurosains dan pemprosesan bahasa AI. Dalam eksperimen yang dijalankan, peserta diminta berbaring di dalam pengimbas fMRI sambil menonton ribuan klip video senyap, seperti seseorang membuka pintu atau anjing meregangkan badan.
Aktiviti otak yang direkodkan kemudiannya dipadankan dengan ciri semantik abstrak menggunakan model bahasa mendalam (deep-language model) yang “dibekukan”.
Proses penyahkodan ini bermula dengan satu ayat kosong. Sistem AI, yang menggunakan model bahasa bertopeng (masked-language model), akan memperhalusi ayat tersebut secara berulang kali.
Ia mengubah suai perkataan sehingga tandatangan semantik ayat tersebut selari dengan pola aktiviti otak peserta. Hasilnya, isyarat otak yang kelihatan rawak dapat disusun menjadi ayat yang koheren dan spesifik. Sebagai contoh, memori melihat kucing memanjat meja berjaya diterjemahkan kepada deskripsi teks yang lengkap dengan konteks dan aksi.
Menurut kertas kajian tersebut lagi, satu penemuan yang mengejutkan adalah keupayaan model ini berfungsi walaupun penyelidik mengecualikan kawasan bahasa tradisional dalam otak, iaitu kawasan Broca dan Wernicke.
Ini mencadangkan bahawa “makna” atau konsep visual disimpan secara lebih meluas di dalam otak dan boleh dikesan oleh AI tanpa perlu mengakses bahagian yang mengawal pertuturan atau penulisan.
Data Prestasi dan Potensi Masa Depan
Hasil ujian menunjukkan angka yang memberangsangkan bagi teknologi peringkat awal ini:
- Pengecaman Video: Sistem berjaya mengenal pasti klip yang betul daripada 100 pilihan dengan ketepatan sekitar 50 peratus apabila menjana ayat berdasarkan video baharu.
- Ujian Ingatan (Imaginasi): Apabila peserta hanya membayangkan video yang pernah dilihat, ketepatan mencecah hampir 40 peratus.
Teknologi ini dilihat sebagai sinar harapan baharu bagi pesakit yang mengalami kelumpuhan, ALS, atau aphasia yang teruk. Ia berpotensi membolehkan komunikasi digital secara terus melalui pemikiran.
Walau bagaimanapun, ia turut menimbulkan persoalan etika mengenai privasi mental, walaupun batasan teknologi semasa masih memerlukan pengimbas yang mahal dan data peribadi yang intensif untuk berfungsi.
Mind-captioning merupakan langkah awal dalam merapatkan jurang antara biologi dan bahasa, menterjemah geometri aktiviti neuron kepada bentuk yang boleh dibaca. Walaupun belum bersedia untuk penggunaan komersial, ia memberi gambaran masa depan di mana peranti mungkin boleh memahami apa yang kita bayangkan, bukan sekadar apa yang kita taip atau sebut.
