AI | Perangkat membaca pikiran dengan mengubah gelombang otak menjadi ucapan yang terdengar

Source : newscientist.com

AI | Perangkat membaca pikiran dengan mengubah gelombang otak menjadi ucapan yang terdengar – Teknologi baru telah berhasil dikembangkan, mengkonversi gelombang otak yang diterjemahkan menjadi suara yang dapat didengar. Elektroda yang terdapat di otak berhasil digunakan untuk menerjemahkan gelombang otak menjadi kata-kata yang diucapkan oleh komputer dan dapat berguna di masa depan untuk membantu orang yang kelainan/ kehilangan kemampuan berbicara.

Ketika Anda berbicara, otak Anda mengirimkan sinyal dari motor korteks ke otot-otot di rahang, bibir, dan laring untuk mengoordinasikan gerakan mereka agar menghasilkan suara sesuai dengan yang dipikirkan.

“Otak mampu menerjemahkan pikiran dari apa yang ingin Anda katakan ke dalam pergerakan saluran vokal, dan itulah yang kami coba untuk memecahkan kode,” kata Edward Chang di Universitas California San Francisco (UCSF). Dia dan rekan-rekannya menciptakan proses dua langkah untuk men-decode pikiran-pikiran itu menggunakan berbagai elektroda yang ditempatkan secara operasi ke bagian otak yang mengontrol gerakan, dan simulasi komputer dari saluran vokal untuk mereproduksi suara-suara ucapan.

Dalam studi yang mereka lakukan, mereka bekerja dengan lima peserta yang memiliki elektroda pada permukaan korteks motorik mereka sebagai bagian dari perawatan mereka untuk epilepsi. Orang-orang ini diminta untuk membaca 101 kalimat dengan keras – yang berisi kata-kata dan frasa yang mencakup semua suara dalam bahasa Inggris – sementara tim merekam sinyal yang dikirim dari korteks motor selama pidato.

Ada sekitar 100 otot yang digunakan untuk menghasilkan ucapan, dan mereka dikendalikan oleh kombinasi neuron yang ditembakkan secara bersamaan, sehingga tidak sesederhana memetakan sinyal dari satu elektroda ke satu otot untuk memilah apa yang diperintahkan oleh otak ke mulut. Jadi, tim melatih algoritma untuk mereproduksi suara kata yang diucapkan dari kumpulan sinyal yang dikirim ke bibir, rahang dan lidah.

Source : newscientist.com

Gambar contoh array elektroda intrakranial dari jenis yang digunakan untuk merekam aktivitas otak dalam penelitian ini.
Elektroda seperti ini digunakan untuk merekam aktivitas otak


Tim mengatakan “kinerja yang kuat” dimungkinkan ketika melatih perangkat hanya pada 25 menit bicara, tetapi decoder membaik dengan lebih banyak data. Untuk studi ini, mereka melatih decoder pada bahasa lisan masing-masing peserta untuk menghasilkan audio dari sinyal otak mereka.

Setelah mereka membuat file audio berdasarkan sinyal, tim meminta ratusan penutur asli bahasa Inggris untuk mendengarkan kalimat output dan mengidentifikasi kata-kata dari serangkaian 10, 25 atau 50 pilihan.

Para pendengar menuliskan 43 persen percobaan dengan sempurna ketika mereka memiliki 25 kata untuk dipilih, dan 21 persen sempurna ketika mereka memiliki 50 pilihan. Satu pendengar memberikan transkripsi yang sempurna untuk 82 kalimat dengan daftar kata yang lebih kecil dan 60 dengan yang lebih besar.

“Banyak kata yang keliru serupa artinya dengan suara kata aslinya – hewan pengerat untuk kelinci – oleh karena itu kami menemukan dalam banyak kasus inti kalimat itu dapat dipahami,” kata anggota tim Josh Chartier di UCSF. Dia mengatakan jaringan syaraf tiruan bekerja dengan baik dalam memecahkan kode frikatif – terdengar seperti ‘sh’ di ‘kapal’ – tetapi memiliki waktu yang lebih sulit dengan plosives, seperti suara ‘b’ dalam ‘bob’.

“Ini cukup masuk akal jika Anda memiliki beberapa pilihan, tetapi jika Anda tidak memiliki pilihan itu, itu mungkin tidak,” kata Marc Slutzky dari Northwestern University di Illinois. “Agar adil, untuk aplikasi klinis utama pada pasien yang lumpuh, jika mereka tidak dapat mengatakan apa-apa, bahkan memiliki kosakata beberapa ratus kata bisa menjadi kemajuan besar.”

Itu mungkin di masa depan, katanya, karena tim menunjukkan bahwa algoritma yang dilatih pada keluaran satu orang dapat digunakan untuk memecahkan kode kata-kata dari peserta lain.

Tim juga meminta satu orang untuk meniru ucapan dengan menggerakkan mulut mereka tanpa mengeluarkan suara. Sistem tidak bekerja sebaik halnya dengan kata-kata yang diucapkan, tetapi mereka masih dapat memecahkan kode beberapa pidato yang dapat dipahami dari kata-kata yang ditiru.

Perangkat serupa telah dibuat yang mencoba men-decode sinyal otak langsung menjadi suara, melewatkan simulasi gerakan di sekitar mulut dan saluran vokal, tetapi masih belum jelas pendekatan mana yang paling efektif.

Perangkat ini tidak bergantung pada sinyal untuk membuat suara, tetapi hanya pada mereka untuk fungsi motor kontrol, yang masih dikirim bahkan jika seseorang lumpuh. Jadi, perangkat ini bisa berguna bagi orang-orang yang pernah bisa berbicara tetapi kehilangan kemampuan itu karena operasi atau gangguan motorik seperti ALS, di mana orang kehilangan kendali otot-otot mereka.

Source : newscientist.com
Referensi jurnal: Alam, DOI: 10.1038 / s41586-019-1119-1

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *