Ini adalah ringkasan Plain English Papers dari makalah penelitian yang disebut <a href=" Speech Enhancement Using Attention-Based Beamforming</a>. Jika Anda menyukai analisis semacam ini, bergabunglah dengan <a href=" atau ikuti kami di <a href=" <h2>Masalah dengan mendengarkan ketika Anda tidak dapat melihat</h2> <p>Peningkatan bicara terdengar seperti masalah teknis, tetapi memecahkan sesuatu yang pada dasarnya manusiawi: membuat ucapan dapat dimengerti ketika terkubur dalam kebisingan. Pikirkan panggilan darurat dalam kecelakaan mobil, pertemuan jarak jauh di kedai kopi, atau alat bantu dengar yang berjuang untuk mengisolasi satu percakapan di ruangan yang ramai. Selama beberapa dekade, para insinyur telah melemparkan algoritme audio yang semakin canggih pada masalah ini, dan mereka telah membuat kemajuan nyata.</p> <p>Tapi ada langit-langit yang membuat frustrasi. Ketika kondisi menjadi benar-benar keras, bahkan metode khusus audio terbaik pun tersandung. Kebisingan latar belakang yang sangat keras, gema dari dinding, banyak orang berbicara satu sama lain, atau speaker yang bergerak semuanya menyebabkan kinerja runtuh. Ini bukan kasus tepi, ini adalah situasi sehari-hari.</p> <p>Kebenaran yang tidak nyaman adalah bahwa manusia menyelesaikannya dengan mudah dengan membaca bibir, memperhatikan posisi pembicara, dan melacak siapa yang berbicara. Namun kami telah membangun sistem peningkatan ucapan yang sengaja buta, hanya menggunakan suara. Sebuah makalah baru-baru ini mengajukan pertanyaan jelas yang seharusnya kita tanyakan bertahun-tahun yang lalu: mengapa?</p> <h2>Manusia tidak mendengarkan dengan telinga mereka saja</h2> <p>Bayangkan seseorang memberi Anda petunjuk arah melalui panggilan telepon di kafe yang bising. Anda hampir tidak bisa memahaminya. Tetapi jika mereka tiba-tiba mengirimi Anda video diri mereka berbicara, Anda dapat membaca bibir mereka dan mengikuti dengan sempurna. Audionya tidak menjadi lebih baik, tetapi Anda mendapatkan lebih banyak informasi. Otak Anda hanya menggabungkan dua saluran data.</p> <p>Penelitian terbaru menemukan sesuatu yang mendalam: ketika Anda menyertakan informasi tambahan seperti sidik suara pembicara atau gerakan bibir mereka, kinerja peningkatan bicara melonjak secara signifikan. Intuisinya mudah. Isyarat visual seperti gerakan bibir dihubungkan erat dengan suara yang dihasilkan, hampir bebas kebisingan (kamera Anda melihat wajah dengan jelas bahkan di ruangan yang mengerikan secara akustik), dan mereka membawa informasi yang tidak dimiliki audio saja: siapa yang berbicara dan di mana.</p> <p>Visi memberikan konteks, identitas, dan informasi spasial yang harus disimpulkan oleh audio dengan susah payah atau terkadang tidak dapat disimpulkan sama sekali. Pekerjaan pada pengenalan ucapan otomatis audiovisual <a href=" telah menunjukkan bahwa perspektif multimoda ini sangat kuat dalam kondisi yang keras. Perbatasan penelitian bertanya: jika kita memberi mesin perspektif yang sama ini, dapatkah kita meniru kemudahan manusia ini?
Mengapa array mikrofon saja tidak cukup
Ketika Anda memiliki beberapa mikrofon yang diatur di luar angkasa, suara dari arah tertentu tiba di setiap mikrofon dengan sedikit penundaan waktu dan perbedaan amplitudo. Dengan menimbang dan menggabungkan sinyal ini secara matematis, Anda dapat membuat "balok" yang mengarah ke sumber sambil menekan suara dari arah lain. Ini adalah beamforming, ide elegan dari pemrosesan sinyal yang telah digunakan selama beberapa dekade.
Masalahnya adalah beamforming membutuhkan mengetahui ke mana harus mengarahkan balok. Metode tradisional harus menebak dengan menganalisis audio saja, mencari arah yang paling keras atau paling mirip ucapan. Tetapi dalam kondisi bising, suara keras menenggelamkan proses pencarian ini. Dan jika speaker bergerak, sinar harus terus menghitung ulang, mengejar target yang bergerak sementara kebisingan membingungkan sinyal.
Di sinilah wawasan makalah tiba: bagaimana jika Anda memberi tahu beamformer dengan tepat ke mana harus menunjuk? Itulah peran yang dimainkan oleh visi.
Informasi visual memecahkan masalah penunjukan
Videoseseorang berbicara sangat kaya informasi. Bahkan tanpa suara, model pengenalan suara visual dapat menentukan secara kasar apa yang dikatakan seseorang dengan memperhatikan bibir mereka. Jika sistem mengetahui speaker mana yang kita minati dari input visual, sistem secara otomatis tahu di mana mulut orang itu berada dalam gambar, yang sesuai dengan arah dalam ruang 3D. Sistem audio sekarang memiliki target konkret.
Para peneliti memanfaatkan model pengenalan ucapan visual yang telah dilatih sebelumnya, model yang dilatih pada ribuan jam video untuk mengenali kata-kata dari gerakan bibir saja. Ini adalah masalah yang terpecahkan, yang berharga di sini karena itu berarti mereka tidak harus membangunnya dari awal. Lebih penting lagi, model secara implisit belajar untuk menemukan dan fokus pada mulut orang yang berbicara. Ini menjadi sinyal yang memberi tahu susunan mikrofon di mana harus mendengarkan.
Sistem visual melakukan dua pekerjaan penting. Pertama, mendeteksi ketika seseorang berbicara dengan mengidentifikasi gerakan mulut, yang lebih bersih dan lebih andal daripada mencoba mendeteksi ucapan dalam audio yang bising. Kedua, ini mengidentifikasi orang mana yang akan didengarkan dalam skenario multi-speaker. Sekali lagi, ini adalah sesuatu yang diperjuangkan oleh audio tanpa label speaker yang bersih atau model yang dilatih pada suara tertentu.
Memadukan penglihatan dan audio melalui pembentukan sinar saraf
Arsitektur yang mereka rancang secara konseptual bersih: model visual memberikan panduan, dan jaringan saraf yang dalam belajar untuk melakukan beamforming dengan cara yang menghormati panduan ini.
Kamera memasukkan bingkai video ke dalam model pengenalan suara visual yang telah dilatih sebelumnya, yang mengekstrak informasi tentang apakah seseorang berbicara dan, secara implisit, di mana mereka berada. Secara paralel, susunan mikrofon menangkap audio di semua saluran. Pembentuk sinar saraf, jaringan yang dirancang khusus untuk mempelajari operasi beamforming, kemudian menggunakan isyarat visual sebagai sinyal perhatian. Jaringan belajar menimbang saluran mikrofon tidak hanya berdasarkan pola audio, tetapi dipandu oleh apa yang dikatakan oleh sistem penglihatan tentang di mana harus fokus.
Ini adalah pembelajaran yang diawasi, menyeluruh. Jaringan melihat input audio dan visual dan belajar memprediksi output ucapan yang bersih. Lebih dari ribuan contoh, ia menemukan cara menggabungkan modalitas ini secara efektif. Tidak seperti beamforming tradisional, yang menggunakan aturan geometris tetap, beamformer yang dipelajari ini dapat menemukan hubungan yang tidak jelas antara pemosisian visual dan pembobotan audio yang optimal. Mungkin di lingkungan akustik tertentu, sinar optimal tidak persis di mana bibir muncul. Jaringan menemukan seluk-beluk ini.
Pelatihan end-to-end penting karena itu berarti seluruh saluran mulai dari sinyal mikrofon mentah dan bingkai video hingga ucapan yang disempurnakan dipelajari bersama. Tidak ada langkah perantara buatan tangan. Hal ini memungkinkan koreksi kesalahan di seluruh pipa dan seringkali menghasilkan solusi yang lebih efisien daripada sistem dengan tahap terpisah yang telah dirancang sebelumnya.
Perhatian sebagai jembatan antar indera
Mekanisme perhatian memungkinkan beamformer saraf untuk mengatakan sesuatu seperti: "sistem visual memberi tahu saya untuk fokus pada arah X, jadi saya akan menimbang saluran mikrofon ke arah itu, tetapi saya juga akan tetap fleksibel karena sistem visual mungkin sedikit salah, atau pembicara mungkin telah berpindah antara bingkai video dan momen audio."
Dalam praktiknya, ini berarti jaringan mempelajari fungsi pembobotan yang sangat menekankan informasi arah yang diberikan oleh penglihatan tetapi juga menggabungkan isyarat audio. Mekanisme perhatian secara otomatis menyeimbangkan kedua sumber informasi ini. Jika penglihatan yakin tentang lokasi speaker, audio mengikuti. Jika audio mendeteksi ucapan ke arah yang sedikit berbeda, perhatian dapat bergeser untuk mempercayainya.
Ini lebih kuat daripada aturan keras karena sistem dunia nyata berisik. Model visual terkadang salah mengidentifikasi wajah atau bingung dengan sudut wajah. Speaker terkadang bergerak lebih cepat dari kecepatan bingkai video. Mekanisme perhatian dengan anggun menangani ketidaksempurnaan ini dengan mempelajari seberapa besar mempercayai setiap sinyal dalam kondisi yang berbeda.
Apa yang sebenarnya berhasil dalam praktik
Eksperimen menguji dua skenario kritis yang diperjuangkan oleh beamforming tradisional: speaker pada posisi tetap dan speaker yang bergerak. Untuk speaker stasioner, sistem yang diinformasikan secara visual secara signifikan mengungguli metode dasar di berbagai kondisi kebisingan. Kesenjangan melebar karena rasio sinyal-ke-kebisingan semakin buruk, di mana kami membutuhkan bantuan. Pada SNR rendah, metode audio saja menurun dengan cepat sementara sistem yang diinformasikan visual mempertahankan kinerja.
Lebih mengesankan lagi, sistem bekerja dengan baik bahkan ketika speaker bergerak. Skenario speaker dinamis benar-benar sulit karena beamforming tradisional harus terus-menerus menghitung ulang arahnya, dan noise membuat estimasi arah tidak dapat diandalkan. Sistem visual memberikan informasi lokasi real-time yang berkelanjutan, yang dapat diikuti oleh mekanisme perhatian, menjaga sinar tetap mengarah secara akurat bahkan saat speaker bergerak.
Sistem ini masih membutuhkan kamera dengan tampilan wajah pembicara. Jika seseorang berbicara sambil memalingkan muka, kepercayaan diri pengenalan visual menurun. Jika banyak orang berbicara secara bersamaan, sistem harus diberitahu siapa pembicara targetnya. Ini bukan kegagalan melainkan kendala yang realistis.
Pekerjaan terkait pada peningkatan ucapan <a href="</a> telah mengeksplorasi pendekatan saraf lain untuk masalah ini, tetapi komponen multimoda adalah apa yang membedakan pendekatan ini. Implikasi praktisnya jelas: pendekatan ini memecahkan masalah spesifik dan penting yang dihadapi oleh sistem audio saja. Dalam skenario di mana informasi visual tersedia, dengan sengaja mengabaikannya tidak optimal.</p> <h2>Mengapa ini membentuk kembali cara kita berpikir tentang ucapan</h2> <p>Peningkatan ucapan tidak abstrak. Kejernihan ucapan yang lebih baik secara langsung meningkatkan aksesibilitas bagi penderita gangguan pendengaran, memungkinkan panggilan video yang lebih jelas di lingkungan yang bising, membantu sistem pengenalan suara otomatis bekerja lebih andal, dan mendukung aplikasi pengawasan dan keamanan. Dengan menunjukkan bahwa pembelajaran multimoda dapat melampaui batas pendekatan modalitas tunggal, penelitian ini menunjuk ke arah wawasan yang lebih luas: banyak masalah yang telah kita perlakukan sebagai murni masalah audio atau penglihatan murni mungkin dapat diselesaikan dengan lebih elegan ketika kita membiarkan mesin melihat dan mendengarkan seperti yang dilakukan manusia.</p> <p>Pendekatan ini terhubung dengan penelitian yang lebih luas tentang fusi <href=" dalam pemrosesan ucapan, yang secara konsisten menunjukkan bahwa menggabungkan modalitas sebelum memprosesnya bersama-sama seringkali bekerja lebih baik daripada memadukan representasi abstrak di akhir pipa.
Wawasan yang elegan adalah bahwa bimbingan dari satu indera dapat membuat pengertian lain secara dramatis lebih efektif. Kami mulai dengan keterbatasan yang membuat frustrasi dari sistem audio saja, menemukan bahwa manusia menyelesaikannya melalui penglihatan, membangun sistem yang memadukan kedua modalitas melalui pembentukan sinar saraf dan perhatian, dan memvalidasi bahwa itu bekerja dalam kondisi di mana pendekatan tradisional gagal. Itu adalah cerita yang lengkap, dan itu adalah salah satu yang kemungkinan melampaui ucapan.
Posting asli: <a href=" pada - #ai #speechenhancement