Это резюме на простом английском языке исследования под названием <a href=" Speech Enhancement Using Attention-Based Beamforming</a>. Если вам нравятся такие анализы, присоединяйтесь <a href=" или следите за нами на <a href=" <h2>Проблема с прослушиванием, когда вы не можете видеть</h2> <p>Улучшение речи звучит как техническая проблема, но на самом деле это решение чего-то фундаментально человеческого: сделать речь понятной, когда она заглушена шумом. Подумайте о экстренных вызовах при автомобильных авариях, удаленных встречах в кафе или слуховых аппаратах, которые пытаются выделить один разговор в переполненной комнате. На протяжении десятилетий инженеры использовали все более сложные аудиоалгоритмы для решения этой проблемы, и они добились реального прогресса.</p> <p>Но есть разочаровывающий потолок. Когда условия становятся действительно суровыми, даже лучшие методы, основанные только на аудио, терпят неудачу. Очень громкий фоновый шум, эхо от стен, несколько людей, говорящих одновременно, или движущиеся спикеры — все это приводит к падению производительности. Это не крайние случаи, это повседневные ситуации.</p> <p>Неудобная правда заключается в том, что люди решают эту задачу без усилий, читая по губам, наблюдая за положением говорящего и отслеживая, кто говорит. Тем не менее, мы создали системы улучшения речи, которые намеренно слепы, используя только звук. Недавняя статья задает очевидный вопрос, который мы должны были задать много лет назад: почему?</p> <h2>Люди не слушают только ушами</h2> <p>Представьте, что кто-то дает вам указания по телефону в шумном кафе. Вы едва понимаете их. Но если они вдруг отправят вам видео, на котором они говорят, вы сможете прочитать по губам и следовать за ними идеально. Аудио не стало лучше, но вы получили больше информации. Ваш мозг просто объединил два канала данных.</p> <p>Недавние исследования обнаружили нечто глубокое: когда вы включаете вспомогательную информацию, такую как голосовой отпечаток говорящего или его движения губ, производительность улучшения речи значительно возрастает. Интуиция проста. Визуальные подсказки, такие как движения губ, тесно связаны с производимым звуком, они почти свободны от шума (ваша камера четко видит лицо даже в акустически ужасной комнате), и они несут информацию, которую аудио само по себе не может передать: кто говорит и где.</p> <p>Зрение дает контекст, идентичность и пространственную информацию, которую аудио должно с трудом выводить или иногда не может вывести вообще. Работа над <a href=" аудиовизуальным автоматическим распознаванием речи показала, что эта мультимодальная перспектива особенно мощна в суровых условиях. Исследовательский фронт задает вопрос: если мы дадим машинам эту же перспективу, сможем ли мы воспроизвести эту человеческую легкость?
Почему массивы микрофонов недостаточны
Когда у вас есть несколько микрофонов, расположенных в пространстве, звук из определенного направления достигает каждого микрофона с небольшой задержкой во времени и разницей в амплитуде. Путем математического взвешивания и комбинирования этих сигналов вы можете создать "луч", который указывает на источник, подавляя звуки из других направлений. Это называется формированием луча, элегантная идея из обработки сигналов, которая используется на протяжении десятилетий.
Проблема в том, что формирование луча требует знания, куда указывать луч. Традиционные методы должны догадываться, анализируя только аудио, ища самое громкое или наиболее речевое направление. Но в шумных условиях громкий шум заглушает этот процесс поиска. И если говорящий движется, луч должен постоянно пересчитываться, преследуя движущуюся цель, в то время как шум путает сигналы.
Вот где приходит понимание статьи: что если вы скажете формирователю луча, куда именно указывать? Вот какую роль играет зрение.
Визуальная информация решает проблему указания
Видео человека, говорящего, невероятно информативно. Даже без звука модель визуального распознавания речи может примерно определить, что кто-то говорит, наблюдая за его губами. Если система знает, какого говорящего мы интересуемся по визуальному вводу, она автоматически знает, где находится рот этого человека на изображении, что соответствует направлению в 3D-пространстве. Аудиосистема теперь имеет конкретную цель.
Исследователи использовали предобученную модель визуального распознавания речи, модель, обученную на тысячах часов видео для распознавания слов только по движениям губ. Это решенная проблема, что ценно здесь, потому что это означает, что им не пришлось создавать ее с нуля. Более того, модель неявно учится находить и фокусироваться на рту говорящего. Это становится сигналом, который говорит массиву микрофонов, куда слушать.
Визуальная система выполняет две критически важные задачи. Во-первых, она определяет, когда кто-то говорит, идентифицируя движение рта, что чище и надежнее, чем пытаться обнаружить речь в шумном аудио. Во-вторых, она определяет, к какому человеку следует прислушиваться в многоговорящей ситуации. Снова это то, с чем аудио сталкивается без чистых меток говорящих или моделей, обученных на конкретных голосах.
Слияние зрения и аудио через нейронное формирование луча
Архитектура, которую они разработали, концептуально проста: визуальная модель предоставляет руководство, а глубокая нейронная сеть учится выполнять формирование луча таким образом, чтобы уважать это руководство.
Камера передает видеокадры в предобученную модель визуального распознавания речи, которая извлекает информацию о том, говорит ли кто-то, и, неявно, где он находится. Параллельно массив микрофонов захватывает аудио по всем каналам. Нейронный формирователь луча, сеть, специально разработанная для изучения операций формирования луча, затем использует визуальные подсказки в качестве сигнала внимания. Сеть учится взвешивать каналы микрофонов не только на основе аудиопаттернов, но и под руководством того, что говорит ей визуальная система о том, на чем сосредоточиться.
Это контролируемое, сквозное обучение. Сеть видит как аудио, так и визуальные входные данные и учится предсказывать чистый выход речи. На протяжении тысяч примеров она открывает, как эффективно объединять эти модальности. В отличие от традиционного формирования луча, которое использует фиксированные геометрические правила, этот обученный формирователь луча может обнаруживать неочевидные взаимосвязи между визуальным позиционированием и оптимальным аудиовзвешиванием. Возможно, в определенных акустических условиях оптимальный луч не совсем там, где находятся губы. Сеть находит эти тонкости.
Обучение от начала до конца имеет значение, потому что это означает, что весь процесс от сырых сигналов микрофонов и видеокадров до улучшенной речи изучается совместно. Нет ручного промежуточного шага. Это позволяет исправлять ошибки на протяжении всего процесса и часто приводит к более эффективным решениям, чем системы с отдельными, заранее спроектированными этапами.
Внимание как мост между чувствами
Механизм внимания позволяет нейронному формирователю луча сказать что-то вроде: "визуальная система говорит мне сосредоточиться на направлении X, поэтому я буду взвешивать каналы микрофонов в этом направлении, но я также останусь гибким, потому что визуальная система может быть немного ошибочной, или говорящий мог переместиться между видеокадром и моментом аудио."
На практике это означает, что сеть изучает функцию взвешивания, которая сильно подчеркивает направленческую информацию, предоставляемую зрением, но также включает аудиосигналы. Механизм внимания автоматически балансирует эти два источника информации. Если зрение уверено в местоположении говорящего, аудио следует за ним. Если аудио обнаруживает речь в немного другом направлении, внимание может сместиться, чтобы доверять ему.
Это более надежно, чем жесткое правило, потому что реальные системы шумные. Визуальная модель иногда неверно идентифицирует лица или путается с углами лиц. Говорящий иногда движется быстрее, чем частота кадров видео. Механизм внимания элегантно справляется с этими несовершенствами, изучая, насколько доверять каждому сигналу в разных условиях.
Что действительно работает на практике
Эксперименты проверили два критических сценария, с которыми традиционное формирование луча сталкивается с трудностями: говорящие на фиксированных позициях и говорящие, которые перемещаются. Для стационарных говорящих система, информированная визуально, значительно превзошла базовые методы в различных условиях шума. Разрыв увеличивается по мере ухудшения отношения сигнал/шум, что именно там, где нам нужна помощь. При низком SNR методы только на аудио быстро деградируют, в то время как система, информированная визуально, сохраняет производительность.
Более впечатляюще, система хорошо работала даже когда говорящие двигались. Динамические сценарии с говорящими действительно сложны, потому что традиционному формированию луча необходимо постоянно пересчитывать свое направление, а шум делает оценку направления ненадежной. Визуальная система предоставляет непрерывную информацию о местоположении в реальном времени, за которой механизм внимания может следовать, удерживая луч точно направленным даже по мере движения говорящего.
Система все еще требует камеры с четким видом на лицо говорящего. Если кто-то говорит, отворачиваясь, уверенность в визуальном распознавании падает. Если несколько человек говорят одновременно, системе нужно сказать, кто целевой говорящий. Это не провалы, а скорее реалистичные ограничения.
Связанные работы по <a href=" улучшению речи</a> исследовали другие нейронные подходы к этой проблеме, но мультимодальный компонент является тем, что отличает этот подход. Практическое значение очевидно: этот подход решает конкретные важные проблемы, с которыми сталкиваются системы только на аудио. В сценариях, где доступна визуальная информация, намеренное игнорирование ее является неоптимальным.</p> <h2>Почему это изменяет наше представление о речи</h2> <p>Улучшение речи не абстрактно. Лучшая четкость речи напрямую улучшает доступность для людей с потерей слуха, позволяет проводить более четкие видеозвонки в шумных условиях, помогает системам автоматического распознавания речи работать более надежно и поддерживает приложения для наблюдения и безопасности. Показав, что мультимодальное обучение может преодолеть пределы подходов с одной модальностью, это исследование указывает на более широкое понимание: многие проблемы, которые мы рассматривали как чисто аудио или чисто визуальные, могут быть решены более элегантно, когда мы позволяем машинам видеть и слушать так, как это делают люди.</p> <p>Этот подход связан с более широкими исследованиями по <a href=" слиянию в обработке речи, которые последовательно показывают, что комбинирование модальностей перед их совместной обработкой часто работает лучше, чем слияние абстрактных представлений на поздних этапах процесса.
Элегантное понимание заключается в том, что руководство от одного чувства может сделать другое чувство значительно более эффективным. Мы начали с разочаровывающего ограничения систем только на аудио, обнаружили, что люди решают эту задачу через зрение, построили систему, которая объединяет обе модальности через нейронное формирование луча и внимание, и подтвердили, что это работает в условиях, где традиционные подходы терпят неудачу. Это полная история, и она, вероятно, выходит далеко за пределы речи.
Оригинальный пост: <a href=" на - #ai #speechenhancement