В настоящее время слуховые аппараты помогают людям с нарушениями слуха, усиливая все окружающие звуки.
Однако в шумных ситуациях, таких как вечеринки с коктейлями, широкий спектр усиления слуховых аппаратов может мешать пользователям сосредоточиться на определенных звуках, например на разговоре с конкретным человеком.
Одним из возможных решений эффекта вечеринки с коктейлями является создание «умных» слуховых аппаратов, которые сочетают в себе обычное усиление звука со вторым устройством для сбора дополнительных данных для повышения производительности.
Чтобы разработать систему, исследователи попросили добровольцев мужского и женского пола повторить пять гласных звуков (А, Е, И, О и У) сначала без маски, а затем в хирургической маске.
Когда добровольцы повторяли гласные звуки, их лица сканировались с помощью радиочастотных сигналов как от специального радиолокационного датчика, так и от передатчика Wi-Fi. Их лица также сканировались, пока их губы оставались неподвижными.
Затем 3600 образцов данных, собранных во время сканирования, использовались для «обучения» алгоритмов машинного обучения и глубокого обучения тому, как распознавать характерные движения губ и рта, связанные с каждым гласным звуком.
Поскольку радиочастотные сигналы могут легко проходить через маски добровольцев, алгоритмы также могут научиться читать гласные в масках пользователей.
Система оказалась способной правильно читать по губам добровольцев большую часть времени. Данные Wi-Fi правильно интерпретировались алгоритмами обучения до 95 % времени для незамаскированных губ и 80 % для замаскированных. При этом данные радара правильно интерпретировались до 91% без маски и 83% времени с маской.
Доктор Каммер Аббаси из Инженерной школы имени Джеймса Ватта Университета Глазго является ведущим автором статьи. Он сказал: «Около пяти процентов населения мира — около 430 миллионов человек — имеют какие-либо нарушения слуха.
«Слуховые аппараты изменили жизнь многих людей с нарушениями слуха. Технологии нового поколения, которые собирают широкий спектр данных для увеличения и усиления усиления звука, могут стать еще одним важным шагом в улучшении качества жизни людей с нарушениями слуха.
«С помощью этого исследования мы показали, что радиочастотные сигналы можно использовать для точного чтения гласных звуков по губам людей, даже когда их рты закрыты. В то время как результаты чтения по губам сигналов радара немного точнее, сигналы Wi-Fi также продемонстрировали впечатляющую точность.
«Учитывая повсеместное распространение и доступность технологий Wi-Fi, результаты весьма обнадеживают, что говорит о том, что этот метод имеет ценность как в качестве отдельной технологии, так и в качестве компонента будущих мультимодальных слуховых аппаратов».
