Ученые ЛЭТИ разработали метод использования 2D-визуализации звуков для устройства, которое поможет людям со слепотой

Данный подход применяется в создании электронного навигационного устройства, которое позволит ориентироваться в пространстве людям с частичной или полной потерей зрения.

Зрение является важнейшим органом чувств для человека, с помощью которого он получает информацию обо всем, что его окружает. Поэтому частичная или полная утрата зрительных функций – большая проблема для каждого. При этом, когда сокращается или вовсе исчезает способность визуально воспринимать мир, возрастает значение звуков. Для людей с ограниченными возможностями зрения слух играет еще большую роль, поскольку он помогает им ориентироваться в пространстве, распознавать предметы и людей, а также взаимодействовать с обществом.

При помощи слуха человек способен отличать громкость, высоту, тембр и длительность звучания. Благодаря этим характеристикам мы можем понимать, что за объект, а иногда и каким образом он издает их. Оценивать локализацию источника звука в окружающей среде людям позволяет эхолокация. Однако несмотря на то, что потенциально лучше она работает у людей с нарушениями зрения благодаря тренировкам и повседневному опыту, в среде с большим количеством звуков для них это становится намного сложнее. Поэтому важно заниматься поиском и разработкой методов, способных помочь им «видеть» для оценки расстояния до каких-либо объектов даже в шумном пространстве.

«С помощью 2D-визуализации звука мы разработали прототип навигационного устройства для людей с частичной или полной потерей зрения. На сегодняшний день он способен измерять расстояния до какого-либо объекта (например, до лающих собак или проезжающих мимо машин) и издавать звуковые сигналы, частоты которых меняются в зависимости от расстояния до них. То есть, если объект находится близко, звуковой сигнал становится более резким. Если далеко, то, наоборот, слабым». – Руководитель проекта, ассистент кафедры биотехнических систем СПбГЭТУ «ЛЭТИ» Димитриос Палогианнидис

Перед созданием данного прототипа, ученые ЛЭТИ смогли описать звуки с помощью координат по существующей базе данных их импульсных характеристик, зафиксированных с определенных расстояний. Это подтвердило гипотезу о возможности определения местоположения источника звучания вблизи человека.

По словам руководителя проекта, между людьми существуют различия, которые влияют на то, как каждый из людей воспринимает те или иные элементы окружающей среды и взаимодействует с ними. Например, уши человека ростом 190 см находится дальше от упавшего на пол предмета, чем уши человека ростом 170 см. Это означает, что звуку потребуется больше времени, чтобы высокий человек его воспринял, а значит, характеристики звука к этому времени будут другими. Поэтому следующим шагом исследования была настройка работы прототипа посредством 2D-визуализации звуков в соответствии с анатомическими особенностями и потребностями каждого человека.

Таким образом, на данный момент в прототип вносятся корреляции для того, чтобы более совершенное устройство работало оптимально и смогло помогать любому человеку с частичной или полной потерей зрения в их повседневной навигации посредством акустической обратной связи.

«На основе этого прототипа мы можем создать навигационное устройство для крепления на голову (например, в виде очков). В перспективе оно сможет работать автоматически в качестве сканера окружающей среды, которое способно измерять расстояние до объектов и сообщать об этом пользователю. В частности, при модификации компьютерным зрением и веб-камерой, устройство сможет даже различать объекты друг от друга», – отмечает Димитриос Палогианнидис

Разработанная система получила патент РФ в сентябре 2023 года. Метод  трехмерного анализа звука посредством двухмерной визуализации для оценки эффективности функции моделирования восприятия звука каждого человека во время реабилитации описывается в статье, опубликованной в цифровой библиотеке IEEE Xplore.

Информация предоставлена:

СПбГЭТУ «ЛЭТИ»