01.02.2023 4093

Российские учёные создали нейросеть, которая переводит язык жестов, которым пользуются глухонемые люди, в текст на экране. На первом этапе эта разработка поможет пациентам медучреждения общаться с врачами и получать медицинскую помощь. В перспективе её можно будет использовать и в других жизненных ситуациях, например, при походе в магазины, социальные учреждения, в транспорте и т. д. Сейчас люди с подобными ограничениями здоровья вынуждены пользоваться услугами сурдопереводчиков, но специалистов хватает не всегда.

Приложение для автоматического машинного сурдоперевода разработали специалисты подведомственного Минобрнауки России Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН.

«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказал aif.ru старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.

Для обучения нейросети ученые разработали уникальную базу данных жестов, которые используются глухими людьми. Пока что она включает сферы, связанные с медициной и здоровьем. Всего собрано 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. При этом видеозаписи жестов снимаются с разных ракурсов, что повышает их информативность. Общая продолжительность всех видеозаписей составила около семи часов. 

Программное обеспечение работает следующим образом: видеокамера фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. После этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы составляет более 90%. 

«Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы», — пояснил Рюмин.

Источник: ( Ссылка )

Другие публикации в этой рубрике: PROздоровье

Для размещения Вашей информации на портале воспользуйтесь системой "Public MEDARGO"