Пойми меня. Учёные создали нейросеть, которая переводит язык жестов в текст

Пойми меня. Учёные создали нейросеть, которая переводит язык жестов в текст

image

01.02.2023 3064

Российские учёные создали нейросеть, которая переводит язык жестов, которым пользуются глухонемые люди, в текст на экране. На первом этапе эта разработка поможет пациентам медучреждения общаться с врачами и получать медицинскую помощь. В перспективе её можно будет использовать и в других жизненных ситуациях, например, при походе в магазины, социальные учреждения, в транспорте и т. д. Сейчас люди с подобными ограничениями здоровья вынуждены пользоваться услугами сурдопереводчиков, но специалистов хватает не всегда.

Приложение для автоматического машинного сурдоперевода разработали специалисты подведомственного Минобрнауки России Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН.

«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказал aif.ru старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.

Для обучения нейросети ученые разработали уникальную базу данных жестов, которые используются глухими людьми. Пока что она включает сферы, связанные с медициной и здоровьем. Всего собрано 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. При этом видеозаписи жестов снимаются с разных ракурсов, что повышает их информативность. Общая продолжительность всех видеозаписей составила около семи часов. 

Программное обеспечение работает следующим образом: видеокамера фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. После этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы составляет более 90%. 

«Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы», — пояснил Рюмин.

Источник: ( Ссылка )

 
Нефопам р-р д/ инфузий и внутримышечного введения 10мг/мл 2мл №2 шприц-тюбик (аналог Акупан)

Медицинский видеолекторий

 

Популярные публикации

 
Этиловый спирт 90% раствор  д/наружного применения фл. 100мл №40

Новости

 
 


 
 
Адреналин раствор для инъекций 1мг/мл амп. 1мл №5 (НЕ ТЕРМОЛАБИЛЬНЫЙ)

Контакты

 
...

Фармацевтическая компания "МЕДАРГО"

 +7 495 730-55-50   medargo@yandex.ru

Время работы: 9.00-18.00 МСК, Понедельник-Пятница