Рабочий прототип роботизированной перчатки, переводящей язык жестов в речь представила международная группа ученых из США и Китая. Разработчики считают, что их устройство может помочь людям с ограниченными возможностями речи и слуха общаться с теми, кто не понимает языка жестов, без переводчика. Перчатка работает благодаря обучаемой нейросети и пока что воспринимает только английский язык жестов.
Она оснащена датчиками трения и гироскопами для распознавания движения пальцев и рук. Физики с помощью перчатки записали около 600 жестов, соответствующих самым популярным словам. Эти данные обработала нейросеть и выдала в формате аудиофайлов. Звук может воспроизводиться в режиме реального времени с помощью встроенных динамиков или передаваться на смартфон.
Ученые расширили функционал системы, добавив датчики на лицо, так как в некоторых жестах используется мимика. Систему тренировали на четырех добровольцах с проблемамаи слуха. Перчатка с точностью в 98% распознала жесты после некоторого количества тренировок. Ученые собираются увеличить «словарный запас» аппарата и использовать его вне лаборатории.