Новости > Хроника рынков НТИ > NeuroNet

05.09.2019

Ученый из Новосибирска разработал интерфейс-«переводчик» с языка жестов

До сих пор ни одна из существующих программ пока не может полноценно заменить живых сурдопереводчиков

Выпускник Новосибирского государственного университета (НГТУ) НЭТИ Алексей Приходько создал систему, которая упростит общение для людей с ограниченным слухом. Она может автоматически озвучивать язык жестов и позволяет управлять компьютером без помощи мыши, сообщает пресс-служба Министерства науки и высшего образования РФ.

 

«При помощи камеры программа распознает и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод», - говорится в сообщении ведомства.

 

Разработать хорошую систему для перевода с жестового языка сложно из-за особенностей его грамматики. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения, а также выражения лица, движений губ и других знаков. Именно поэтому ни одна из существующих программ пока не может заменить живых переводчиков.

 

«Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система - это когда на человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат - моя программа безмаркерным методом распознает человека и его жесты при помощи камер», - пояснил Алексей Приходько.


#машинное зрение

Подписка на обновления

«Информбюро 20.35» делает почтовую рассылку самых интересных публикаций один раз в неделю. Чтобы подписаться на нее, зарегистрируйтесь или войдите через свою учетную запись на платформе leader-id.ru.