Система автоматически отыскивает соответствия между последовательностями слов и жестами языка глухонемых. Жесты воспроизводит виртуальный персонаж. Точность перевода пока невысока, но если автоматический переводчик делает ошибку, человек может его поправить, указав нужное соответствие. Машина запомнит правильный вариант перевода.
Виртуальных сурдопереводчиков планируется применять на телевидении - в частности, для перевода срочных новостных сообщений, когда "живого" специалиста рядом может не оказаться. Большинство новостей построены по определенным шаблонам, поэтому системе будет проще справиться с переводом.
Разработчики из NHK рассказали, что сурдоперевод необходим прежде всего тем людям, которые лишены возможности слышать от рождения. Если же человек утратил слух из-за болезни или травмы, ему будет легче читать субтитры.