Голосовые помощники все активнее становятся частью нашей повседневной жизни, но есть группа населения, которая пока остается за рамками этих тенденций. Глухонемые, которые общаются языком жестов, не имеют возможности воспользоваться приложениями вроде Siri от Apple или Алисы от компании Яндекс.
В последнее время предлагались самые разные варианты решений — от сенсорных перчаток, регистрирующих движения пальцев пользователя, до специальных программ для той же цели. Но все попытки были безуспешны, пишет The Economist.
Однако поиск вариантов продолжается. Эксперты готовят базы данных с текстами на языке жестов, а программисты, в свою очередь, пытаются на их основе создать приложения для глухонемых.
Как и обычные языки, языки жестов — а их систем в мире насчитывается около сотни — имеют свои грамматические особенности, отличительные идиомы и диалекты. В тоже время пособия далеко не всегда отражают тонкости употребления тех или иных жестов. Поэтому правильно распознать язык жестов намного сложнее, чем произнесенные слоги или написанные буквы.
В 2019 году компания Microsoft провела исследование, которое выявило, что общедоступная база текстов на обычных языках состоит примерно из миллиарда слов от тысячи различных ораторов. В случае с языками жестов база намного скромнее — менее 100 тысяч знаков всего от десяти «ораторов».
Хорошая база текстов должна быть разнообразной, иначе она не сможет эффективно работать. К тому же, компьютеры учатся слишком медленно, то есть им нужно объяснять каждый фрагмент введенной информации — каждое движение и выражение лица. Это также требует времени.
Сбор информации, необходимой для работы с языками жестов, включает запись мимики людей, поэтому многих волнует проблема конфиденциальности. Но при достаточном количестве данных будет можно достичь хороших результатов. Исследователи венгерской компании SignAll уже накопили около 300 тысяч видео от ста «ораторов» с использованием более 3 тысяч знаков с американского языка жестов. Разработанная компанией программа может понимать этот язык при малой скорости и переводить жесты в английский текст. Пока что программа работает только при использовании специальных перчаток. В компании говорят, что перевод в обратном направлении гораздо сложнее, так как нужно решить вопрос визуализации жестов.
Над этим сейчас работает несколько международных проектов, но остается вопрос правильного подхода к проблеме. Предыдущие проекты такого рода были посвящены улучшению коммуникации с глухонемыми других людей. Эксперты считают, что если в центре внимания при разработке новых продуктов поставить интересы именно глухонемых, то это даст лучшие результаты.
Комментарии