8
июня
2021
год
Студентка СурГУ отлично учится и обучает нейронные сети
Третьекурсница направления «информационные системы и технологии» Политехнического института Сургутского госуниверситета Валерия Семёнова разработала прототип устройства синхронного перевода языка жестов в звуковой формат с полной передачей смысла на основе нейронных сетей.
Напомним, с этим проектом на конкурсе «УМНИК» Валерия выиграла полумиллионный грант. Умник» – это масштабная программа, которая позволяет находить и поддерживать талантливую молодежь в России. Она была организована в 2007 году Фондом содействия инновациям. Лучшие участники получают гранты на разработки научно-исследовательских проектов.
Над инновационным проектом коренная сургутянка трудится уже около года, совмещая научно-исследовательскую деятельность с лекционными и практическими занятиями. «Люди, которые общаются жестовым языком, часто сталкиваются с трудностями, выстраивая коммуникацию. Язык жестов знают немногие. В этой связи глухие и слабослышащие вынуждены водить с собой сурдопереводчика или родственника. Разработанное мной устройство позволит им самостоятельно вести полноценный диалог, так как будет посредником между человеком, говорящим только на жестовом языке, и тем, кто этого языка совершенно не знает. В планах – задействовать не только перевод с жестов в звук, но и речевого ответа собеседника в текст. Сейчас проект находится на стадии прототипа, есть отдельные составные части программного обеспечения и самого устройства. Помимо этого, проведены несколько исследовательских работ, которые помогли конкретизировать требования, результаты которых были успешно опубликованы. Также определились с названием – «Диалоговый сурдопереводчик», – рассказывает студентка, отмечая, что устройство крепится на ладонь и с ним легко передвигаться по улицам.
Как же работает это уникальное устройство? Датчики, находящиеся в механизме, распознают движение и соотносят с переводом, а с помощью синтезатора речи человек слышит голосовой перевод жеста.
Блиц-опрос
Твой девиз?
– «Глаза боятся, а руки делают».
В чем изюминка твоего проекта?
– У аналогов реализована только поддержка монолога, без возможности понять ответ собеседника. Мы учитываем данную проблему и добавляем эту возможность.
Кому он поможет?
– В первую очередь лицам с нарушением слуха и речи, которые вынуждены использовать жестовый язык как основной.
Что было самым сложным в проектной работе?
– Понять, что именно нужно сделать. Поначалу есть только идея и примерное видение, как ее решить, а уже потом понемногу появляются детали. На данный момент, это был самый долгий этап разработки.
Прототип готов, что дальше?
– Создание тестовой партии и передача ее тестировщикам-добровольцам, от отзыва которых и будет определяться дальнейшая судьба проекта.
Кто из преподавателей тебе помогает?
– Инициатором проекта был Дмитрий Алексеевич Фёдоров, в исследовательскую работу и оформление ее результатов большой вклад внесла Лариса Леонидовна Семёнова.
Почему выбрала СурГУ?
– Была наслышана о качественном образовании, поэтому выбор стал очевидным. Зачем ехать в другой, если уверена в университете твоего города!
После окончания бакалавриата продолжишь обучение в СурГУ?
– Конечно, планирую поступать в магистратуру, а потом и в аспирантуру.
#наука#годнаукиитехнологий
Автор: Дарья Вейраух