В России создали приложение, распознающее язык жестов

Оно работает при помощи нейросети и поможет понять и научиться разговаривать на языке людей с нарушением слуха. Мобильное приложение разработали в Саратовском государственном техническом университете имени Гагарина. В его основе лежит нейросеть, которая считывает жесты в реальном времени. Достаточно включить смартфон и навести рамку камеры на руки собеседника. «Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест», — рассказывает руководитель проекта Екатерина Кулакова. Также есть обучающий режим для тех, кто в перспективе желает общаться языком жестов без помощи приложения. Обучение проводится на трехмерных изображениях кистей руки. По словам разработчиков, мобильное приложение по своим функциям объединило лучшие черты аналогов и имеет ранее неиспользуемые на российском рынке функциональные возможности, что делает его перспективным и уникальным. Подписаться на iGuides в Telegram, чтобы узнать обо всем первым...

12:17, 26.07.2024

Рубрика: «Наука и Технологии» Поделиться:

В России создали первое в мире приложение для адаптации ветеранов боевых действий В Архангельской области разработали уникальную цифровую платформу, которая помогает участн ...

Ученые создали устройство, которое переводит язык собак с помощью искусственного интеллекта Ученые нашли способ расшифровать звуки тайного языка собак с помощью искусственного интелл ...

ФМБА: в РФ создали приложение, способное предотвратить до 80% ЧП с детьми В России создается мобильная платформа для безопасности детей «Заступник».«Приложение обес ...

В Вологодской области создали приложение с каталогом бездомных животных В мобильном приложении "Хочу домой 35" собрана информация о собаках и кошках, которые нахо ...