В России создали приложение, распознающее язык жестов

Оно работает при помощи нейросети и поможет понять и научиться разговаривать на языке людей с нарушением слуха. Мобильное приложение разработали в Саратовском государственном техническом университете имени Гагарина. В его основе лежит нейросеть, которая считывает жесты в реальном времени. Достаточно включить смартфон и навести рамку камеры на руки собеседника. «Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест», — рассказывает руководитель проекта Екатерина Кулакова. Также есть обучающий режим для тех, кто в перспективе желает общаться языком жестов без помощи приложения. Обучение проводится на трехмерных изображениях кистей руки. По словам разработчиков, мобильное приложение по своим функциям объединило лучшие черты аналогов и имеет ранее неиспользуемые на российском рынке функциональные возможности, что делает его перспективным и уникальным. Подписаться на iGuides в Telegram, чтобы узнать обо всем первым...

12:17, 26.07.2024

Рубрика: «Наука и Технологии» Поделиться:

Ученые создали устройство, которое переводит язык собак с помощью искусственного интеллекта Ученые нашли способ расшифровать звуки тайного языка собак с помощью искусственного интелл ...

ФМБА: в РФ создали приложение, способное предотвратить до 80% ЧП с детьми В России создается мобильная платформа для безопасности детей «Заступник».«Приложение обес ...

В Вологодской области создали приложение с каталогом бездомных животных В мобильном приложении "Хочу домой 35" собрана информация о собаках и кошках, которые нахо ...

Заказал, доставили, оплатил: школьники из Кукмора создали приложение для онлайн-доставки еды «Заказал, доставили, оплатил»: школьники из Кукмора создали приложение для онлайн-доставки еды На хакатоне в Кукморе представлено инновационное приложение. В Кукморе успешно прошел перв ...