Сбер представил модели ИИ, способные распознавать русский жестовый язык

Команда Сбербанка на международной конференции по искусственному интеллекту AI Journey представила нейросетевые модели, позволяющие распознавать русский жестовый язык.

Сбер представил модели ИИ, способные распознавать русский жестовый язык
Фото: Nic Rosenau / Unsplash

Команда Vision RnD в SberDevices, разрабатывающая одно из таких решений, первой в мире представила прототип общения с генеративной языковой моделью при помощи жестового языка в открытом доступе. Это стало возможно благодаря использованию GigaChat API, программного интерфейса доступа к сервису GigaChat. 

Генеративная модель GigaChat сама, без дополнительных преобразований, понимает контекст распознанных жестов. Например, распознанные отдельные слова: «Я Идти Улица Гулять» сервис сам преобразовывает в корректную фразу: «Я пошёл гулять на улицу», сохраняя контекст передачи информации.

Текущая версия модели позволяет распознавать более 2500 жестов, включая понимание дактиля (жестовый алфавит) и возможность распознавать составные жесты. Кроме того, модель понимает терминологию банковской сферы, транспортной и зоологической, в активе есть даже несколько слов из сфер медицины и образования. Этот объём покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.

Другая команда исследователей разработала и опубликовала в открытом доступе лёгкую модель распознавания жестового языка, не требовательную к вычислительным ресурсам. Модель работает на CPU, что снижает себестоимость решений, создаваемых на её основе. Это даёт возможность широкому кругу разработчиков проектировать инклюзивное программное обеспечение, например продукты и сервисы для коммуникации или инструменты для изучения жестового языка. На сегодняшний день алгоритм распознаёт 1600 жестов и преобразовывает в слова до трёх жестов в секунду на стандартных персональных компьютерах. В 2024 году планируется тестирование и внедрение модели распознавания русского жестового языка и решений на её основе в ряде регионов России.


Источник