Команда Сбербанка на международной конференции по искусственному интеллекту AI Journey представила нейросетевые модели, позволяющие распознавать русский жестовый язык.
Команда Vision RnD в SberDevices, разрабатывающая одно из таких решений, первой в мире представила прототип общения с генеративной языковой моделью при помощи жестового языка в открытом доступе. Это стало возможно благодаря использованию GigaChat API, программного интерфейса доступа к сервису GigaChat.
Генеративная модель GigaChat сама, без дополнительных преобразований, понимает контекст распознанных жестов. Например, распознанные отдельные слова: «Я Идти Улица Гулять» сервис сам преобразовывает в корректную фразу: «Я пошёл гулять на улицу», сохраняя контекст передачи информации.
Текущая версия модели позволяет распознавать более 2500 жестов, включая понимание дактиля (жестовый алфавит) и возможность распознавать составные жесты. Кроме того, модель понимает терминологию банковской сферы, транспортной и зоологической, в активе есть даже несколько слов из сфер медицины и образования. Этот объём покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.
Другая команда исследователей разработала и опубликовала в открытом доступе лёгкую модель распознавания жестового языка, не требовательную к вычислительным ресурсам. Модель работает на CPU, что снижает себестоимость решений, создаваемых на её основе. Это даёт возможность широкому кругу разработчиков проектировать инклюзивное программное обеспечение, например продукты и сервисы для коммуникации или инструменты для изучения жестового языка. На сегодняшний день алгоритм распознаёт 1600 жестов и преобразовывает в слова до трёх жестов в секунду на стандартных персональных компьютерах. В 2024 году планируется тестирование и внедрение модели распознавания русского жестового языка и решений на её основе в ряде регионов России.