Команда Яндекса сообщила о новом достижении проекта по развитию нейросетей, распознающих текст. Разработчики научили фирменные нейросети расшифровывать архивные записи со сложной дореволюционной орфографией.
Пользователи могут протестировать технологию в действии в сервисе «Поиск по архивам». В рамках проекта доступно более чем 2,5 миллионам страниц исторических документов XVIII — начала XX веков с текстовой расшифровкой, включая метрические книги, исповедные ведомости и ревизские сказки с результатами переписи населения.
Как отмечают разработчики, сервис «Поиск по архивам» пригодится историкам, социологам, демографам, генеалогам и простым пользователям, которые ищут сведения о своей семье.
Новый алгоритм оптического распознавания учитывает особенности почерка и структуру архивных документов, а также справляется с символами и буквами, опознаёт больше не использующимися в русском языке. Нейросеть прошла обучение на сотнях тысяч рукописных строк из реальных текстов XVIII–XIX веков и десятков миллионов сгенерированных примеров.
Руководитель «Поиска Яндекса» Елена Бубнова рассказала:
Для расшифровки одной страницы архивного рукописного текста профессионалу может потребоваться до получаса времени. Наш сервис справляется с этим за несколько секунд. В перспективе технологию можно использовать и для решения других задач в продуктах Яндекса.