Специалисты Яндекса сравнили качество ответов фирменной нейросети YandexGPT 2 и GPT 3.5. Исследование показало, что в 63% случаев собственная языковая модель Яндекса отвечает на запросы лучше, чем нейросеть компании OpenAI.
Исследование проводилось методом сравнения Side by Side (SBS). Обе нейросети отвечали на один и тот же запрос, а AI-тренеры выбирали лучший ответ, не зная, какая именно модель его сгенерировала. Корзину запросов сформировали из обезличенных обращений пользователей сервисов Яндекса к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тем.
Технический директор «Яндекс Поиска» Алексей Гусаков рассказал:
Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов.
YandexGPT — нейросеть, которая умеет создавать и перерабатывать тексты, предлагать новые идеи и учитывает контекст беседы с пользователем. Она доступна в режиме Алисы «Давай придумаем». Также YandexGPT кратко пересказывает тексты статей из интернета в «Яндекс Браузере» и на 300.ya.ru, обобщает информацию из отзывов о товарах в «Поиске» и на «Маркете», помогает создавать описания товаров продавцам «Маркета» и не только. Нейросеть можно протестировать в собственном бизнесе — для этого нужно оставить заявку на доступ к API.