Специалисты Loup Ventures решили провести очередное тестирование самых популярных умных колонок, чтобы оценить возможности их голосовых ассистентов на данный момент и прогресс за год.
Итак, в тестировании принимали участие Amazon Echo (Alexa), Google Home (Google Assistant), HomePod (Siri) и Harman Kardon Invoke (Cortana). Для начала отметим итоговый результат. Лидером является детище Google. Assistant корректно понял 100% вопросов (всего их было 800) и правильно ответил на 87,9%. У Siri соответствующие показатели составляют 99,6% и 74,6%, у Alexa — 99% и 72,5%, у Cortana — 99,4% и 63,4%. Стоит отметить, что возможности, к примеру, той же Siri в HomePod ограничены, поэтому данное тестирование актуально именно для голосовых ИИ в умных колонках.
Если же говорить более конкретно, вопросы относились к пяти категориям: локальные, коммерческие, информационные, команды и навигация. Результаты вы можете видеть на диаграмме ниже.
Как можно видеть, в некоторых задачах сильнее одно решение, в некоторых — другое. К примеру, у Alexa отличный результат в информационных вопросах, но посредственный в коммерческих, а у Cortana в последнем режиме и вовсе провал. В целом с задачами что-то заказать или забронировать хорошо справляется только Google Assistant.
Не менее интересным является и прогресс за год. Его можно оценить по изображениям ниже.
К примеру, хорошо видно, что Apple совершила просто прорыв в навигационных возможностях Siri и HomePod, а вот в коммерческих вопросах всё стало даже хуже, чем ранее.