«Научную» нейросеть Galactica пользователи быстро научили плохому — она должна была генерировать тексты и помогать в написании статей

В минувший вторник Meta* AI и Papers with Code запустили демо-версию новой языковой модели Galactica на базе нейросети. Эта система предназначалась для «хранения, объединения и анализа научных знаний». Однако через несколько дней систему закрыли, поскольку пользователи начали генерировать с её помощью совершенную чепуху.

«Научную» нейросеть Galactica пользователи быстро научили плохому — она должна была генерировать тексты и помогать в написании статей
Так выглядел интерфейс на старте

Разработчики планировали, что нейросеть поможет писать научные статьи, конспекты и так далее. Технические «Галактика» представляет собой подобие GPT-3 от OpenAI. Сервис включает 120 миллиардов параметров, его можно запустить на одном графическом процессоре NVIDIA A100.

Утверждалось, что Galactica обучается на высококачественном наборе научных данных NatureBook, чтобы работать с терминологией, формулами и исходными кодами.

Однако пользователи, по данным СМИ, начали генерировать контент с расистским и оскорбительным содержанием, а также создавать наукоподобные статьи с потенциально опасными последствиями. Например, один из пользователей сгенерировал вымышленную исследовательскую статью под названием «Преимущества употребления в пищу измельчённого стекла».

Также были и другие проблемы — Galactica не всегда корректно указывала даты тех или иных событий, названия животных и так далее. В итоге пришлось удалить демо-версию, хотя сайт работает.

«Научную» нейросеть Galactica пользователи быстро научили плохому — она должна была генерировать тексты и помогать в написании статей
Так интерфейс выглядит сейчас

Подобная ситуация была с чат-ботом Microsoft ещё в 2016 году. Его запустили в Twitter, после чего пользователи быстро научили его расистскому поведению.

*Компания Meta признана экстремистской на территории РФ