Компания Cerebras представила третье поколение своей чудовищной микросхемы Wafer Scale Engine (WSE). Её размеры не стали больше, так как расти уже попросту некуда, но характеристики сильно улучшились.
Напомним, для создания микросхемы используется вся 300-миллиметровая полупроводниковая пластина, и в итоге получается чип площадью более 46 000 мм2.
WSE-3 использует тот же принцип, так как на 400-миллиметровые пластины рынок пока не перешёл. В итоге площадь микросхемы та же, как и у первых двух версий, но благодаря переходу на техпроцесс 5 нм (было 7 нм) параметры стали ещё более впечатляющими. Правда, относительно второго поколения рост не такой огромный, как при переходе с первого на второе.
Так, если у WSE-1 было 400 000 ядер, а у WSE-2 — уже 800 000 ядер, то WSE-3 предлагает 900 000 ядер. При этом количество транзисторов выросло намного существеннее: с 2,6 трлн до 4 трлн.
Объём памяти увеличился с 40 до 44 ГБ, а пропускная способность повысилась с 20 до 21 ПБ/с. Всё это обеспечивает производительность ИИ в 125 PFLOPS и способно обучать модели с 24 трлн параметров.
Как и в прошлом поколении, компания сразу предлагает и суперкомпьютер. Называется он CS-3, и представляет собой систему с одной единственной микросхемой WSE-3, но дополненной системой охлаждения, накопителями и блоками питания. Такая установка, по заверению компании, способна обучать модели, которые в 10 раз больше, чем GPT-4 и Gemini.
Уже сейчас известно, что 64 установки CS-3 будут использоваться для суперкомпьютера Condor Galaxy 3, который обеспечит производительность вычислений искусственного интеллекта 8 ExaFLOPS.