Компания Nvidia доминирует на рынке ускорителей для ИИ, но это не значит, что её решения самые производительные во всех режимах. К примеру, тесты показывают, что Intel Gaudi 2 может быть в разы быстрее Nvidia H100.
Новые тесты опубликовала вовсе не Intel, а компания Stability AI, что делает их более интересными. В компании решили сравнить новинку Intel с Nvidia H100 и A100 по скорости обучения ИИ в модели Stable Diffusion 3.
Как можно видеть, Gaudi 2 может быть вдвое быстрее H100 и втрое быстрее A100.
При этом в тестах вывода с моделью параметров Stable Diffusion 3 8B ускоритель Gaudi 2 обеспечивает скорость вывода, аналогичную Nvidia A100 с базовым PyTorch. При этом благодаря оптимизации TensorRT ускорители A100 создают изображения на 40% быстрее, чем Gaudi 2.
В тестах модели Stable Beluga 2.5 70B без всяких оптимизаций решение Intel показало на 28% большую производительность, чем у A100.
Таким образом, у нового ускорителя Intel есть немалый потенциал. Конечно, для многих клиентов важна универсальность, экосистема и многое другое, но всё же Intel Gaudi 2 точно может быть альтернативой ускорителям Nvidia. Напомним, вчера глава Nvidia заявил, что даже если конкуренты будут отдавать свои ускорители бесплатно, это будет недостаточно дёшево на фоне решений самой Nvidia.