Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library

Компания Intel открыла исходный код своей библиотеки ускорения NPU Acceleration Library, позволяющей компактным моделям искусственного интеллекта работать непосредственно на блоках NPU в процессорах Meteor Lake. 

Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library

Библиотека создана на языке Python и призвана помочь разработчикам улучшить свои продукты при условии запуска их на блоках NPU новейших процессоров Intel. Библиотека позволяет запускать компактные языковые модели вроде Gemma-2b или TinyLlama прямо на NPU, не требуя никакого облачного сервера. Собственно, это именно то, зачем вообще в процессорах нужны аппаратные блоки NPU, и то, чего на данный момент не хватает.  

Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library

Напомним, блоки NPU есть в процессорах Intel Meteor Lake и AMD Ryzen 7040/8040. Пока что для большинства пользователей эти блоки совершенно бесполезны.  


Источник