Компания Apple не спешит присоединяться в общей гонке чат-ботов и искусственного интеллекта нового поколения, но работает в этом направлении. В частности, Apple исследует возможности размещения больших языковых моделей непосредственно на мобильных устройствах пользователей.
Apple считает, что такой вариант будет лучше для пользователей, чем онлайн-доступ. Правда, большие языковые модели не зря называются большими — они требуют огромных вычислительных ресурсов и большого объёма оперативной памяти.
Идея купертинцев заключается в том, чтобы хранить языковые модели на флеш-памяти, объём которой на порядок-два больше, чем объём ОЗУ. Метод под названием Windowing подразумевает в том числе повторное использование моделью некоторых данных, которые она уже обработала, что снижает потребность в непрерывной выборке данных из памяти и ускоряет весь процесс. Метод Row-Column Bundling, в свою очередь, заключается в более эффективной группировке данных, что позволяет модели искусственного интеллекта быстрее считывать данные из флеш-памяти и ускоряет ее обучение.
Эти методы должны позволить ускорить работу модели до пяти раз при задействовании процессора и до 25 раз — при использовании GPU.