Компания Toshiba Memory Corporation объявила о разработке высокоскоростного и высокоэффективного алгоритма и аппаратной архитектуры для задачи глубокого обучения с уменьшенным снижением точности распознавания. Новый процессор для глубокого обучения, реализованный в FPGA, в четыре раза превосходит «обычные» по энергетической эффективности.
Глубокое обучение обычно требует большого количества операций совмещенного умножения-сложения (MAC), что увеличивает время вычислений и потребление энергии. Предложенные ранее методы решения этой проблемы построены на уменьшении разрядности параметров, но они приводят к ухудшению точности распознавания. Алгоритм, разработанный Toshiba Memory, построен на оптимизации битовой точности операций MAC для отдельных фильтров в каждом слое нейронной сети. Как утверждается, это позволяет повысить скорость, не допуская значительного ухудшения точности распознавания.
Кроме того, специалисты Toshiba Memory разработали новую аппаратную архитектуру, которая подходит для операций MAC с различной разрядностью операндов. Она делит операнды на отдельные разряды и может выполнять однобитовые операции параллельно. Это значительно повышает эффективность использования блоков MAC в процессоре по сравнению с обычными архитектурами MAC, в которых действия выполняются последовательно.