Жизнь без GPU: архитектура NPU (ИИ-ускорителей) и их практическое применение

Нейронные процессоры (NPU) для локального инференса нейросетей позволяют ускорить выполнение ИИ-задач, минимизировать задержки и снизить энергопотребление пользовательских устройств. 

В докладе разберем общие принципы работы NPU и архитектуру ключевых компонентов, таких как блоки умножения и накопления (MAC). Рассмотрим одну из ведущих реализаций NPU — NVIDIA Deep Learning Accelerator (DLA) — и особенности применения NPU на базе System-on-Chip (SoC) от известной китайской компании Rockchip.