Стартап делится своим видением ИИ

Модуль ускорителя M.2 AI Edge (на фото) содержит один чип Metis AI Processing Unit (AIPU), а карта ускорителя PCIe AI Edge содержит четыре AIPU.

Компания заявляет, что аппаратно-программная платформа Metis AI предназначена для ускорения компьютерного зрения на периферии от оценки до циклов разработки.

Metis AIPU основан на четырехъядерной архитектуре. Каждое ядро ​​может выполнять все уровни стандартной нейронной сети без внешних взаимодействий, обеспечивая до 53,5 TOPS вычислительной мощности ИИ для совокупной пропускной способности 214 TOPS.

Ядра могут быть объединены для повышения пропускной способности или работать независимо в одной и той же нейронной сети для уменьшения задержки. Другой вариант — одновременная обработка различных нейронных сетей для приложений с конвейерами нейронных сетей.

Механизм D-IMC на основе SRAM описывается компанией как «радикально иной подход к умножению матриц на вектор», который составляет 70-90% всех операций глубокого обучения. «Массивы запоминающих устройств с перекладинами используются для хранения матрицы и параллельного выполнения умножения матрицы на вектор без промежуточного перемещения данных», — пояснил Пол Нил, вице-президент по управлению продуктами в Axcelera AI.

«Эти массивно-параллельные «вычисления на месте» способствуют замечательной энергоэффективности архитектуры», — добавил он. Движок ускоряет операции умножения матрицы на вектор, обеспечивая энергоэффективность 15 TOPs/Вт при точности INT8. Изо-точность FP32 достигается без необходимости переобучения моделей нейронных сетей, добавил Axelera AI.

Четыре ядра интегрированы в SoC, включая контроллер RISC-V, интерфейс PCIe, контроллер LPDDR4X и комплекс безопасности, подключенный через высокоскоростную сеть на кристалле (NoC). NoC также соединяет ядра с многоуровневой иерархией общей памяти, состоящей из более чем 52 Мбайт встроенной высокоскоростной памяти. Контроллер LPDDR4 подключается к внешней памяти, что обеспечивает поддержку более крупных нейронных сетей.

Интерфейс PCIe обеспечивает высокоскоростное подключение к внешнему хосту, который перенесет полные приложения нейронной сети на Metis AIPU.

Карта PCIe питается от четырех Metis AIPU и обеспечивает до 856 TOP.

Существует также стек программного обеспечения Voyager SDK (комплект для разработки программного обеспечения), который включает в себя встроенный компилятор, стек времени выполнения и инструменты оптимизации, которые позволяют клиентам импортировать свои собственные модели.

Шаблоны приложений ускоряют разработку; клиенты могут выбирать из шаблонов в библиотеке нейронных сетей Model Zoo. Шаблоны предназначены для решения общих задач обработки изображений, таких как классификация изображений, сегментация, обнаружение и отслеживание объектов, и оптимизированы для развертывания в AIPU. Нейронные сети можно настраивать, настраивать или развертывать «как есть». Предварительно обученные нейронные сети клиентов также могут быть импортированы.

Voyager SDK автоматически квантует и компилирует нейронные сети, обученные на разных платформах, генерируя код, который работает на платформе искусственного интеллекта Metis. По словам Акселеры AI, оптимизированные сети, работающие на Metis AIPU, неотличимы от сетей, работающих на системах с модулями с плавающей запятой.

Типичные среды приложений варьируются от полностью встроенных вариантов использования до распределенной обработки нескольких видеопотоков 4K на сетевых устройствах.

«Мы работаем с нашими партнерами по разработке, чтобы интегрировать карты M.2 и PCIe в шлюзы и серверные блоки для поддержки сетей камер различных размеров», — сказал Нил. «Мы также работаем с партнерами по разработке над созданием Edge Appliance, объединяющего четыре карты PCIe для обеспечения вычислений уровня центра обработки данных».

Программа раннего доступа открывается сегодня, а модуль и карта будут доступны в начале 2023 года.

Платформа Metis будет представлена ​​на выставке CES 2023 в следующем месяце в Лас-Вегасе, США.