Новое исследование: скорость ответов искусственного интеллекта на вопросы пользователей – удивительные результаты!

Группа MLCommons по бенчмаркингу искусственного интеллекта выпустила новый набор тестов и результатов, которые оценивают скорость работы аппаратных средств верхнего уровня при запуске приложений и обработке запросов пользователей.

Два новых бенчмарка, добавленных MLCommons, измеряют скорость, с которой микросхемы и системы искусственного интеллекта могут обрабатывать запросы от мощных моделей искусственного интеллекта, наполненных данными. Результаты примерно демонстрируют, насколько быстро приложение ИИ, например ChatGPT, может дать ответ на запрос пользователя.

Один из новых бенчмарков добавил возможность измерить скорость сценария вопрос-ответ для моделей языка большого объема. Названный Llama 2, он включает 70 миллиардов параметров и был разработан Meta Platforms.

Представители MLCommons также добавили в список инструментов бенчмаркинга второй генератор текста в изображение на основе модели Stable Diffusion XL от Stability AI.

Серверы на основе микросхем Nvidia H100, разработанные компаниями Google, Supermicro и самой Nvidia, уверенно выиграли оба новых бенчмарка по сырой производительности. Несколько производителей серверов представили дизайны на основе менее мощной микросхемы L40S компании.

Производитель серверов Krai представил дизайн для бенчмарка генерации изображений с чипом искусственного интеллекта Qualcomm, потребляющим значительно меньше энергии, чем передовые процессоры Nvidia.

Intel также представила дизайн на основе своих ускорителей Gaudi2. Компания описала результаты как “надежные”.

Сырая производительность – не единственный критерий, который важен при развертывании приложений искусственного интеллекта. Продвинутые чипы ИИ потребляют огромное количество энергии, и одной из самых значительных проблем для компаний в области ИИ является развертывание чипов, обеспечивающих оптимальное соотношение производительности и энергопотребления.

У MLCommons есть отдельная категория бенчмарков для измерения потребления энергии.
Оригинальная новость на сайте