Cerebras выпускает модели искусственного интеллекта с открытым исходным кодом

Стартап по производству микросхем искусственного интеллекта Cerebras Systems выпустил модели с открытым исходным кодом, подобные ChatGPT, для исследовательского и бизнес-сообщества, которые они могут использовать бесплатно, чтобы способствовать более тесному сотрудничеству.

Компания Cerebras из Силиконовой долины выпустила семь моделей, обученных на своем суперкомпьютере с искусственным интеллектом под названием Andromeda, от небольших языковых моделей со 111 миллионами параметров до более крупной модели с 13 миллиардами параметров.

«Существует большое движение за то, чтобы закрыть то, что было открытым исходным кодом в области ИИ… это неудивительно, поскольку теперь в этом есть огромные деньги», — сказал Эндрю Фельдман, основатель и генеральный директор Cerebras.

«Возбуждение в сообществе, прогресс, которого мы добились, в значительной степени были связаны с тем, что он был таким открытым».

Модели с большим количеством параметров способны выполнять более сложные генеративные функции.

Чат-бот OpenAI ChatGPT, запущенный в конце прошлого года, например, имеет 175 миллиардов параметров и может создавать стихи и исследования, что помогло привлечь большой интерес и финансирование к ИИ в более широком смысле.

Cerebras заявила, что меньшие модели могут быть развернуты на телефонах или умных колонках, а более крупные — на ПК или серверах, хотя для сложных задач, таких как суммирование больших проходов, требуются модели большего размера.

Однако Карл Фройнд, консультант по чипам в Cambrian AI, сказал, что больше не всегда значит лучше.

«Было опубликовано несколько интересных статей, которые показывают, что (модель меньшего размера) может быть точной, если ее больше тренировать», — сказал Фройнд. «Таким образом, есть компромисс между большим и лучше обученным».

Фельдман сказал, что на обучение его самой большой модели ушло чуть больше недели, а работа, которая обычно может занять несколько месяцев, благодаря архитектуре системы Cerebras, которая включает в себя чип размером с обеденную тарелку, созданный для обучения ИИ.

Сегодня большинство моделей искусственного интеллекта обучаются на чипах Nvidia, но все больше и больше стартапов, таких как Cerebras, пытаются занять свою долю на этом рынке.

По словам Фельдмана, модели, обученные на машинах Cerebras, также можно использовать в системах Nvidia для дальнейшего обучения или настройки.