Почему модели ИИ дешевеют по мере их совершенствования?

Чат-бот ChatGPT на базе искусственного интеллекта улучшил свою игру за несколько месяцев, прошедших с момента его запуска. По мере развития стремительного успеха три недавних ключевых объявления указывают на то, что, вероятно, начнется быстрая коммерциализация технологии. 14 марта OpenAI запустила Модель ГПТ-4 который поддерживает мультимодальный вывод и превосходит модель GPT-3.5 ChatGPT по сложности рассуждений и производительности. После своего выпуска GPT-4 привлекла широкое внимание и распространение. Затем, 16 марта, Baidu выпустила ERNIE Bot, чат-бота, конкурирующего с ChatGPT. До этого, 1 марта, OpenAI объявила об открытии API ChatGPT (интерфейс прикладного программирования) и снизила затраты на использование на 90%.

По мере развития технологии ИИ стоимость крупномасштабных моделей ИИ, таких как GPT, снижается. Так почему же модели ИИ становятся все более доступными?

Джон Чжан, основатель StarBitech, обсудил этот вопрос с TechNode в формате вопросов и ответов. StarBitech — компания, занимающаяся технологиями активов цифрового контента, основанная в 2015 году, в которую совместно инвестировали Шанхайский научно-исследовательский институт блокчейна Tree-Graph и компания цифровых дисплеев Fengyuzhu. Компания недавно получила поддержку от Microsoft и OpenAI и будет использовать свои сильные стороны в области обработки естественного китайского языка и соответствия местным требованиям для разработки услуг AIGC (контент, созданный ИИ) для создания визуального контента и создания маркетингового контента. Эти сервисы будут поддерживаться GPT, DALL-E и обучением с подкреплением, предоставляя возможности ИИ, ориентированные на маркетинг, игры, анимацию, культуру и туризм, а также правительство.

Почему большие модели ИИ, такие как GPT, становятся все более доступными, и будут ли другие популярные модели следовать этой тенденции?

Снижение стоимости больших моделей ИИ в основном связано с непрерывным развитием технологий и усилением конкуренции. Согласно OpenAI, стоимость использования модели GPT-3.5-turbo, используемой ChatGPT, составляет всего 0,002 доллара США за 1000 токенов (примерно 750 слов), что снижает стоимость использования GPT-3.5 на 90%. «Турбо» в модели GPT относится к оптимизированной версии GPT-3.5, которая имеет более быстрое время отклика.

Значительное снижение затрат на OpenAI могло быть связано с различными оптимизациями, включая корректировку архитектуры модели, эффективности алгоритма и графического процессора на уровне бизнеса, модели, квантования, уровня ядра и уровня компилятора.

Корректировки архитектуры модели в основном относятся к таким методам, как обрезка, квантование и точная настройка для уменьшения размера модели. Эти меры помогают повысить его производительность и точность при одновременном снижении затрат на вычисления и параметры, а также времени и стоимости вывода.

Используя эффективные алгоритмы и параллельные вычисления на графическом процессоре, компании могут ускорить вычисления и повысить эффективность вычислений, повышая эффективность алгоритмов и оптимизацию графического процессора. Под оптимизацией бизнес-уровня понимается оптимизация производительности и эффективности всей системы за счет использования методов кэширования и прогнозирования для уменьшения задержек и повторных вызовов. Оптимизация на уровне модели может быть достигнута за счет оптимизации структуры сети. Оптимизация квантования может быть достигнута за счет снижения вычислительных затрат и затрат на параметры за счет использования вычислений с низкой точностью. Оптимизация на уровне компилятора использует эффективные компиляторы для оптимизации выполнения кода и эффективности вычислений.

Кроме того, по мере того, как все больше и больше компаний и исследовательских институтов входят в область крупных моделей ИИ, таких как LaMDA от Google (137 млрд) и PaLM (540 млрд), Gopher от DeepMind (280 млрд), BLOOM от BigScience (175 млрд), OPT от Meta (175 млрд), TNLG v2 (530B) NVIDIA и GLM-130B (130B) Университета Цинхуа, рыночная конкуренция стала интенсивной, а также началась ценовая конкуренция. Этот фактор привел к постоянному снижению цен на модели ИИ. (Числа в скобках представляют параметры этих моделей ИИ.)

Будут ли другие основные модели следовать этой тенденции снижения цен или нет, зависит от их масштаба и производительности, а также от уровня спроса на них. Если эти модели сопоставимы по масштабу и производительности с моделью GPT-3 и на них имеется высокий рыночный спрос, на них также может быть снижена цена. Однако, если эти модели меньше по размеру, ниже по производительности или спрос ослабевает, цены могут не снизиться значительно.

В долгосрочной перспективе, с непрерывным развитием технологий и прогрессом программного и аппаратного обеспечения, стоимость обработки больших объемов данных и моделей обучения будет постепенно снижаться, а цены на большие языковые модели будут следовать. Кроме того, по мере того, как все больше и больше компаний и организаций обращаются к большим языковым моделям, рыночная конкуренция будет снижать цены. Конечно, конкретные масштабы и сроки такого снижения цен нельзя предопределить, поскольку они зависят от взаимоотношений с поставщиками и качества моделей на рынке. Конечно, для некоторых моделей высокого класса цена может оставаться на плаву, поскольку высококачественные, высокопроизводительные модели с высокой добавленной стоимостью могут потребовать больше вычислительных ресурсов и профессиональных знаний.

Стали ли эти большие модели ИИ более мощными и интеллектуальными, в то время как они стали более доступными? Согласны ли вы с заявлением генерального директора OpenAI Сэма Альтмана о новом законе Мура для ИИ, который гласит, что общий объем интеллекта ИИ удваивается каждые 18 месяцев?

Я согласен с новым законом Мура для ИИ — снижение затрат и увеличение количества приложений также увеличит объем языковых данных и корпусов, которые может выучить ИИ, тем самым расширив его возможности. Начиная с 2022 года глобальная интернет-среда вступила в новую эру крупномасштабного интеллекта ИИ, где постоянно проводится «тестирование Тьюринга». В отличие от искусственного интеллекта, основанного на изображениях последних лет, искусственный интеллект, основанный на языке, больше похож на человеческий мозг с более широким и глубоким диапазоном влияний. Однако текущий уровень возможностей искусственного интеллекта по-прежнему во многом зависит от аппаратного обеспечения, особенно от высокопроизводительных возможностей графического процессора, и его поставок. Следовательно, развитие ИИ сильно положительно коррелирует с законом Мура о микросхемах.

Какие ключевые факторы способствуют снижению затрат на крупные модели ИИ?

1. Алгоритмические улучшения. Новые технологии постоянно совершенствуются и развиваются. Они более эффективно используют вычислительные ресурсы и данные, что снижает затраты на обучение и вывод.

2. Усовершенствования аппаратного обеспечения. Благодаря достижениям в области аппаратных технологий, таким как появление специализированных микросхем, таких как GPU и TPU, доступна более эффективная вычислительная мощность для ускорения процессов обучения и логических выводов, что снижает затраты.

3. Размер набора данных: это очень важно для обучения ИИ. Наборы данных большего размера и более высокого качества предоставляют больше информации, что приводит к повышению точности и обобщению моделей. Кроме того, более эффективные методы обработки и хранения данных могут помочь снизить затраты на данные.

4. Многоразовые предварительно обученные модели. Предварительно обученные модели стали важным способом обучения больших моделей. Такие модели, как BERT и GPT, уже продемонстрировали свои возможности. Эти модели могут служить базовыми моделями для обучения других моделей, сокращая время и затраты на обучение.

5. Распределенные вычисления. Разбивка процесса обучения на несколько задач и выполнение их на нескольких компьютерах может значительно сократить время и затраты на обучение.