Обнародованные данные: обучение модели GPT-3 требует 1000 мегаватт-часов энергии, что соответствует годовому потреблению энергии 200 немецких домохозяйств с тремя или более членами семьи. Однако, несмотря на это, модель GPT-3 не смогла понять глубинный смысл некоторых фраз.
Новость: Открытая компания Open AI, разработчик искусственного интеллекта, не предоставила информацию о количестве энергии, требуемом для обучения модели GPT-3, используемой для создания чат-бота ChatGPT. По данным немецкой статистической компании Statista, для обучения этой модели требуется 1000 мегаватт-часов энергии, что примерно равно годовому потреблению энергии 200 немецких домохозяйств с тремя или более людьми. Несмотря на большой расход энергии, модель GPT-3 не способна понять глубинный смысл некоторых фраз, хотя она может определить, следует ли за словом “глубокий” слово “море” или “обучение” по своим наборам данных.
В последние годы несколько исследовательских институтов занимались разработкой концепции нейроморфных компьютеров, которые позволяют сократить энергопотребление, включая приложения искусственного интеллекта. Нейроморфные компьютеры оперируют совершенно новым способом обработки данных в будущем, отличным от искусственных нейронных сетей, которые работают на обычных цифровых компьютерах. Это позволяет снизить энергопотребление и улучшить эффективность обучения. Флориан Марквардт, директор Макс-Планка-института по науке о свете и профессор университета Эрлангена, совместно с докторантом Виктором Лопес-Пастором разработал эффективный метод обучения для нейроморфных компьютеров. Они создали концепцию самообучающейся физической машины, которая позволяет оптимизировать параметры машины самостоятельно в процессе обучения. Этот метод не только экономит энергию, но и сокращает время вычислений.
Основная идея заключается в том, чтобы обучение проводилось в форме физического процесса, в котором параметры машины оптимизируются самим процессом. При этом не требуется внешней обратной связи, что делает обучение намного более эффективным. Ключевым требованием для применения этого метода является возможность обратимого процесса, который может работать вперед и назад с минимальными потерями энергии. Такие процессы можно найти в оптике, где компоненты оптических нейроморфных компьютеров регулируют тип и силу взаимодействия. Марквардт и Лопес-Пастор уже сотрудничают с экспериментальной группой, разрабатывающей оптический нейроморфный компьютер, и надеются представить первую самообучающуюся физическую машину через три года.
Согласно физику Флориану Марквардту, использование самообучающихся физических машин в развитии искусственного интеллекта может снизить энергопотребление и улучшить эффективность обучения, что делает их перспективными для замены традиционных цифровых компьютеров. Он уверен, что в нескольких леттерах будут созданы нейронные сети, способные мыслить с использованием гораздо большего количества синапсов и обучаться с помощью гораздо больших объемов данных, чем сегодняшние модели. Это может привести к еще большему желанию использовать нейроморфные компьютеры в области искусственного интеллекта.
