Внутри схватки Меты и ИИ: кто победит?

25 апреля (Рейтер) — Когда лето 2022 года подошло к концу, генеральный директор Meta Марк Цукерберг собрал своих главных помощников для пятичасового анализа вычислительных мощностей компании, сосредоточив внимание на ее способности выполнять передовые работы в области искусственного интеллекта, согласно в служебной записке компании от 20 сентября, рассмотренной Reuters.

У них была непростая проблема: несмотря на громкие инвестиции в исследования ИИ, гигант социальных сетей не спешил внедрять дорогостоящие аппаратные и программные системы, совместимые с ИИ, для своего основного бизнеса, что ограничивало его способность идти в ногу с масштабными инновациями. все больше полагалась на ИИ для поддержки своего роста, согласно служебной записке, заявлениям компании и интервью с 12 людьми, знакомыми с изменениями, которые говорили на условиях анонимности для обсуждения внутренних вопросов компании.

«У нас есть значительный пробел в наших инструментах, рабочих процессах и процессах, когда дело доходит до разработки для ИИ. Нам нужно вкладывать значительные средства в это», — говорится в меморандуме, написанном новым руководителем инфраструктуры Сантошем Джанарданом, который был размещен на внутренней доске объявлений Meta. в сентябре и сообщается сейчас впервые.

Для поддержки работы ИИ потребуется, чтобы Meta (META.O) «принципиально изменила дизайн нашей физической инфраструктуры, наши программные системы и наш подход к обеспечению стабильной платформы», — добавил он.

Уже больше года Meta занимается масштабным проектом по приведению в форму своей инфраструктуры искусственного интеллекта. Хотя компания публично признала, что «немного догоняет» тенденции в области аппаратного обеспечения ИИ, подробности капитального ремонта, включая нехватку мощностей, смену руководства и свернутый проект чипа ИИ, ранее не сообщались.

Отвечая на вопрос о меморандуме и реструктуризации, представитель Meta Джон Карвилл сказал, что компания «имеет проверенный опыт создания и развертывания современной инфраструктуры в масштабе в сочетании с глубоким опытом в исследованиях и разработке ИИ».

«Мы уверены в своей способности продолжать расширять возможности нашей инфраструктуры для удовлетворения наших краткосрочных и долгосрочных потребностей, поскольку мы внедряем новые возможности на основе ИИ в наше семейство приложений и потребительских продуктов», — сказал Карвилл. Он отказался комментировать, отказалась ли Meta от своего ИИ-чипа.

Джанардхан и другие руководители не удовлетворили запросы на интервью, сделанные через компанию.

Капитальный ремонт увеличил капитальные затраты Meta примерно на 4 миллиарда долларов в квартал, согласно раскрытиям компании, что почти вдвое больше, чем расходы по состоянию на 2021 год, и привел к приостановке или отмене ранее запланированного строительства центров обработки данных в четырех местах.

Эти инвестиции совпали с периодом серьезного финансового кризиса для Meta, которая с ноября увольняет сотрудников в масштабах, невиданных со времен краха доткомов.

Между тем, поддерживаемое Microsoft приложение OpenAI ChatGPT стало самым быстрорастущим потребительским приложением в истории после своего дебюта 30 ноября, вызвав гонку вооружений среди технологических гигантов за выпуск продуктов с использованием так называемого генеративного ИИ, который, помимо распознавания закономерностей в таких данных, как другой ИИ создает человекоподобный письменный и визуальный контент в ответ на подсказки.

По словам пяти источников, генеративный ИИ поглощает огромное количество вычислительной мощности, усиливая неотложность проблемы с производительностью Meta.

ОТСТАВАЯ

По словам этих пяти источников, основной источник проблем можно проследить до запоздалого использования Meta графического процессора или графического процессора для работы ИИ.

Чипы GPU идеально подходят для обработки искусственного интеллекта, поскольку они могут выполнять большое количество задач одновременно, сокращая время, необходимое для обработки миллиардов фрагментов данных.

Тем не менее, графические процессоры также дороже, чем другие чипы, при этом производитель чипов Nvidia Corp (NVDA.O) контролирует 80% рынка и сохраняет лидерство в сопутствующем программном обеспечении, говорят источники.

Nvidia не ответила на запрос о комментариях для этой истории.

Вместо этого до прошлого года Meta в основном выполняла рабочие нагрузки ИИ, используя парк стандартных центральных процессоров (ЦП) компании, рабочих лошадок вычислительного мира, которые десятилетиями заполняли центры обработки данных, но плохо выполняли работу ИИ.

По словам двух из этих источников, компания также начала использовать собственный собственный чип, который она разработала для логического вывода, — процесс искусственного интеллекта, в котором алгоритмы, обученные на огромных объемах данных, выносят суждения и генерируют ответы на подсказки.

К 2021 году этот двусторонний подход оказался медленнее и менее эффективным, чем подход, основанный на графических процессорах, которые также были более гибкими в работе с различными типами моделей, чем чипы Meta.

Meta отказалась комментировать производительность своего ИИ-чипа.

По мере того, как Цукерберг переводил компанию в сторону метавселенной — набора цифровых миров с дополненной и виртуальной реальностью — нехватка мощностей замедляла ее способность развертывать ИИ для реагирования на угрозы, такие как рост конкурента в социальных сетях TikTok и конфиденциальность рекламы во главе с Apple. изменения, сказали четыре источника.

Спотыкания привлекли внимание бывшего члена правления Meta Питера Тиля, который ушел в отставку в начале 2022 года без объяснения причин.

На заседании совета директоров перед своим уходом Тиль сказал Цукербергу и его руководителям, что они самоуспокоены по поводу основного бизнеса Meta в социальных сетях, но слишком много внимания уделяют метавселенной, которая, по его словам, делает компанию уязвимой для вызовов со стороны TikTok, согласно двум источникам, знакомым с обмен.

Мета отказался комментировать разговор.

НАСТИГНУТЬ

По словам одного из источников, после прекращения крупномасштабного развертывания собственного специализированного чипа логического вывода Meta, которое было запланировано на 2022 год, руководители вместо этого изменили курс и в том же году разместили заказы на графические процессоры Nvidia на миллиарды долларов.

Мета отказалась комментировать заказ.

К тому времени Meta уже на несколько шагов отставала от конкурентов, таких как Google, который в 2015 году начал развертывание собственной версии графических процессоров под названием TPU.

Той весной руководители также приступили к реорганизации подразделений ИИ в Meta, назначив в процессе двух новых руководителей инженерного отдела, в том числе Джанардана, автора сентябрьского меморандума.

Согласно их профилям в LinkedIn и источнику, знакомому с увольнениями, более дюжины руководителей покинули Meta во время многомесячных потрясений, что означает почти полную смену руководства в инфраструктуре ИИ.

Затем Meta приступила к переоснащению своих центров обработки данных для размещения поступающих графических процессоров, которые потребляют больше энергии и выделяют больше тепла, чем центральные процессоры, и которые должны быть тесно сгруппированы вместе со специализированной сетью между ними.

Объектам требовалось в 24-32 раза больше сетевых ресурсов и новые системы жидкостного охлаждения для управления теплом кластеров, что требовало их «полной переделки», согласно меморандуму Джанардана и четырем источникам, знакомым с проектом, подробности которого ранее не сообщались. раскрыто.

По мере того, как работа шла полным ходом, Meta планировала начать разработку нового и более амбициозного внутреннего чипа, который, как и графический процессор, был бы способен как обучать модели ИИ, так и выполнять логические выводы. По словам двух источников, проект, о котором ранее не сообщалось, должен быть завершен примерно в 2025 году.

Карвилл, представитель Meta, сказал, что строительство центра обработки данных, которое было приостановлено при переходе на новый дизайн, возобновится в конце этого года. Он отказался комментировать проект чипа.

КОМПРЕССОНЫ

Наращивая мощность своих графических процессоров, Meta на данный момент мало что может показать, поскольку конкуренты, такие как Microsoft и Google, продвигают публичные запуски коммерческих продуктов генеративного ИИ.

Финансовый директор Сьюзан Ли в феврале признала, что Meta не посвящает большую часть своих текущих вычислений генеративной работе, заявив, что «в основном все наши возможности искусственного интеллекта идут на рекламу, каналы и ролики», популярный формат коротких видео, похожий на TikTok. с более молодыми пользователями.

Согласно четырем источникам, Meta не уделяла приоритетное внимание созданию продуктов для генеративного ИИ до запуска ChatGPT в ноябре. По их словам, несмотря на то, что ее исследовательская лаборатория FAIR, или Facebook AI Research, публикует прототипы технологии с конца 2021 года, компания не была сосредоточена на преобразовании своих хорошо зарекомендовавших себя исследований в продукты.

По мере роста интереса инвесторов ситуация меняется. В феврале Цукерберг объявил о создании новой высококлассной команды генеративного ИИ, которая, по его словам, «ускорит» работу компании в этой области.

Технический директор Эндрю Босворт также сказал в этом месяце, что генеративный ИИ был областью, в которой он и Цукерберг проводили больше всего времени, прогнозируя, что Meta выпустит продукт в этом году.

Два человека, знакомые с новой командой, сказали, что ее работа находится на ранней стадии и сосредоточена на создании базовой модели, основной программы, которую позже можно будет настроить и адаптировать для различных продуктов.

Карвилл, представитель Meta, сказал, что компания занимается созданием продуктов для генеративного ИИ в разных командах уже более года. Он подтвердил, что работа ускорилась за несколько месяцев после появления ChatGPT.