Пользователь Twitter Мартин Шкрели из Нью-Йорка сообщил, что, по предварительным оценкам, на обучение GPT-5 потребуется от 2,0 до 2,5 миллиарда долларов. Для этого понадобится 500 000 графических процессоров H100 Tensor Core компании Nvidia. Обучение планируют начать в 2024 году.
Масштабы производства H100/A100 вызывают вопросы. Хватит ли этих графических процессоров для столь масштабной задумки? Примерно 1 миллион H100 планируется произвести к концу этого года, а в следующем году, по оценкам, может быть отгружено до 5 миллионов единиц.
Что касается затрат, есть обоснованные сомнения относительно стоимости самих GPU. Включение цены этих графических процессоров в расходы на обучение может вводить в заблуждение, поскольку GPU остаются в рабочем состоянии после того как процесс обучения нейросети завершается. Только стоимость самих GPU может составить 20 миллиардов долларов.
Стоит отметить, что максимальная производственная мощность компании Sustainable Metal Cloud (SMC) по производству H100 составляет в настоящее время 15 000 единиц в месяц, но они увеличили производство примерно до 50 000 единиц в месяц.
Что касается расходов на электроэнергию, они представляют собой относительно небольшую долю от общих затрат на вычислительные мощности. Для сравнения, 6 000 000 кВт⋅ч составляют примерно 1 миллион долларов.
Приобретение 500 000 H100 к следующему году представляется сложной задачей, даже при поддержке Microsoft.
Нужно заметить, что дела Nvidia на рынке в 2023 году, идут очень даже неплохо. За это год их прибыль утроилась и превысила 1 триллион долларов. Этот рост можно в значительной степени приписать активному использованию чипов Nvidia в AI-приложениях.
По данным старшего обозревателя Tae Kim из Barron’s, Nvidia получает прибыль, почти в тысячу раз превышающую себестоимость каждого проданного графического ускорителя H100.
