Исследование: вычислительные мощности для обучения искусственного интеллекта создают большой углеродный след
Алгоритмы искусственного интеллекта, которые используются в некоторых из самых передовых технологических приложений, таких как написание связных отрывков текста или создание изображений из описаний, могут потребовать огромных вычислительных мощностей для обучения. А это, в свою очередь, требует большого количества электроэнергии, что заставляет многих беспокоиться о том, что углеродный след этих все более популярных сверхмощных систем искусственного интеллекта делает их экологически неустойчивыми.
Новое исследование, проведенное учеными Калифорнийского университета в Беркли и Google, в которых используются многие из этих крупных систем ИИ, дает наиболее точные на сегодняшний день оценки углеродного следа некоторых из этих современных систем.
Например, GPT-3, мощная языковая модель, созданная компанией OpenAI в области искусственного интеллекта из Сан-Франциско, во время обучения произвела эквивалент 552 метрических тонн углекислого газа, согласно исследованию. Это столько же, сколько можно было бы произвести, управляя 120 легковыми автомобилями в течение года. Усовершенствованный чат-бот Google Мина потреблял 96 метрических тонн эквивалента углекислого газа, или примерно столько же, сколько потребляло более 17 домов в течение года.
Хотя эти цифры пугающе велики, они меньше, чем некоторые предыдущие оценки исследователей, которые не имели доступа к такой же подробной информации внутри Google и OpenAI. Исследовательский документ, который был размещен в репозитории нерецензируемых исследований arxiv.org в среду, также показывает, что воздействие ИИ на климат можно смягчить.
Исследователи приходят к выводу, что углеродный след от обучения этих алгоритмов сильно различается в зависимости от дизайна алгоритма, типа компьютерного оборудования, используемого для его обучения, и характера выработки электроэнергии там, где это обучение происходит.
Исследователи из Google обнаружили, что изменение всех трех этих факторов может снизить углеродный след от обучения одного из этих очень больших алгоритмов искусственного интеллекта до 1000 раз. Простое изменение центра обработки данных, используемого для обучения алгоритма, с места, где выработка электроэнергии требует интенсивного использования угля, например, в Индии, на место, где электрическая сеть работает на возобновляемых источниках энергии, например в Финляндии, может уменьшить его в 10-100 раз.
"Это похоже на старую шутку о трех самых важных вещах в сфере недвижимости: место расположение, место расположение и место расположение", - говорит Дэвид Паттерсон, исследователь из Google.
Паттерсон, который также является почетным профессором Калифорнийского университета в Беркли, говорит, что это, в конечном счете, хорошая новость, потому что большинство алгоритмов ИИ обучаются "в облаке", а фактическая обработка происходит в центрах обработки данных, которые могут находиться в сотнях или даже тысячах миль от места, где находится человек, создающий систему. "В облачных вычислениях легче всего изменить местоположение ", - говорит он.
Но если экологическая устойчивость станет основным критерием при обучении систем искусственного интеллекта, это также должно еще больше укрепить рыночные позиции крупнейших поставщиков облачных услуг. Потому что такие компании, как Microsoft, Google, IBM и Amazon Web Services, имеют десятки центров обработки данных во многих разных местах, в том числе в областях с более низкими средними температурами, что снижает затраты на охлаждение всех серверных стоек и снижает потребление энергии.
Воздействие на окружающую среду сверхмощных систем ИИ, предназначенных для обработки языка, было одним из критических замечаний в отношении таких алгоритмов, выдвинутых группой специалистов по этике ИИ внутри Google, которые сыграли роль в событиях, которые ускорили отставку Тимнита Гебру и последующее увольнение Маргарет Митчелл, два соруководителя исследовательской группы по этике ИИ.
Джефф Дин, старший исполнительный вице-президент Google, который возглавляет исследовательское подразделение компании и которого Гебру и ее сторонники упрекали за свою роль в ее отстранении, является одним из девяти авторов, упомянутых в новом исследовательском документе по сокращению выбросов углекислого газа этих систем ИИ. Одно из его предполагаемых критических замечаний в отношении более ранней статьи Гебру заключается в том, что в ней не обсуждались способы смягчения негативного этического воздействия крупных языковых моделей.
Помимо перехода в место с более экологичной электросетью, еще одним способом сократиить энергопотребление этих моделей является использование компьютерных микросхем, специально разработанных для нейронных сетей, своего рода программного обеспечения для машинного обучения, смоделированного на основе человеческого мозга, который за это отвечает.
Сегодня большинство рабочих нагрузок искусственного интеллекта обучаются на компьютерных микросхемах, которые изначально были разработаны для рендеринга графики в видеоиграх. Но все больше новых видов компьютерных микросхем, предназначенных только для нейронных сетей, устанавливается в центрах обработки данных, управляемых крупными компаниями, занимающимися облачными вычислениями, такими как Google, Microsoft и Amazon Web Services.
Переход от графических процессоров к этим новым специализированным микросхемам для нейронных сетей может сократить в пять раз потребление энергии, необходимой для обучения сверхмощного алгоритма, и ее можно снова сократить вдвое, перейдя с самого раннего поколения этих новых чипов ИИ к последним их версиям, как выяснили исследователи.
Еще большую экономию - в 10 раз - можно получить, изменив сами алгоритмы нейронной сети так, чтобы они стали тем, что компьютерные ученые называют "разреженными". Это означает, что большинство искусственных нейронов в сети подключаются к относительно небольшому количеству других нейронов, и поэтому требуется меньшее количество этих нейронов для обновления того, как они взвешивают данные для каждого нового примера, с которым алгоритм сталкивается во время обучения.
Мод Тексье, еще один исследователь Google, работавший над исследованием, надеется, что результаты исследования помогут подтолкнуть всю отрасль к стандартизированным тестам для измерения энергопотребления и углеродного следа алгоритмов искусственного интеллекта.
Но чтобы получить точную оценку углеродного следа, важно знать не только, насколько экологична электрическая сеть в каком-либо конкретном месте в целом, но и точно, какова была комбинация возобновляемой энергии и электроэнергии на основе ископаемого топлива в определенные часы, когда алгоритм ИИ проходил обучение. По словам эксперта, получить эту информацию от поставщиков облачных услуг было сложно, хотя крупные компании, предоставляющие облачные услуги, начинают предоставлять клиентам более подробную информацию о выбросах углекислого газа.
