10.06.19
Машины захватили планету, используя людей в качестве батареек. Этот безрадостный сюжет из фильма «Матрица» известен всем. Но это художественный вымысел, а сколько энергии в реальности необходимо передовым нейросетям для обучения — задались вопросом ученые из Массачусетского университета.
В своей работе сотрудники колледжа информатики и компьютерных наук в Амхерсте изучили работу четырех самых продвинутых программ машинного обучения на нейронных сетях. Программы Transformer, ELMo, BERT и GPT-2 уже достигли определенных успехов в машинном переводе, тестах на завершение предложений и других испытаниях.
Оказалось, что чем сложнее были программы, тем больше мощности они потребляли, и тем больше энергии тратили. Соответственно увеличивая объёмы вредных выбросов. Ученые выяснили — в процессе машинного обучения выделяется в пять раз больше углекислого газа, чем при использовании одного автомобиля за весь срок его службы.
Причем в случае с автомобилем в расчет брались и вредные выбросы еще при сборке. Сравнение явно не в пользу ИИ: эквивалентный объем выбросов углекислого газа от автомобиля — 57,15 тыс. кг, а модель Transformer с использованием нейронной сети для обучения — 284 тыс. кг. Но и это еще не все. Как отмечают авторы исследования:
«Тренировка одной модели — это минимальный объем работы, который вам необходимо проделать. На практике куда более вероятно, что исследователи искусственного интеллекта будут разрабатывать после этого новую модель с нуля или же адаптировать существующую модель под новый набор данных. И то, и другое потребует множества дополнительных сессий тренировки и настроек»
Нейросетям требуется все больше, и больше энергии для обучения с каждым годом. А значит, выбросы углекислого газа будут увеличиваться. Мир «Матрицы» оказался не очень приветлив к человеку. Так что ученым просто необходимо учитывать в своей работе вред наносимый окружающей среде.
Андрей Горбачев
Нет комментариев