Пионер искусственного интеллекта поделился своими опасениями

В январе британо-американский компьютерный ученый Стюарт Рассел стал первым, кто подписал открытое письмо, призывающее исследователей задуматься глубже о своем стремлении создавать искусственный интеллект мощнее и мощнее. «Мы рекомендуем проведение расширенных исследований, направленных на обеспечение надежности и доброжелательности систем ИИ с растущей мощностью, - было указано в письме. - Наши системы ИИ должны делать то, что мы хотим, чтобы они делали».

Тысячи людей подписали это письмо, включая ведущих исследователей искусственного интеллекта из Google, Facebook, Microsoft и других промышленных центров, а также ведущих компьютерных ученых, физиков и философов по всему миру. К концу марта порядка 300 исследовательских групп начали проводить новые исследования по «сохранению доброжелательности искусственного интеллекта» на средства 37 подписанта письма, изобретателя-предпринимателя Элона Маска.

Расселл, 53 года, является профессором компьютерных наук и основателем Центра интеллектуальных систем в Калифорнийском университете в Беркли и давно изучает мощь и опасность думающих машин. Он автор более 200 работ и стандартного учебника в этой сфере, «Искусственный интеллект: современный подход» (в соавторстве с Питером Норвигом). Однако быстрый прогресс в сфере ИИ придал старым опасениям Расселла существенную актуальность.

За последнее время, говорит он, искусственный интеллект добился больших успехов, отчасти благодаря алгоритмам нейронного обучения. Они используются в программном обеспечении распознавания лиц Facebook, персональными ассистентами смартфонов и самоуправляемыми автомобилями Google. Не так давно на весь мир прогремела сеть искусственный нейронов, которая научилась играть в видеоигры Atari лучше человека за пару часов, взяв за основу лишь данные, представленные на экране, и цель набрать максимум очков - никаких заранее запрограммированных знаний об инопланетянах, патронах, право, лево, низ, верх.

«Если бы ваш новорожденный ребенок сделал такое, вы бы подумали, что он одержим», - говорит Расселл.

Журнал Quanta Magazine взял у Расселла интервью во время завтрака на встрече Американского физического сообщества в марте 2015 году в Сант-Антонио, штат Техас, за сутки до того, как он должен был держать речь о будущем искусственного интеллекта. В этой обработанной и ужатой версии интервью Расселл размышляет о природе интеллекта и о стремительном приближении проблем, связанных с безопасностью машин.

Вы думаете, что цель вашей области - разработка искусственного интеллекта, который «доказуемо сходится» с человеческими ценностями. Что это значит?

Это намеренно провокационное заявление, поскольку совмещение двух вещей - «доказуемо» и «человеческие ценности» - уже само по себе противоречиво. Вполне может быть, что человеческие ценности останутся загадкой навсегда. Но точно так же, как эти ценности раскрываются в нашем поведении, вы можете надеяться на то, что машина сможет «принять» большинство из них. По углам могут остаться кусочки и части, которые машина не поймет или в которых мы не сможем найти единое мнение среди своих же. Но пока машина будет отвечать правильным требованиям, вы сможете показывать, что она безвредна.

Как вы собираетесь этого добиться?

Вот над каким вопросом я сейчас работаю: в какой момент машина получит максимально похожие ценности на те, которые нужны людям? Я думаю, одним ответом может быть техника под названием «обратное обучение с закреплением». Обычное обучение с закреплением - это процесс, когда вы получаете награды и наказания, а ваша цель - довести процесс до получения максимального числа наград. Это и делает система DQN (играющая в Atari); она получает игровой счет, и ее цель - сделать этот счет выше. Обратное обучение с закреплением - другой способ. Вы видите некое поведение и пытаетесь понять, какой счет это поведение пытается увеличить. К примеру, ваш домашний робот видит, что вы утром выползаете из кровати, чтобы закинуть странный коричневый кружок в шумную машину, проделать сложную операцию с паром и горячей водой, молоком и сахаром, и после этого выглядите счастливым. Система определяет, что часть важной ценности для человека - получить кофе с утра.

В книгах, фильмах и Интернете есть огромное количество информации о человеческих действиях и отношениях к действиям. Это невероятная база данных для машин, которые изучают ценности людей - кто получает медали, кто отправляется за решетку и почему.

Как вы попали в сферу искусственного интеллекта?

Когда я был в школе, ИИ не считался академической дисциплиной по большому счету. Но я учился в школе-интернате в Лондоне, и у меня была возможность не посещать обязательное регби, занимаясь компьютерной наукой в соседнем колледже. Одним из моих проектов была программа, которая учится играть в крестики-нолики. Я потерял всякую популярность, потому что сидел за компьютером колледжа до победного конца. В следующем году я написал шахматную программу и получил разрешение одного из профессоров Императорского колледжа на использование их гигантского мэйнфреймового компьютера. Было невероятно пытаться выяснить, как научить его играть в шахматы.

Тем не менее все это было просто хобби; на тот момент моим академическим интересом была физика. Я занимался физикой в Оксфорде. А когда затем я подался в аспирантуру, то подался на теоретическую физику в Оксфорде и Кембридже и на компьютерные науки в Массачусетском университете и Стэнфорде, не осознавая, что пропустил все сроки для подачи в США. К счастью, Стэнфорд наплевал на сроки, поэтому я прошел в него.

За свою карьеру вы потратили много времени, пытаясь понять, что такое интеллект как необходимое условие, которое могут понять и достичь машины. Что вы узнали?

Во время моего диссертационного исследования в 80-х годах, я начал думать о рациональном принятии решений и о проблеме практической невозможности оного. Если бы вы были рациональны, вы бы полагали: вот мое текущее состояние, вот действия, которые я могу совершить, потом могу сделать вот это, потом это; какой путь гарантированно приведет меня к цели? Определение рационального поведение требует оптимизации всего будущего Вселенной. Это невозможно с точки зрения вычислений.

Нет никакого смысла пытаться впихнуть в ИИ невозможное, поэтому я задумался о другом: как на самом дел мы принимаем решения?

Ну и как же?

Один из трюков - это думать в краткосрочной перспективе, а затем предполагать, каким может выглядеть дальнейшее будущее. Шахматные программы, например, - если бы были рациональными, то разыгрывали исключительно ходы, гарантирующие мат, но они же не делают этого. Вместо этого они просчитывают десятки ходов вперед и делают предположения о том, насколько полезны эти грядущие состояния, а затем принимают решения, которые ведут к одному из наилучших состояний.

Другое, о чем важно не забывать, это проблема решений на множественных уровнях абстракции, «иерархическое принятие решения». Человек совершает порядка 20 триллионов физических действий за свою жизнь. Чтобы прийти на эту конференцию и рассказать что-то, понадобилось совершить 1,3 миллиарда действий или около того. Если бы вы были рациональными, вы бы пытались просчитать все 1,3 миллиарда шагов - что, по сути, совершенно невозможно. Люди делают это, благодаря огромному багажу абстрактных действий высокого уровня. Вы не думаете, «когда я зайду домой, я поставлю левую ногу или правую на коврик, а затем смогу то-то и то-то». Вы думаете, «я пойду в магазин и куплю книгу. Потом вызову такси». И все. Вы вообще не задумываетесь особо, пока не требуется уточнение сложных деталей. Так и живем, в принципе. Будущее размыто, очень много деталей близки к нам во времени, но в основном представлено большими кусками вроде «получить степень», «завести детей».

Неужели компьютеры в настоящее время способны на иерархическое принятие решений?

Это один из недостающих кусков головоломки сейчас: откуда берутся все эти действия на высоком уровне? Мы не думаем, что программы вроде сети DQN имеют абстрактные представления о действиях. Есть много игр, которые DQN просто не понимает, и эти игры сложные, требующие многих и многих шагов, просчитанных наперед, в виде примитивных представлений о действиях - что-то типа когда человек думает «что мне нужно, чтобы открыть дверь?», а открытие двери включает извлечение ключа и так далее. Если у машины нет такого представления «открыть дверь», она не сможет ничего сделать.

Но если эта проблема будет решена - а это вполне возможно - тогда мы увидим очередной существенный рост возможностей машин. Есть две или три проблемы, и если решить их все, тогда мне непонятно, останутся ли еще крупные препятствия до ИИ человеческого уровня.

Что беспокоит вас в возможности появления ИИ человеческого уровня?

В первом издании моей книги (1994 года) есть раздел «Что, если у нас получится?», потому что мне казалось, что люди не задумываются об этом особо. Наверное, тогда это казалось слишком далеким, несбыточным. Но очевидно же, что успех станет гигантским событием. «Крупнейшее событие в истории человечества», наверное, так можно это описать. И если это так, тогда нам нужно хорошо обдумать, что мы делаем, чтобы отточить форму этого возможного события.

Основная идея взрыва интеллекта заключается в том, что как только машины достигнут определенного уровня интеллекта, они смогут работать над ИИ так же, как мы, и улучшать свои собственные характеристики - перепрограммировать себя и изменять начинку - и их интеллект будет расти не по дням, а по часам. За последние несколько лет сообщество постепенно отточило свои аргументы касательно того, почему это может быть проблемой. Самый убедительный аргумент может заключаться в уравнении це

Microsoft