«Адвокат робота»: кто отвечает за преступления, которые совершают алгоритмы
Обозреватель vc.ru Людмила Кудрявцева написала колонку о том, как поведение автоматизированных систем связано с этическими и юридическими вопросами.
Кудрявцева узнала у основателя юридической компании Seneschal International и сооснователя SolarStaff Павла Шинкаренко, как изменятся задачи юристов, когда машины смогут принимать решения, и какие проблемы подобного рода решаются уже сейчас.
Летом 2015 года разработчики из Швейцарии построили бота, который делал случайные покупки в магазинах Даркнета. Ему дали бюджет в 100 биткоинов и отправили делать рандомные покупки, которые разработчики планировали потом показать на выставке. Помимо прочего, робот купил себе фальшивый венгерский паспорт и немного экстази.
Развернулась дискуссия: виноваты ли создатели бота в преступлении, которым является покупка наркотиков и других запрещенных товаров (всего робот сделал 12 покупок). Сами разработчики заявили, что они ответственны за все, что делает робот, но не боятся наказания, так как шведское законодательство разрешает «искусство в интересах народа», а целью покупок было наполнить экспозицию выставки.
Швейцарская полиция «арестовала» робота и конфисковала все покупки, но через некоторое время «отпустила» его (разрешила роботу функционировать) и отдала обратно все покупки, кроме наркотиков.
Весной 2016 года случилась первая авария ехавшей на автопилоте Tesla со смертельным исходом. И снова встал вопрос, кто виноват: разработчики, водитель, который позволил алгоритму управлять автомобилем, сам алгоритм, принявший неверное решение, хотя запрограммирован был так, что мог в той ситуации принять и верное? Или не был и не мог?
Именно с этой автоаварией случай кажется простым, причина была в техническом несовершенстве системы сенсоров и распознавания их сигнала - хотя расследование не закончено. Но следующие аварии с жертвами, а они будут, могут оказаться следствием принятого алгоритмом решения или сделанного им выбора.
По мнению основателя юридической компании Seneschal International Павла Шинкаренко, разбор такой аварии иллюстрирует тезис, что в ближайшие годы станет востребована профессия «адвоката для роботов». И не он один уверен, что нужен будет специалист, который разберет проблемную ситуацию и объяснит, почему робот сделал то, что сделал, а главное - кто в этом виноват.
Казалось бы, объяснять такие вещи - задача разработчика алгоритма. Он его запрограммировал, ему и объяснять, откуда берется то или иное решение, принятое искусственным интеллектом. А пользователь алгоритма вообще виноват может быть либо в том, что велел роботу сделать что-то противозаконное, либо в том, что нарушил правила его использования.
Но достаточно поближе рассмотреть хотя бы столь модные сегодня нейронные сети, чтобы понять устарелость этой концепции. Ключевая технология работы многих современных алгоритмов - самообучение. На основе обучающей выборки роботы самостоятельно делают выводы о связи, сходстве и других свойствах объектов. Полностью предсказать результат этого процесса и решения робота, принятые по результатам обучения, невозможно.
Но не все считают, что невозможность контроля освобождает от ответственности. Буркхард Шафер, профессор теории компьютерного правоведения из университета Эдинбурга, считает, что ответственность за вред со стороны робота лежит целиком на производителе. Даже в случае с самообучающимися роботами.
Он говорит, что в обществе уже работает аналог системы ответственности создателя за действия алгоритма - это ответственность владельцев собак за своих животных. Действия собаки тоже не всегда предсказуемы. Владелец не может и не должен контролировать каждое ее движение, но обязан не допускать нарушения правил и причинения вреда другим.
Впрочем, перенести на роботов концепцию содержания собак и вздохнуть с облегчением вряд ли удастся.
В 2018 году в Евросоюзе вступит в силу новая версия Общего положения о защите данных. Брюс Гудман и Сэт Флаксмен из Оксфордского факультета статистики проанализировали этот документ и пришли к выводу, что он закрепит за европейцами «право на объяснение»: они смогут потребовать объяснить решение, которое приняли алгоритмы и которое касается их жизни.
Новый закон запрещает «принятие решений исключительно на основании автоматической обработки данных, в том числе профайлинг, которые несут неблагоприятные юридические последствия для субьекта персональных данных либо значительно влияют на него или нее».
Этот шаг хорошо вписывается в общую политику Евросоюза относительно цифровых систем хранения и обработки данных. Европейцы уже получили «право на забвение» и право на доступ к информации, которую хранят о них коммерческие компании.
Однако слово «исключительно» может превратить закон в формальность: достаточно на определенной стадии внедрить участие человека, сколь угодно некомпетентного, чтобы решение не оказывалось принято «исключительно на основании автоматической обработки данных». К моменту вступления новых норм в действие законодатели Евросоюза доведут их до более конкретных рекомендаций.
Но «адвокат роботов» в этой экосистеме может оказаться очень кстати. Помимо технических сложностей - объяснения, по какому принципу работают алгоритмы и как принимают решения, - ему придется иметь дело с коммерческой тайной, потому что корпорации вряд ли захотят раскрывать все аспекты устройства своих программ. Ему придется иметь дело с этикой, человеческой психологией и социальной проблематикой.
Взять хотя бы проблему «шовинизма Google-картинок». Если в поиске Google по картинкам задать запрос 'CEO', первые три десятка результатов продемонстрируют белых мужчин среднего возраста в деловой одежде. Первая женщина и первый чернокожий мужчина появятся ближе к концу третьего десятка результатов.
Можно ли обвинять Google в сексизме и расизме? Ответственны ли разработчики за то, что поиск показывает пользователям стереотипного генерального директора - именно такого, какого они ожидают увидеть (неизвестно, что видят в ответ на этот запрос пользователи из Китая или Африки)? Но, отражая стереотип, алгоритмы закрепляют его, уменьшают шансы на его ослабление и разрушение. С другой стороны, должен ли искусственный интеллект, созданный коммерческой компанией для решения конкретной задачи, заниматься общественной нравственностью?
Facebook загоняет пользователей в «пузырь фильтров»: подбирает им контент в соответствии с их интересами и взглядами. В результате у людей формируется ограниченная картина мира, исчезает возможность заинтересоваться чем-то новым или услышать людей с альтернативными взглядами.
Впрочем, на фоне вопроса «кто виноват в автокатастрофе с человеческими жертвами» такие проблемы кажутся сугубо философскими. Людям придется научить роботов действовать, например, в ситуации «выбора из двух зол», когда автопилот может либо сбить человека на дороге, либо, объезжая его, поставить под угрозу своего водителя и пассажиров. Классическую «проблему вагонетки» применительно к самоуправляющимся машинам обсуждают уже несколько лет. Из мысленного эксперимента она превратилась в актуальный вопрос, а помимо классических вариантов проблемы появляются новые.
Митч Терк, американский стартапер и инвестор, уже сейчас называет себя «адвокатом автопилотов» и уверен, что людям придется дать роботам определенную свободу в принятии решений, даже если этим решением может оказаться убийство человека. Если алгоритмы в любой ситуации этического выбора будут останавливаться и ждать решения от человека, многие технологии просто не смогут функционировать, и самоуправляющийся транспорт в том числе.
Особенно когда алгоритмам будут доступны для анализа «большие данные» и они смогут вычислять потенциальную угрозу человеческой жизни вследствие совершенно невинных, на взгляд человека, действий.
Потенциально любопытная область для «адвокатов-роботов» - персональные ассистенты. Что такая программа должна делать при конфликте интересов своего пользователя и общества? На какой стадии сдавать хозяина в полицию: когда он задает поисковый запрос «Как наказать за измену», после запроса «Как спрятать труп» или после завершения покупки 20 литров плавиковой кислоты?
Анализируя поведение владельца, ассистент может прийти к определенным выводам о его намерениях и потенциальном вреде для общества или для него самого (собирается совершить самоубийство или не носит шапку в мороз). К выводам, возможно, правильным, а возможно, неправильным. Что он должен делать? Должен ли он вообще оценивать действия владельца?
Разработчикам придется переводить на программный язык не только законодательство, но и принципы этики, актуальные для конкретного общества. Предупредить и запрограммировать все возможные ситуации они не смогут никогда, и в случае проблем встанет вопрос ответственности. Без специалистов одновременно по законам, по этике и по алгоритмам обойтись будет трудно.
Самоуправляющиеся автомобили и самообучающиеся ассистенты пока не вышли на массовый рынок, и проблемы на стыке закона, технологий и анализа данных выглядят более приземленно. Мы узнали у основателя Seneschal International Павла Шинкаренко, с какими вопросами такого рода встречаются юристы уже сейчас.
Людмила Кудрявцева: Разве это не задача разработчиков - объяснить, почему их алгоритм принял то или иное решение? Павел Шинкаренко: Машины и программы становятся все сложнее, а кроме того, мы видим интеграционные решения и взаимодействие компонентов разных производителей и разработчиков внутри одного механизма. Это потребует не только технических ответов, вроде «работа какого из компонентов системы привела к тем или иным действиям», но и юридических ответов на вопросы должной осмотрительности производителя или разработчика. А если мы прибавим к этому взаимодействие устройств между собой, получим еще более интересные задачи.
Я считаю, что сначала юридическая работа будет направлена на защиту производителей и разработчиков по делам о возмещении различного рода ущерба, а в будущем, когда машины будут способны принимать решения - и на защиту этих механизмов путем доказательства того, что принятое ими решение было обосновано и легитимно.
Если объяснять все же придется, как будет решаться вопрос коммерческой тайны? Она будет отменена и разработчикам придется публично оглашать все особенности устройства своих программ?
Скорее всего, мы будем работать с системными логами и отчетами, что не повредит ни коммерческой тайне, ни правам на программное обеспечение. Если же понадобится техническая экспертиза кода - судебный эксперт и сейчас полномочен получать от суда материалы с ограниченным доступом. Тут нет противоречия.
Придется ли «адвокатам роботов» участвовать в их разработке? Какова может быть их роль? Их основной задачей будет сделать так, чтобы робот не принимал плохих решений, или чтобы разработчик и пользователь оказался в них не виноват?
Мы уже участвуем в разработке, когда производители программного обеспечения на этапе проектирования систем обращаются за советами о легитимности той или иной функции или метода. Я говорю прежде всего о системах обработки больших данных и системах таргетирования рекламы. Легитимность этих технологий напрямую зависит от методов сбора информации. Мы проверяем готовые решения, когда необходимо готовить пользовательские соглашения, изучаем и вносим свои замечания.
Также есть задачи ограничить ответственность производителя устройства или программы тем кругом случаев, на которые он способен повлиять и держать их под контролем.
В каких случаях адвокат будет защищать интересы разработчика провинившегося робота, а в каких - пользователя?
Тут все просто: у нас есть клиент, на стороне которого мы выступаем. Юристы защищают интересы тех, кого они представляют, будь то люди или механизмы.
Как вы думаете, будут ли актуальны подобные проблемы для персональных ассистентов? Например, проанализировав поведение, поисковые запросы или покупки хозяина, робот может понять, что тот задумал убийство или самоубийство.
По поводу персональных ассистентов и ответственности за «недонесение» - я считаю такую угрозу призрачной, по крайней мере в обозримом будущем. Актуальны вопросы анализа государством наших цифровых данных с целью предотвращения преступлений, но тут мы имеем тонкие грани вмешательства в частную жизнь и переписку - это базовые права человека, упразднение которых может превратить наше общество в что-то из мира страшной научной фантастики.
Окажутся ли разработчики виноваты, если задуманное будет совершено?
А будет ли производитель кухонного ножа нести ответственность за убийство? Будет ли почта отвечать за доставку письма с инструкцией по изготовлению и применению взрывчатки?
Можете привести другие примеры потенциальной проблемы для «адвоката роботов»? Подходит ли пример со шведским ботом-покупателем?
Ваш пример тоже имеет право на жизнь, но все же он довольно прост: зависит от того, кто был покупателем, совпадает ли он с разработчиком и был ли этот продукт продан пользователю как технология (по лицензии) или как сервис (SAAS). Если лицензия предусматривает ограничение ответственности производителя и описывает допустимые способы его использования, то ответственность за «покупку» будет нести приобретатель продукта - пользователь программы. С SAAS-решениями чуть сложнее, но тоже на поверхности.
Потенциальная проблема, которую решает «адвокат автоматизированной системы» уже сейчас, - определить, не нарушают ли нормы права и законодательства заложенные в систему алгоритмы и функции и какие изменения надо внести в работу системы, чтобы вернуть ее в правовое поле.
Вы серьезно писали, что ваша компания может начать предоставлять услуги такого рода? Насколько это востребовано в России в 2016 году?
Я писал о такой услуге совершенно серьезно, и мы планируем ее запуск уже этой осенью, а вот востребованность покажет рынок и время. Думаю, она будет пользоваться спросом не столько в России, сколько на американском, европейском и азиатском рынках.
Спасибо за информацию.
P. S. Адвокатов роботов не стоит путать с роботами-адвокатами, которые уже успешно появляются, функционируют и развиваются. У юристов огромное количество рутинной работы, которую можно отдать роботам.
