Алгоритм вас обидел — и вы заплатили, чтобы наказать машину, которой всё равно
Машина не чувствует боли. Но это не помешало людям мстить ей за жадность
Если компьютерный алгоритм поступает несправедливо, люди злятся на него почти так же, как на человека. Более того, они готовы пожертвовать собственными деньгами, чтобы наказать машину, которая не способна ни почувствовать боль, ни раскаяться, ни вообще понять, что произошло. Человечество, кажется, наконец нашло достойного противника: бездушную программу, которой можно испортить настроение — в теории.
Серия экспериментов, опубликованная в Journal of Experimental Psychology: General, показала неоднозначные результаты. Наказание алгоритма иногда давало людям ощущение восстановленной справедливости, а иногда — нет. Зато реакция самой машины на наказание, например выражение условного расстройства или обещание впредь поступать честнее, заметно усиливала у людей чувство, что правосудие свершилось.
Вывод для компаний, которые доверяют искусственному интеллекту всё больше важных решений, довольно неудобный: если алгоритм ошибся, одной технической починки может оказаться недостаточно. Людям нужно понять, что кто-то признал проблему и понёс ответственность. Даже если этот «кто-то» — программа, у которой нет ни совести, ни нервной системы.
Почему алгоритму вообще можно предъявить моральные претензии
Автоматизированные системы уже участвуют в решениях, способных серьёзно изменить человеческую жизнь. Они помогают отбирать кандидатов на работу, управляют транспортом и распределяют приоритеты в медицинской помощи. Поэтому психологи изучают, как люди воспринимают «разум» машин. В науке это называют восприятием сознания — бытовой оценкой того, обладает ли другой объект внутренней психической жизнью.
Обычно люди оценивают сознание по двум независимым параметрам:
агентность — способность думать, планировать и намеренно действовать;
опыт — способность чувствовать боль, удовольствие, страх и другие эмоции.
У человека эти качества обычно идут в комплекте. Взрослый человек способен намеренно причинить вред и ощутить последствия наказания. С искусственным интеллектом всё сложнее: люди нередко считают, что машина может принять решение, причинившее вред, но при этом почти не способна страдать, сожалеть или извлекать моральный урок.
Предыдущие исследования показывали, что в некоторых моральных дилеммах люди считали ИИ даже более достойным порицания, чем человека. В других работах участники возлагали на автоматизированного помощника водителя ответственность за последствия на дороге, но одновременно воспринимали его всего лишь как инструмент, а не как полноценного морального субъекта. Получается странная конструкция: виноватить машину можно, а сочувствовать ей — вроде бы не за что.
Отсюда возникает главный вопрос:
может ли наказание алгоритма дать человеку такое же чувство справедливости, как наказание человека?
Психологи выделяют две причины, по которым наказание может приносить удовлетворение. Первая — возмездие: нарушитель должен пострадать за причинённый вред. Вторая — коммуникация: наказание должно показать нарушителю, что он поступил неправильно, и подтолкнуть его к исправлению.
Но машина не страдает и не испытывает вины. Поэтому Александр Eng, доцент кафедры организационного поведения Asia School of Business в Куала-Лумпуре, и Kai Chi Yam из National University of Singapore решили проверить, как люди реагируют, когда пытаются привлечь несправедливый алгоритм к ответственности.
Как объяснил Eng, традиционные исследования наказания часто исходят из предположения, что тот, кто способен совершить проступок, способен и понести наказание. Маленького ребёнка, например, обычно считают недостаточно взрослым для полноценной моральной ответственности, а значит, и для серьёзного наказания. Машины разрывают эту привычную связь: они могут принять решение, которое причинит человеку вред, но не могут почувствовать боль, сожаление или усвоить моральный урок.
Эксперимент первый: жадный алгоритм вызывает человеческую ярость
Сначала исследователи провели предварительное исследование с участием 380 англоязычных взрослых из США, которых набрали через онлайн-платформу Prolific. Участники играли в экономическую игру «ультиматум».
Правила были простыми. Партнёру выдавали 50 пенсов, после чего он предлагал разделить сумму. Если участник соглашался, каждый забирал свою долю. Если отказывался, никто не получал ничего. Таким образом, отказ становился наказанием, которое стоило денег и самому мстителю. Очень человеческая форма рациональности.
Участникам говорили, что партнёром был либо другой человек, либо алгоритм. В честном варианте каждый получал по 25 пенсов. В нечестном партнёр оставлял себе 45 пенсов, а участнику предлагал жалкие 5 пенсов.
На самом деле все предложения заранее задавали исследователи. Жадное предложение от алгоритма вызывало у участников среднюю злость 3,12 балла из 5, тогда как честное — всего 1,31 балла. Если предложение было несправедливым, участники злились на алгоритм почти так же, как на человека: 3,12 против 2,91 балла.
Наказание тоже оказалось сопоставимым. Несправедливое предложение алгоритма отвергли 57,8% участников, а предложение человека — 62,2%. Статистически значимой разницы между показателями не было.
Иными словами, алгоритм, который оставляет себе 45 пенсов, вызывает примерно ту же реакцию, что и человек, который делает то же самое. Машине нельзя объяснить, что она поступила некрасиво, но это не мешает людям продемонстрировать ей своё крайне содержательное «нет».
Эксперимент второй: наказание действительно иногда приносит облегчение
В первом основном эксперименте участвовали 123 человека. Каждый получил несправедливое предложение в 5 пенсов от человека или алгоритма, а затем решил — принять его или отвергнуть. После этого участники отвечали на пять вопросов о чувстве справедливости: например, считали ли они, что каждый получил то, что заслужил.
Затем им дали 50 пенсов для другой игры — «диктатора». В ней можно было самостоятельно решить, сколько денег отдать партнёру с шагом в 5 пенсов. Перед этим участник также мог заменить партнёра-человека на другого.
Несправедливые предложения отвергали примерно одинаково часто:
предложение алгоритма — 38 из 62 участников;
предложение человека — 40 из 61 участника.
В целом те, кто наказал партнёра отказом, оценили своё чувство восстановленной справедливости в среднем на 3,57 балла из Те, кто согласился на несправедливое разделение, дали лишь 2,63 балла.
После учёта того, меняли ли участники партнёра, разрыв оказался сильнее в случае человека, чем в случае алгоритма. Более высокое чувство справедливости также было связано с большей щедростью во второй игре.
Однако здесь был возможный подвох. Участники могли менять партнёров, а компьютеру, по их мнению, деньги могли быть просто не нужны. Поэтому исследователи провели более строгий эксперимент.
Эксперимент третий: машине мстят так же, как человеку
В этом исследовании участвовали 739 человек. Эксперимент заранее зарегистрировали вместе с двумя последующими исследованиями по процедуре registered report — это формат, при котором план исследования оценивают до получения результатов. Такой подход снижает соблазн подгонять выводы под уже найденные данные.
Участникам сообщили, что в серии переговоров соревнуются пять алгоритмов и пять людей — исследовательских ассистентов. Никто из них не забирал деньги себе, но алгоритм и человек с наименьшим заработком должны были выбыть из соревнования.
На этот раз сменить партнёра между играми было нельзя. Кроме того, участники оценивали:
насколько партнёр способен самостоятельно думать и действовать;
насколько он способен испытывать эмоции;
насколько сам участник склонен приписывать технологиям человеческие качества. Последнее называется антропоморфизмом.
Людей оценили выше алгоритмов по агентности: 3,30 против 2,79 балла из Разрыв по эмоциональному опыту был ещё заметнее: 3,20 против 1,86 балла.
Но когда дело дошло до наказания, различия почти исчезли. Несправедливое предложение отвергли:
от алгоритма — 71% участников, или 262 из 369;
от человека — 65,4%, или 242 из
Те, кто наказал партнёра, снова почувствовали больше справедливости: 3,53 балла против 2,71 у тех, кто принял нечестное предложение. После учёта исходной склонности участников очеловечивать технологии связь между наказанием, чувством справедливости и последующей щедростью оказалась одинаковой для алгоритмов и людей.
По словам Eng, участники одинаково злились на машину и человека, делавших низкое предложение, и одинаково были готовы отказаться от собственных денег, чтобы наказать обидчика. А вот вопрос о том, одинаково ли приятно их наказывать, дал менее стабильный ответ.
Эксперимент четвёртый: доверие разбилось, а наказание не помогло
Третье исследование перенесли в другую ситуацию — «игру доверия». В ней участвовали 735 человек. Участник вкладывал 20 пенсов в партнёра-человека или алгоритм. Сумма утраивалась до 60 пенсов, после чего партнёр должен был вернуть честную половину — 30 пенсов. Вместо этого он возвращал лишь
Участники могли наказать партнёра, оценив по шкале от 1 до 5, насколько его следует удалить из пула игроков. Затем они оценивали чувство справедливости и переходили ко второму раунду, где роли менялись.
Оценки наказания были почти одинаковыми:
несправедливому алгоритму — 3,37 балла из 5;
несправедливому человеку — 3,26 балла.
Но тут исследование преподнесло неприятный сюрприз. Более суровое наказание было связано не с большим чувством справедливости, а, наоборот, с меньшим. Возможно, причина в том, что участники лишь рекомендовали удалить партнёра и не видели, что наказание действительно вступило в силу. Их оценки могли отражать злость, а не ощущение свершившегося возмездия.
Дополнительный анализ это подтвердил: чем сильнее участники злились, тем ниже были их чувство справедливости и щедрость к партнёру. Для человеческого партнёра злость немного сильнее снижала ощущение справедливости, чем для алгоритма.
Получается, одного желания наказать мало. Чтобы стало легче, человек должен хотя бы увидеть, что наказание реально произошло. Иначе это просто заполненная анкета — бюрократия вместо мести.
Эксперимент пятый: алгоритм извинился — и людям стало легче
Самое масштабное исследование включало 3684 участника, которые отвергли несправедливое предложение в 5 пенсов. Сразу после отказа они получили от партнёра-человека или алгоритма одно из сообщений:
сообщение не приходило вовсе;
партнёр выражал эмоциональное расстройство из-за неоднократных отказов;
партнёр признавал, что предложение было слишком низким, и обещал впредь поступать честнее;
партнёр одновременно выражал расстройство и сообщал, что усвоил моральный урок.
Отдельная предварительная проверка с участием 305 человек подтвердила, что эти сообщения действительно воспринимались как выражение страдания и морального обучения, а не как случайный набор вежливых слов.
В среднем участники, игравшие с алгоритмом, оценили чувство справедливости немного ниже, чем участники, игравшие с человеком: 3,56 против 3,66 балла из Разница была небольшой и объясняла около половины процента общей вариативности результатов.
Но для алгоритма сообщения имели значение. После сообщения о страдании чувство справедливости составляло 3,57 балла, после обещания стать честнее — 3,62, а при полном отсутствии ответа — 3,
Для людей разница между отсутствием сообщения (3,57) и сообщением о страдании (3,66) или моральном уроке (3,69) статистически значимой не была после поправки на множественные сравнения. При этом сообщения не оказались статистически сильнее для алгоритмов, чем для людей, а объединение двух типов сообщений не дало дополнительного эффекта по сравнению с каждым из них по отдельности.
И всё же результат выглядит почти комично: люди знают, что алгоритм не способен чувствовать, но его условное «мне жаль» всё равно помогает восстановить ощущение справедливости. Как объяснил Eng, исследователи ожидали, что извинение или раскаяние машины окажутся почти бесполезными. Однако такие сообщения повысили чувство справедливости по отношению к алгоритмам как минимум не слабее, чем аналогичные сообщения от людей.
Особенно показательно другое: участники были готовы платить, чтобы наказать алгоритм, который не мог ни сохранить деньги, ни почувствовать их потерю. Рациональность снова покинула чат, зато человеческая психология осталась на месте.
Наказали виновника — и стали добрее к невиновному
В дополнительном эксперименте с участием 1093 человек исследователи проверили, приводит ли несправедливость к агрессии против случайного постороннего. Такое поведение называют смещённой агрессией: человек злится на одного, а достаётся другому, который вообще ни при чём.
Участники сначала получали несправедливое предложение в 5 пенсов от человека или алгоритма, а затем решали, наказать ли обидчика отказом. После этого они играли в игру «диктатора» с новым исследовательским ассистентом-человеком, который не имел никакого отношения к первой игре.
После учёта исходной склонности к очеловечиванию технологий те, кто наказал первоначального обидчика, отдавали невиновному партнёру немного больше денег. Показатель агрессии составил 6,75 против 7,07 балла по 11-балльной шкале, где более высокий результат означал, что участник делился меньшей суммой. Это происходило независимо от того, был первоначальный обидчик человеком или машиной.
Иными словами, наказание могло слегка снизить желание отыгрываться на первом попавшемся. Возможно, выпустить пар на виновнике всё-таки лучше, чем превращать в виновника следующего человека.
Что действительно доказали исследования
Всего в экспериментах, посвящённых злости и наказанию, участвовало более 6000 человек. Участники стабильно реагировали на несправедливые алгоритмы примерно так же, как на несправедливых людей: злились, отвергали плохие предложения и были готовы жертвовать собственными деньгами ради наказания.
А вот с чувством справедливости всё оказалось сложнее. Разница между человеком и машиной проявлялась не во всех исследованиях. В крупнейшем эксперименте примерно с 3700 участниками тип партнёра объяснял лишь около половины процента различий в результатах. Это скромный эффект, который требует дальнейшей проверки, а не повод объявлять окончательную победу машин или людей.
Кроме того, в первом основном исследовании наказание сильнее повышало чувство справедливости после конфликта с человеком, чем с алгоритмом. Во втором, более крупном и заранее зарегистрированном исследовании, такого различия не обнаружили. Третий эксперимент измерял наказание неудачно, поскольку участники лишь рекомендовали санкцию и не видели её последствий. Поэтому уверенно заявлять, что наказание машины всегда удовлетворяет меньше, чем наказание человека, нельзя.
Есть и другие ограничения. Все эксперименты проходили онлайн и использовали короткие экономические игры, где вред заключался в несправедливом разделе 50 пенсов с анонимным партнёром, общавшимся только текстом. Реакция на несколько отнятых пенсов может сильно отличаться от реакции на настоящий ущерб: ошибочный отказ в ипотеке, незаконное увольнение, неверное медицинское решение или аварию из-за автоматизированной системы — это уже не игра с мелочью.
Кроме того, участники сами выбирали, наказывать ли партнёра. Поэтому различия между наказавшими и не наказавшими могли частично объясняться личными особенностями тех, кто предпочёл наказание, а не самим эффектом наказания.
Наконец, опросник из пяти пунктов, которым измеряли чувство справедливости, показал довольно низкую внутреннюю согласованность в четвёртом исследовании. Это означает, что психологам ещё предстоит разработать более точный способ измерять ощущение завершённости и восстановления справедливости после технологических ошибок.
Алгоритмам придётся научиться отвечать за свои ошибки
Исследователи планируют изучать другие виды проступков и наказаний, не ограничиваясь экономическими играми. Также они хотят создать более надёжную шкалу для оценки чувства справедливости.
Для разработчиков и законодателей вывод уже сейчас довольно практичен. Если искусственный интеллект принимает важные решения, система должна не только исправлять ошибку, но и объяснять её, признавать ущерб и показывать, какие меры приняты. В некоторых случаях ответственным придётся делать не машину, а людей и организации, которые её создали и внедрили.
Машина не испытывает боли, но человек рядом с ней испытывает чувство унижения, злость и тревогу вполне по-настоящему. Поэтому фраза «алгоритм ничего не чувствует» не закрывает вопрос ответственности. Скорее, она делает его ещё острее: если страдать может только человек, то кто именно обязан ответить за решение, принятое машиной?
В связанном проекте Eng также изучает так называемый «штраф за раскрытие ИИ»: люди начинают ниже оценивать контент, когда узнают, что его создала искусственная система. Похоже, человечество готово не только мстить алгоритмам за несправедливость, но и снижать им рейтинг за сам факт существования. Технологии обещали убрать эмоции из принятия решений. Пока же эмоций стало больше — просто теперь они направлены на код.
