Как известно, искусственный интеллект уже превосходит человека в решении определенных задач. Ранее ИИ уже обыгрывали профессиональных игроков в покер и го. Эксперты же полагают, что к 2049 году подобные системы могут освоить создание бестселлеров, а к 2053 году — самостоятельно проводить хирургические операции (Илон Маск полагает, что это может быть и раньше). Однако остаётся вопрос безопасности человека и человечества, ведь однажды искусственный интеллект может отказаться от выполнения команд из-за расхождения целей его и оператора. Эта история уже не раз «отрабатывалась» в фантастике – «Матрица», «Терминатор», «Я робот», Mass Effect (кварианцы и геты). И потому эксперты уже сейчас пытаются оценить степень свобод, которые уместно предоставить этим системам.

Исследователи построили математическую модель взаимодействия робота и человека в виде формальной «игры с выключателем» (The Off-Switch Game). Принцип заключается в следующем: роботу, оснащенному выключателем, дается некоторое задание, выполнение которого человек может прервать в любой момент нажатием кнопки. В случае, если решение человека интерпретируется машиной как низкоэффективное, действия первого блокируются и активность продолжается. Причем целью системы остается извлечение максимальной выгоды в пользу человека. Расчеты показали, что поведение робота непосредственно зависело от оценки рациональности оператора.

Проще говоря, если поведение человека будет нелогичным, машина не выполнит приказ. Пример такой ситуации – ребёнок в беспилотном автомобиле. Если он попытается взять управление на себя и выехать на полосу встречного движения, ИИ заблокирует ручное управление.

Согласно модели, при условии, что решение человека оценивается роботом как неоптимальное, а продолжение активности полностью соответствует интересам первого, машина не допустит выключения. С другой стороны, если система считает все действия оператора верными, исполнению будет подлежать любая команда, даже в случае правильного способа решения задачи. Таким образом, ученые предположили, что наилучшей стратегией для робота будет компромисс: попытка пользователя вмешаться в выполнение алгоритма должна приниматься во внимание и приводить к обратной связи. Дальнейшие действия машины при этом будут зависеть от последующей, ответной реакции оператора. При этом отмечается, что несмотря на отсутствие конкретных решений, полученные данные свидетельствует о недопустимости реализации в искусственном интеллекте крайних типов реагирования. В будущем учёные намерены оценить вероятность того или иного поведения машины в зависимости от ее осведомленности о пользе собственных действий.