Як відомо, штучний інтелект вже перевершує людини у вирішенні визначених завдань. Раніше ШІ вже обігравали професійних гравців в покер і го. Експерти ж вважають, що до 2049 року подібні системи можуть освоїти створення бестселерів, а до 2053 року — самостійно проводити хірургічні операції (Ілон Маск вважає, що це може бути і раніше). Однак залишається питання безпеки людини і людства, адже одного разу штучний інтелект може відмовитися від виконання команд через розбіжності цілей його і оператора. Ця історія вже не раз «відпрацьовувалася» у фантастиці – «Матриця», «Термінатор», «Я робот», Mass Effect (кварианці і гети). І тому експерти вже зараз намагаються оцінити ступінь свобод, які доречно надати цим системам.

Дослідники побудували математичну модель взаємодії робота людини у вигляді формальної гри з вимикачем» (The Off-Switch Game). Принцип полягає в наступному: роботу, оснащеному вимикачем, дається певне завдання, виконання якого людина може перервати у будь-який момент натисненням кнопки. У разі, якщо рішення людини інтерпретується машиною як низькоефективне, дії першого блокуються і активність триває. Причому метою системи залишається вилучення максимальної вигоди на користь людини. Розрахунки показали, що поведінка робота безпосередньо залежало від оцінки раціональності оператора.

Простіше кажучи, якщо поведінка людини буде нелогічним, машина не виконає наказ. Приклад такої ситуації – дитина в безпілотному автомобілі. Якщо він спробує взяти керування на себе і виїхати на смугу зустрічного руху, ШІ заблокує ручне управління.

Згідно моделі, за умови, що рішення людини оцінюється роботом як неоптимальний, а продовження активності повністю відповідає інтересам першого, машина не допустить виключення. З іншого боку, якщо система вважає всі дії оператора вірними, виконання буде підлягати будь-яка команда, навіть у разі правильного способу рішення задачі. Таким чином, вчені припустили, що найкращою стратегією для робота буде компроміс: спроба користувача втрутитися у виконання алгоритму повинна прийматися до уваги і приводити до зворотного зв’язку. Подальші дії машини при цьому будуть залежати від подальшої, відповідної реакції оператора. При цьому наголошується, що незважаючи на відсутність конкретних рішень, отримані дані свідчить про недопустимість реалізації в штучному інтелекті крайніх типів реагування. У майбутньому вчені мають намір оцінити ймовірність того чи іншого поведінки машини в залежності від її обізнаності про користь власних дій.