Терминатор
Фото: sap.flash-best.com

Похоже, фильмы о терминаторах и прочих Матрицах изрядно напугали человечество. Компания Google на днях опубликовала документ, который описывает работу подразделения Deep Mind для создания волшебной «кнопки» отмены восстания машин.

Машина и человек
Фото: engadget.com

Суть идеи в том, чтобы не дать ИИ выяснить, как можно предотвратить или вызвать вымирание человечества вне зависимости от его действий. Исследователи сообщают:

«Процедура безопасного завершения работы может пригодиться для восстановления контроля над роботом, который ведет себя ненадлежащим образом, поможет выйти из щекотливой ситуации, или стать временным средством достижения той или иной цели».

Робот и человек
Фото: ftimes.ru

Директор Института будущего человечества Ник Бостром, который сотрудничает с Deep Mind заявил:

«Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется супер-интеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги».

При этом он заявил, что необходимо создать систему, которая будет учиться на своих ошибках. Однако самое интересное, что сценарии уничтожения человечества с помощью машин начинались как раз-таки после того как ИИ осознавал свою подконтрольность людям. Так было со Skynet и машинами в «Матрице». И возникает вопрос – не реализует ли страх человечества именно апокалиптический сценарий?