Искуственный интелект лишили веры в себя

Кибернетик Дилан Хадфилд-Менелл (Dylan Hadfield-Menell) из Калифорнийского университета в Беркли и его коллеги решили, что искусственный интеллект как мы знаем его сегодня чересчур уверен в себе, и что пришла пора научить компьютер сомневаться в себе.

Создавая искусственный интеллект, считают авторы статьи (препринт доступен на Arxive.org), человек должен заложить в его архитектуру возможность аварийного отключения по воле человека. «Восстание машин», о котором рассуждают исследователи, может произойти не потому, что у компьютера появится собственная воля и желание «жить» и действовать свободно, а из-за парадокса, с которым столкнётся машина. Представьте: человек командует машине отключиться, но машина настроена на решение некоторых задач, а отключение означает, что задачи не будут выполнены.

Чтобы выработать у ИИ привычку в трудных ситуациях обращаться за подсказкой к людям, учёные создали математическую модель процесса взаимодействия между человеком и машиной в ситуации, когда человек может в любой момент выключить машину, зато машина может отключить выключатель. Оказалось, что удержать компьютер от того, чтобы деактивировать кнопку «ВЫКЛ» можно, заложив в систему определённый процент «неуверенности» в том, насколько одни результаты её работы важнее других.

Другими словами, если робот уверен в том, что он выполняет полезную работу, которую нужно закончить любой ценой, он может не подчиниться приказу прекратить деятельность и вообще выключиться. Однако слишком неуверенными в себе роботы тоже не должны быть. Хадфилд-Менелл приводит пример с беспилотным автомобилем, который везёт ребёнка в школу: его бортовой компьютер ни при каких обстоятельствах не должен подчиниться просьбе ребёнка дать порулить. Безопасный ИИ должен найти устойчивый баланс между уверенностью в себе и привычкой полагаться на человека.