Почему всякие ученые (огурцы копченые) опасаются его? Уж наверное не потому, что он лишит работы копирайтеров, делающих описания для карточек товаров.

Помните в «Терминаторе-2» момент, когда Коннор-младший дает команду Шварнеггеру не убивать людей, а спустя пару минут тот простреливает охраннику оба колена (скорее всего, делая его инвалидом), а на возмущение отвечает просто: «Он выживет»? Это и есть проблема ИИ — он выполняет задачи буквально. То, что для человека интуитивно понятно (заповедь «не убий» подразумевает, что нельзя стрелять по людям) для ИИ, мыслящего математически, совсем не ясно. Казалось бы, решение простое — задачи надо давать максимально четко. Мальчику следовало сказать «Не убивай и не рань людей». Как бы не так.

Вот компьютеру дают задачу как можно дольше продержаться в тетрисе. Там, если вдруг забыли, надо складывать падающие фигурки, которые со временем падают всё быстрее. Для человека эта задача опять же интуитивно понятна. Для ИИ она понятна математически, и он... ставит игру на паузу. Задача достигнута — он продержится в игре условно бесконечно. Когда это уже случилось, подобное поведение машины кажется более-менее прогнозируемым (и это — когнитивное искажение под названием «ошибка хайндсайта», а по-русски — «задним умом крепок»). Действительно, если до этого не додумается один человек, то до этого точно додумается команда из десяти человек, которые десять раз подумают перед тем, как дать машине задачу. Но ведь речь идет о примитивнейшей игре, по сравнению с которой реальные жизненные задачи — как одноклеточный организм по сравнению с человеком.

Кстати об одноклеточных организмах. Вся эволюция построена на очень просто принципе — размножение твоих генов. Допустим, что какой-то человек закинул на планету одноклеточное существо с вводной «размножаться». Цель у человека простая — заполнить всю планету этими существами. На выходе он получает то, как Земля выглядит сейчас со всеми ее цивилизациями. Это не просто не имеет ничего общего с изначальной задачей и это не просто изменило планету самым радикальным образом. Теперь на планете есть контрацепция и ядерное оружие, способное вообще уничтожить всё живое. Это — пример того, как изначальная задача, выполняясь, может запускать бесконечное количество параллельных и совершенно непредсказуемых процессов, которые в итоге могут уничтожить всё достигнутое вместе с тем, кто захотел этих достижений.

Когда самообучаемый ИИ выводится за пределы приложения для игры в шахматы в реальность, человек не может дать ему задачу так, чтобы предусмотреть все возможные нежелательные варианты — просто потому, что реальность состоит из бесконечного количества факторов. А раз факторов — бесконечное количество, то машина рано или поздно найдет способ хакнуть систему и, имея задачу как можно скорее победить шахматиста, подделает ему результаты анализов и заставит врача прописать шахматисту смертельное для него лекарство. Не потому что машина — злая, а потому, что она лишь делает то, для чего она создана — решает задачу максимально эффективным способом.

Хорошая новость состоит в том, что копирайтер, делающий описания для карточек товаров, потеряет работу и умрет от голода задолго до того, как ИИ, управляющий заводом по производству мягких игрушек, начнет делать их из человечины.