Вот еще пример ситуации, предложенной мне одним из оппонентов (текста нет в интернете и автора не называю). "Человек садится в свое беспилотное авто, говорит адрес, машина блокирует ручное управление и двери и привозит человека в полицейский участок. Почему? Потому, что адрес - вблизи места сбора митинга оппозиции. Или ИИ, зная, что по адресу будет такой митинг и, зная, чем он может закончиться, заботится о безопасности хозяина (в строгом соответствии с законами роботехники Азимова) и в полицию не повезет, а просто увезет хозяина из города и не выпустит пока митинг не закончится. Такая вот этика и гуманизм ИИ".
Автор ситуации не обратил внимания на более простые решения. Не тратить бензин, а просто запереть и стоять на месте, или запереть в их машинах всех, кто собирался приехать на митинг. Или - беречь так беречь! - запереть всех в домах. Вот в мире каких кошмарных фантазий живут некоторые; отнеситесь к ним с пониманием и сочувствием. Обратите внимание - эти кошмарики сконструировали умные люди, причем сконструировали именно на базе знания людей, знания нашей человеческой истории.
Вот еще одна страшилка "от оппонента" (текста нет в интернете и автора не называю).
"Родителям ребенка с диагнозом "дебилия" предлагают вживить что-то ему в мозг. Они согласны. Ребенок становится первым учеником, победителем олимпиад, пишет стихи и рисует картины, сочиняет музыку, играет на инструментах, знает несколько языков, поступает в университет. Родители в восторге, но это - не их ребенок, тело их ребенка стало аватаром ИИ. Чип в мозгу - только средство связи. А сам мозг только управляет физиологическими функциями". Идея сама по себе интересная, и людям когда-то надо будет решать, реализовать ли ее и в какой мере. Можно, конечно, вместо решения - пугаться; но это проблема человека, а не ИИ.
Ненадежны могут быть не только беспилотные автомобили и промышленные роботы. Любая программа может выдать неправильные цифры - из-за ошибок, сделанных ее автором, ошибок других программ и сбоев железа. Мы привыкли к этому, и как-то научились с этим умеренно справляться, хотя самолеты иногда перепутывают верх и низ. Но перепутывает и человек - была версия, что однажды хотели сбить своего, чтобы получить casus belli, а по криворукости грохнули чужого. Но программы, на коробке с которой написано ИИ, человек боится больше, и поэтому предъявляет к ней больше требований. И совершенно зря - потому, что он сам ошибается чаще этой программы.
Иногда в качестве принципиального отличия ИИ от ЕИ говорят, что ИИ "действует по алгоритму". Но нейрон тоже действует по алгоритму, а то, что нейронов у человека много, не делает их менее алгоритмичными. Если мы все-таки свяжем интеллект с количеством нейронов, нам придется отвечать на вопрос - где граница? Если мы осмелимся ответить, компьютерщики предъявят систему, которая не слабее или назовут год, когда сделают это. Если нам скажут, что в компьютере алгоритм не меняется, а в человеке меняется, то мы ответим, что алгоритм в компьютере может изменяться, причем само изменение может быть изменяемым и так далее сколько угодно раз. То есть имеются в виду не последовательные изменения одного алгоритма, а вложенные, то есть на каждом уровне изменяется нижележащий алгоритм.
На аргумент о непредсказуемости происходящего в мозгу человека мы спросим, как вы отличаете непредсказуемость от простого человеческого незнания или от случайных процессов, а в ответ увидим закатываете глаз и услышим произнесение с придыханием "голография" и "квантовые процессы".
Тут ощущается горячее дыхание серьезной проблемы. Проблема вложенных алгоритмов - это часть "проблемы возникновения нового". Когда при усложнении структуры и алгоритмов возникает "новое" и почему? Вот вариант простого и конструктивного ответа - когда мы видим изменение наблюдаемых нами признаков. Когда возникает речь, использование орудий, хранение орудий, изготовление орудий, передача навыков, рисунки на стенах пещер... А на вопрос "почему" у нас нет ответа. Когда мы сможем загрузить в машину времени установку фМРТ, то сможем узнать, какие структуры в мозге работали, когда наш предок делал что-то новое. Такое исследование интересно проделать и в современности, и есть попытки https://www.nkj.ru/news/26522/
От ИИ могут требовать решения этических задач, которые не имеют общего решения. Классический пример - "проблема вагонетки"
https://publications.hse.ru/articles/846074095
Решения у подобных задач нет не потому, что мы его не знаем, а потому, что мы знаем их много; причем разные "мы" знают разные решения. Как на персональном уровне, так и на уровне групп (половых, возрастных, населения стран, религиозных групп и т. д.). Содержательный анализ тут:
https://elementy.ru/novosti_nauki/433355/
Более того - индивидуальные мнения могут в некоторых случаях зависеть от многих факторов, о которых мы даже не подозреваем. А на групповом уровне - от деятельности пропаганды, которая, как оказалось, вполне может натравить один народ на другой. Я имею в виду, разумеется, гитлеровскую Германию.
Человечество имеет опыт таких ситуаций - сначала это межплеменные и религиозные войны, а потом голосования и прочие признаки цивилизации. Хочется надеяться, что опыт цивилизованного решения этических проблем будет людьми расширен. Попутно - чтобы было меньше обиженных, можно ввести компенсации проигравшим за счет выигравших. Причем до голосования выяснять, какую компенсацию победителей к побежденным все в среднем сочтут правильной (например, дневной или недельный доход). Социологи и психологи вполне могут это выяснить.
Проблема "ИИ и этика" может осложняться тем, что для ИИ, как кажется некоторым людям, надо разработать формальное решение, а это воспринимается как посягательства на человеческие прерогативы. Однако мы знаем, что ЕИ может обучаться той или иной этике (в том числе и этике, предписывающей массовые убийства в отношении другой этнической группы). Наверное, так же этике может обучиться ИИ. Причем в этом случае отпадает возражение о формализации, потому что выработка формализации вообще не имеет места.
Но возникает другая проблема - мы видим, что люди в смысле "этики" очень разные. Можно осторожно предположить, что и ИИ могут в этом смысле оказаться разными. Будем надеяться, что лучшие айтишники и собеседники окажутся на светлой стороне. И что мы сами, и те, кто нам дорог, будут именно на ней. Попутно заметим, что с тем, как решает этические проблемы человек, тоже не все ясно - и может быть, погружение в проблему ИИ позволит нам лучше понять ЕИ. Различия в ИИ будут возникать, как и у ЕИ, в процессе воспитания, взросления. В том числе и непреднамеренно, в результате общения с разными ЕИ. Станислав Лем, рассказ "Ананке"
http://www.serann.ru/text/ananke-8923
Многие проблемы ИИ опираются - так уж мы привыкли - на дилемму "ИИ или ЕИ". Эта проблема не в природе вне нас, а у нас в голове - человеку проще делить все объекты на две кучки. Любой "естественный" интеллект искусственен, потому что он создан влиянием окружения, а не вырос сам по себе. А любой "искусственный" естественен, потому что он создан человеком, частью природы, то есть природой посредством человека. Это, конечно, трюизм, но что вы скажете о композитном собеседнике в тесте Тьюринга, который чередует реплики человека и машины, или смешивает их в любом отношении? Или хитрее - один интеллект предлагает несколько вариантов реплики, а другой выбирает, и далее по очереди? Вариантов организации совместной деятельности много, примеры такой деятельности есть, для нее уже создан термин "коллаборативный", а применение термина - признак определенного уровня развития.
В какой момент при встраивании чипов в мозг мы скажем - вот теперь он искусственный? Мы можем попытаться уклониться от этой задачи, введя термин "композиционный интеллект", но из этого ничего не получится, просто нам придется рассматривать не одну границу, а две. Лучше ввести понятие "степень искусственности"
http://lit.lib.ru/a/ashkinazi_l_a/text_3010.shtml
Так что при любых рассуждениях на тему ИИ надо учитывать, что между Е и И еще много промежуточного.
Вот одна идея, лично мне дорогая и близкая. Человеческая педагогика может быть применена к ИИ, а принципы обучения нейронных сетей могут проникнуть в человеческую педагогику. И элемент такого подхода в педагогике уже был. В школе, которую я окончил, в начале изучения теории функций школьникам предлагалось самим разработать классификацию функций, располагая списком функций, но без деления их на классы
http://lit.lib.ru/a/ashkinazi_l_a/text_2760.shtml
В мире ИИ это называется "обучение без учителя" - название неправильное, но устоявшееся.
И вообще - мы все время обсуждаем, как ЕИ создает ИИ, не замечая, что ИИ уже начал создавать ЕИ.
Одним из аргументов за принципиальную ограниченность ИИ является отсутствие у него способности к постановке целей и наличие такой способности у ЕИ. Посмотрим, действительно ли есть это различие, а если есть - то как и почему оно возникло, и при каких условиях оно исчезнет. На уровне конкретных действий различий нет - любой выбор ветви в программе можно интерпретировать, как выбор цели. На это можно возразить, что в программе эти выборы прописаны изначально. Но и в человеке выборы прописаны - его внутренним содержанием и окружающим миром. Из этого не следует полная детерминированность человеческого поведения, потому что и внутри человека, и вокруг него есть случайности. Но это же относится и к ИИ - и вокруг него, то есть в мире людей, есть случайности, и в компьютере тоже
http://lit.lib.ru/a/ashkinazi_l_a/text_1590.shtml
Рассматривая выборы, которые делает человек, и спрашивая, почему он сделал конкретный выбор, мы часто видим исходную для этого выбора внутреннюю (психология) и внешнюю (обстоятельства) причину. Разница в том, что программист, как думают не программисты, знает про свою программу все, а человек, обнаружив незнание, закатывает глаза и начинает бормотать о возвышенном. Но профессиональный психолог может существенно расширить наше понимание причин наших собственных выборов.