Комментарии
1
Открытое письмо о дружественном и надежном искусственном интеллекте: http://futureoflife.org/ai-open-letter/
2
Пример типичного алармизма по отношению к роботам в широкой прессе: http://tinyurl.com/hawkingbots
3
Замечание по поводу происхождения термина AGI см.: http://goertzel.org/who-coined-the-term-agi/
4
Hans Moravec 1998, «When will computer hardware match the human brain», Journal of Evolution and Technology, vol. 1.
5
Данные о стоимости вычислений в разные годы до 2011 взяты из книги Рэя Курцвейла How to Create a Mind, последующие данные вычислены на основании информации, приведенной в: https://en.wikipedia.org/wiki/FLOPS
6
Один из создателей теории квантовых вычислений Дэвид Дойч показывает, каким образом квантовые вычисления связаны с многомировой интерпретацией квантовой механики, в книге: David Deutsch. The fabric of reality. London: Penguin, 1997 (есть русский перевод: Дойч Д. Структура реальности. Наука параллельных вселенных. М.: Альпина нон-фикшн, 2015. — Прим. перев.). Если вас интересует мой собственный подход к квантовым параллельным вселенным как к третьему из четырех уровней мультиверсума, то смотрите мою книгу Our Mathematical Universe (см. рус. пер.: Тегмарк М. Наша математическая Вселенная. В поисках фундаментальной природы реальности. М.: Corpus, 2016 / пер. с англ. А. Сергеев. — Прим. перев.).
7
О прорыве, совершенном Google в распознавании образов, см.: https://arxiv.org/pdf/1411.4555.pdf
8
DeepMind алгоритм глубокого машинного обучения с подкреплением позволил довольно быстро научиться играть в Breakout: https://tinyurl.com/atariai
9
См. статью, в которой описывается искусственный интеллект DeepMind, совершенствующийся в играх на платформе Atari: http://tinyurl.com/ataripaper
10
Робот Биг Дог в действии: https://www.youtube.com/watch?v=W1czBcnX1Ww
11
Запись реакции на революционный ход AlphaGo на 5-й линии: https://www.youtube.com/watch?v=JNrXgpSEEIE
12
Статья в New York Times о недавних достижениях в машинном переводе: http://www.nytimes.com/2016/12/14/magazine/the-great-aiawakening.html
GoogleTranslate доступен по ссылке: https://translate.google.com
13
Winograd Schema Challenge см.: http://tinyurl.com/winogradchallenge
14
Взрыв ракеты «Ариан‐5»: https://www.youtube.com/watch?v=qnHn8W1Em6E
15
Доклад комиссии по расследованию аварийного пуска «Ариан‐5»: http://tinyurl.com/arianeflop
16
Доклад по результатам первой фазы расследования неудачного пуска миссии NASA по изучению марсианского климата: http://tinyurl.com/marsflop
17
Наиболее подробный и связный отчет о том, что авария на старте миссии NASA «Маринер‐1» к Венере была вызвана одной-единственной ошибкой — математический символ, написанный рукой человека, был без верхнего подчеркивания: http://tinyurl.com/marinerflop
18
Подробное описание причин неудачи с советским зондом «Фобос‐1», направлявшимся к Марсу, можно найти на с. 308 этой книги: Wesley Huntress & Mikhail Marov. Soviet Robots in the Solar System, Praxis Publishing, 2011.
19
Как неверифицированный софт обошелся Knight Capital в 440 миллионов долларов всего за 45 минут см.: http://tinyurl.com/knightflop1 и http://tinyurl.com/knightflop2
20
Доклад правительства США о причинах резкого скачка индекса Доу-Джонса 6 мая 2010 года («Flash Crash»): http://tinyurl.com/flashcrashreport
21
3D-печать зданий (https://www.youtube.com/watch?v=SObzNdyRTBs), микромеханических устройств (http://tinyurl.com/tinyprinter) и много чего еще (https: //www.youtube.com/watch?v=xVU4FLrsPXs)
22
Глобальная карта fab-лабораторий: https://www.fablabs.io/labs/map
23
Новостная заметка об убийстве Роберта Уильямса промышленным роботом: http://tinyurl.com/williamsaccident
24
Новостная заметка об убийстве Кендзи Урада промышленным роботом: http://tinyurl.com/uradaaccident
25
Новостная заметка об убийстве рабочего с завода Фольксвагена промышленным роботом: http://tinyurl.com/baunatalaccident
26
Отчет правительства США о несчастных случаях на производстве со смертельным исходом: https://www.bls.gov/iif/cfoi_revised14.htm
27
Статистика ДТП со смертельным исходом: http://fortune.com/2017/02/15/traffic-deadliest-year/
28
Новостная заметка о первом ДТП со смертельным исходом с участием беспилотного автомобиля Tesla: http://tinyurl.com/teslacrashstory
Доклад правительства США: http://tinyurl.com/teslacrashreport
29
О крушении парома «Herald of Free Enterprize» см. кн.: R. B. Whittingham. The Blame Machine: Why Human Error Causes Accidents. Elsevier, 2004.
30
Документальный фильм о крушении французского самолета, выполнявшего рейс Air France 447: https://www.youtube.com/watch?v=So9iFv0NoZw
Официальное сообщение о крушении: http://tinyurl.com/af447report
Независимый анализ: http://tinyurl.com/thomsonarticle
31
Официальное сообщение о веерном отключении энергоснабжения в США и Канаде в 2003 году: http://tinyurl.com/uscanadablackout
32
Итоговый отчет президентской комиссии об инциденте в Три-Майл-Айленде: http://large.stanford.edu/courses/2017/ph241/blackwood1/docs/kemeny.pdf
33
Голландское исследование, показывающее, что искусственный интеллект не уступает человеческому в радиологической диагностике рака простаты с использованием магнитно-резонансной томографии: http://tinyurl.com/prostate-ai
34
Исследование, проведенное в Стэнфорде, показывающее, что искусственный интеллект позволяет лучше проводить диагностику рака легких, чем анализы врачей: http://tinyurl.com/lungcancer-ai
35
Результаты расследования несчастного случая лучевой терапии с использованием аппарата Therac-25: http://www.cse.msu.edu/~cse470/Public/Handouts/Therac/Therac_1.html
36
Доклад о повлекшей смерть ошибке в определении дозы облучения из-за вмешательства человека при лечении больного раком в Панаме: http://tinyurl.com/cobalt60accident
37
Исследование роботизированных хирургических операций с неблагоприятным исходом: https://arxiv.org/abs/1507.03518
38
Статья о смертельных исходах, вызванных ненадлежащим содержанием в больницах: http://tinyurl.com/medaccidents
39
Yahoo задал новый эталон «большого взлома», сообщив о краже трех миллиардов (!) учетных записей своих пользователей: https://www.nytimes.com/2017/10/03/technology/yahoo-hack-3-billion-users.html
40
Статья в New York Times о том, как убийца из Ку-клукс-клана был сначала оправдан, а потом осужден — много лет спустя: http://tinyurl.com/kkkacquittal
41
Исследование Данцигера с коллегами 2011 года (http://www.pnas.org/content/108/17/6889.full), доказывающее, что голодные судьи выносят более жестокие приговоры, было оспорено Вейншел-Марджел и Джоном Шапардом (http://www.pnas.org/content/108/42/E833.full), но Данцигер с коллегами привел новые свидетельства свой правоты: http://www.pnas.org/content/108/42/E834.full
42
Сообщение в Pro Publica о расовых предубеждениях программного обеспечения, предсказывающего криминальные рецидивы: http://tinyurl.com/robojudge
43
Использование функциональной магнитно-резонансной томографии и других методов сканирования мозга в качестве доказательства в судах крайне сомнительно из-за низкой достоверности самих этих методов, хотя многие исследовательские группы утверждают, что их точность превышает 90 %: http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00709/full
44
Американская телекомпания PBS сняла фильм The Man Who Saved the World (Человек, который спас мир) об инциденте, в котором Василий Архипов предотвратил советский ядерный удар по Америке: https://www.youtube.com/watch?v=4VPY2SgyG5w
45
Рассказ о том, как Станислав Петров не поверил поступившим предупреждениям о готовящейся ядерной атаке Соединенных Штатов на СССР, лег в основу фильма The Man Who Saved the World (Человек, который спас мир — этот фильм не следует путать с другим, упомянутым в предыдущей сноске, с таким же названием). В 2008 году Петров был приглашен в штаб-квартиру ООН, где получил награду Ассоциации граждан мира: https://www.youtube.com/watch?v=IncSjwWQHMo
46
Открытое письмо от исследователей в области искусственного интеллекта и робототехники о запрете автономного оружия: http://futureoflife.org/open-letter-autonomous-weapons/
47
В американском правительстве, очевидно, есть люди, стремящиеся развязать гонку AI-вооружений: http://tinyurl.com/workquote
48
Исследование неравномерности распределения богатства в США с 1913 года: http://gabriel-zucman.eu/files/SaezZucman2015.pdf
49
Доклад Oxfam о глобальном неравенстве: http://tinyurl.com/oxfam2017
50
Данные взяты из: Facundo Alvaredo, Anthony B. Atkinson, Thomas Piketty, Emmanuel Saez, and Gabriel Zucman, The World Wealth and Income Database (http://www.wid.world, 31/10/2016).
51
Прекрасное обоснование гипотезы технологически обусловленного неравенства дано в: Erik Brynjolfsson & Andrew McAfee. The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. Norton, 2014.
52
Статья в The Atlantic о падающих заработках у представителей наименее образованных слоев общества: http://tinyurl.com/wagedrop
53
Презентация Джеймса Манийки, показывающая перераспределение доходов от труда к капиталу: http://futureoflife.org/data/PDF/james_manyika.pdf
54
Прогноз относительно автоматизации рабочих мест Оксфордского университета (http://tinyurl.com/automationoxford) и Мак-Кинзи (http://tinyurl.com/automationmckinsey)
55
Робот-повар: https://www.youtube.com/watch?v=fE6i2OO6Y6s
56
Марин Солачич исследовала эти возможности во время семинара 2016 года «Компьютеры пошли вразнос: прямое и косвенное воздействие достижений в развитии искусственного интеллекта на общество»: http://futureoflife.org/2016/05/06/computers-gone-wild/
57
Предложения Эндрю Макафи по созданию большего количества хороших рабочих мест: http://futureoflife.org/data/PDF/andrew_mcafee.pdf
58
В дополнение ко многим академическим статьям, доказывающим, что «на этот раз все будет по-другому», в этом ролике Люди на работу не требуются в сжатой форме проводится та же мысль: https://www.youtube.com/watch?v=7Pq-S557XQU
59
Бюро по трудовой статистике США: http://www.bls.gov/cps/cpsaat11.htm
60
Аргумент «на этот раз все будет по-другому» в пользу технологической безработицы: Federico Pistono. Robots Will Steal Your Job, but That’s OK, 2012, http://robotswillstealyourjob.com
61
Колебания численности популяции лошадей в США: http://tinyurl.com/horsedecline
62
Метаанализ, показывающий, как безработица отражается на благосостоянии: Maike Luhmann et al. Subjective well-being and adaptation to life events: a meta-analysis. Journal of personality and social psychology 102.3 (2012): 592, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3289759
63
Исследования причин, определяющих субъективное благосостояние:
Angela Duckworth, Tracy Steen, and Martin Seligman 2005, Positive Psychology in Clinical Practice (http://tinyurl.com/wellbeingduckworth); Weiting Ng & Ed Diener, What matters to the rich and the poor? Subjective well-being, financial satisfaction, and postmaterialist needs across the world. Journal of personality and social psychology 107.2 (2014): 326 (http://psycnet.apa.org/journals/psp/107/2/326); Kirsten Weir. More than job satisfaction (http://www.apa.org/monitor/2013/12/job-satisfaction.aspx)
64
Перемножение примерно 1011 нейронов, примерно 104 синапсов на нейрон и одного (100) возбуждения нейрона в секунду дает примерно 1015 FLOPS (1 petaFLOPS) — такого быстродействия достаточно для симуляции человеческого мозга, но здесь есть много плохо понимаемых осложнений, в том числе закон, по которому происходят возбуждения, и вопрос, надо ли отдельно симулировать небольшие части нейронов и синапсов. Специалист IBM Дхармендра Модха оценил необходимую производительность в 38 petaFLOPS (http://tinyurl.com/javln43), а нейробиолог Генри Маркрам дал другую оценку — около 1 000 petaFLOPS (http://tinyurl.com/6rpohqv). Катья Грейс и Пол Кристиано утверждают, что наиболее дорогой аспект симуляции мозга не в вычислениях, а в коммуникациях, но и это под силу современному суперкомпьютеру: http://aiimpacts.org/about
65
Эта статья содержит интересные оценки вычислительной мощности человеческого мозга: Hans Moravec. When will computer hardware match the human brain. Journal of Evolution and Technology. 1998. Vol. 1.
66
Первая механическая птица: https://www.ted.com/talks/a_robot_that_flies_like_a_bird
67
Цит. по: Ray Kurzweil, The Singularity is Near, Viking Press, 2005.
68
См.: сценарий Бена Гёрцля: https://wiki.lesswrong.com/wiki/Nanny_AI
69
Статья об отношениях людей и машин (можно ли считать машины нашими рабами): http://tinyurl.com/aislaves
70
Мысленные преступления обсуждаются Бострёмом в его книге Superintelligence и, с несколько бóльшим количеством технических деталей, в статье: Nick Bostrom, Allan Dafoe & Carrick Flynn (2016) Policy Desiderata in the Development Of Machine Superintelligence,http://www.nickbostrom.com/papers/aipolicy.pdf
71
Воспоминания бывшего подполковника восточногерманских спецслужб см.: http://www.mcclatchydc.com/news/nation-world/national/article24750439.html
72
Наводящие на размышления суждения о том, что может подталкивать людей к совершению поступков с ни для кого не желательными последствиями, можно найти в: Scott Alexander, Meditations on Molloch (http://slatestarcodex.com/2014/07/30/meditations-on-moloch)
73
Интерактивная хроника настораживающих событий, которые доказывают, что ядерная война может начаться случайно: http://tinyurl.com/nukeoops
74
О компенсационных выплатах жертвам ядерных испытаний в США см.: https://www.justice.gov/sites/default/files/civil/legacy/2014/10/20/Tre_SysClaimsToDateSum.pdf
75
Доклад комиссии США об угрозе электромагнитного импульса, возникающего в результате ядерного взрыва: http://www.empcommission.org/docs/A2473-EMP_Commission-7MB.pdf
76
Независимые исследования американских и советских ученых, предупреждавших Рейгана и Горбачева об опасности ядерной зимы:
— Crutzen, P. J. & Birks, J. W. (1982) The atmosphere after a nuclear war: Twilight at noon, Ambio,11;
— Turco, R. P., Toon, O. B., Ackerman, T. P., Pollack, J. B. & Sagan, C. (1983) Nuclear winter: Global consequences of multiple nuclear explosions, Science, 222, 1283–1292;
— Aleksandrov, V. V. & Stenchikov, G. L. (1983) On the modeling of the climatic consequences of the nuclear war, Proceeding on Applied Mathematics, 21: Computing Centre of the USSR Academy of Sciences, Moscow (см. рус. вариант статьи: Александров В. В., Стенчиков Г. Л. Об одном вычислительном эксперименте, моделирующем климатические последствия ядерной войны // Ж. вычисл. матем. и матем. физ. 2014. 24:1, 140–144);
— Robock, A. (1984) Snow and ice feedbacks prolong effects of nuclearwinter, Nature, 310, 667–670.
77
Расчеты климатических изменений после ядерной войны см. в: Robock A., Oman, L. & Stenchikov, L. (2007). Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences, J. Geophys. Res., 12, D13107.
78
Подборка ресурсов, посвященных сфере Дайсона, подготовленная Андерсом Зандбергом: http://tinyurl.com/dysonsph
79
Ключевая статья Фримена Дайсона о сферах, носящих его имя: Freeman Dyson (1959) Search for Artificial Stellar Sources of Infrared Radiation, Science, 131: 1667–1668.
80
Крейн и Вестморланд объясняют принцип работы двигателя на черной дыре в: http://arxiv.org/pdf/0908.1803.pdf
81
Иконографика от CERN об элементарных частицах: http://tinyurl.com/cernparticles
82
В этом ролике показан безъядерный прототип, приводимый в движение взрывами бомб и разработанный в рамках проекта «Орион». Он иллюстрирует идею ядерных взрывов в качестве ракетного двигателя: https://www.youtube.com/watch?v=E3Lxx2VAYi8
83
Учебное введение в принцип действия лазерного паруса: http://www.lunarsail.com/LightSail/rit-1.pdf
84
Джей Олсон анализирует возможности космической экспансии цивилизаций: http://arxiv.org/abs/1411.4359
85
Первый подробный анализ нашего далекого будущего: Dyson, Freeman J. (1979) Time without end: Physics and biology in an open universe, Reviews of Modern Physics, 51.3, 447, http://tinyurl.com/dysonfuture (см. рус. пер. в: Далекое будущее Вселенной. Эсхатология в космической перспективе / под ред. Дж. Эллис. М.: ББИ, 2012).
86
Упомянутая выше формула Сета Ллойда говорит нам, что выполнение вычислительной операции в течение времени τ требует расхода энергии в E ≥ h/4τ где h — постоянная Планка. Если вы хотите выполнить одну за другой N операций, то τ = T/N, откуда следует, что, расходуя энергию Е за время Т, можно выполнить N ≤ 2√ET/h операций. Таким образом, и время, и энергия — это ресурсы, которых хотелось бы иметь побольше. Если вы распределите свою энергию Е между n параллельными вычислениями, то они будут осуществляться медленнее и эффективность вырастет. Ник Бострём оценивает количество операций, требуемых на симуляцию 100 лет человеческой жизни, в 1027.
87
Если вы хотите получить веский аргумент, почему возникновение жизни требует довольно редкой флуктуации, из-за чего наши ближайшие соседи оказываются за 101000 метров от нас, я советую посмотреть видео физика и астробиолога из Принстона Эдвина Тёрнера: https://www.youtube.com/watch?v=Bt6n6Tu1beg
88
Эссе Мартина Риса о поиске внеземных цивилизаций см.: https://www.edge.org/annual-question/2016/response/26665
89
Популярное изложение статьи Джереми Ингланда о диссипативно направленной адаптации см. в: https://www.scientificamerican.com/article/a-new-physics-theory-of-life/
Основные идеи взяты из книги: Ilya Prigogine & Isabelle Stengers (1984) Order Out of Chaos: Man’s New Dialogue with Nature, Bantam (см. рус. пер.: Пригожин И., Стенгерс И. Порядок из хаоса: Новый диалог с природой / пер. с англ. Ю. А. Данилова. М.: Прогресс, 1986. — Прим. перев.).
90
О чувствах и их физиологических причинах см.:
— William James (1890) Principles of Psychology, Henry Holt & Co.;
— Robert Ornstein (1992) Evolution of Consciousness: The Origins of the Way We Think, Simon & Schuster;
— António Damásio (2005) Descartes’ Error: Emotion, Reason, and the Human Brain, Penguin;
— António Damásio (2012) Self Comes to Mind: Constructing the Conscious Brain, Vintage.
91
Элиезер Юдковски обсуждал возможность приведения в соответствие с целями дружественного искусственного интеллекта не просто наших целей, а наших целей («волений»), гладко экстраполированных в будущее (coherent extrapolated volition, CEV). Образно говоря, это то, чего хотела бы идеализированная версия нас самих, если бы мы знали больше, думали быстрее и были бы в большей степени людьми, чем сами бы хотели. Юдковски начал критиковать идею CEV вскоре после предания ее гласности в 2004 году: (http://intelligence.org/files/CEV.pdf) и потому, что ее сложно применить, и потому, что неясны возможности преобразования ее во что-нибудь хорошо определенное.
92
В подходе обратного обучения с подкреплением ключевая идея состоит в том, что искусственный интеллект стремится к максимальному удовлетворению не своих целей, а целей его владельца-человека. Поэтому он должен проявлять осторожность в тех случаях, когда непонятно, чего в точности хочет владелец, и надо поначалу с этим разобраться. Тогда проблемы с выключением не возникает: оно указывает на возникшее непонимание истинных намерений владельца.
93
См. статью Стива Омохундро: http://tinyurl.com/omohundro2008
94
Глубокая и содержательная книга Ханны Аренд о том, что бывает, когда разум слепо подчиняется приказам, не обращаясь к вопросам этики: Hanna Arendt (1963), Eichmann in Jerusalem: A Report on the Banality of Evil, Penguin (есть русский перевод: Арендт Х. Банальность зла. Эйхман в Иерусалиме / пер. с англ. С. Кастальский, Н. Рудницкая. М.: Европа, 2008. — Прим. перев.). Близкая дилемма возникает в работе Эрика Дрекслера (http://www.fhi.ox.ac.uk/reports/2015-3.pdf): чтобы удерживать сверхразум под своим контролем, его расчленяют на меньшие части, каждая из которых не в состоянии понять всю картину целиком. Если такое получится, то опять же возникает мощное орудие без внутренних моральных ограничителей, способное безропотно выполнять волю своего владельца. Это напоминает расчлененную бюрократию в условиях тиранической антиутопии: одна часть контролирует создание оружия, не зная, как оно будет использоваться, другая — казнит осужденных, не зная, в чем их вина, и т. п.
95
Современный вариант этого «золотого правила» предложил Джон Ролз: гипотетическая ситуация морально приемлема, если никто не хочет ее изменить, не зная заранее, какое место в ней займет.
96
Например, IQ многих людей в ближайшем окружении Гитлера был весьма высок: http://tinyurl.com/nurembergiq
97
Словарная статья о сознании Стюарта Сазерленда довольно любопытна. См.: Macmillan Dictionary of Psychology, Macmillan, 1989.
98
Эрвин Шрёдингер, один из создателей квантовой механики, сделал это замечание в книге Mind and Matter (см.: Шрёдингер Э. Разум и материя / пер. с англ. А. В. Монаков. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2000. — Прим. перев.), обсуждая прошлое: что бы произошло, если бы сознательная жизнь никогда не возникла и не заняла главенствующего места? С другой стороны, возникновение искусственного интеллекта ставит логическую проблему, связанную с тем, что теперь мы сами можем начать разыгрывать пьесу перед пустыми креслами в будущем.
101Стэнфордская философская энциклопедия приводит подробный обзор различных способов определения и использования слова «сознание». См.: http://tinyurl.com/stanfordconsciousness
99
Yuval Noah Harari (2017) Homo Deus, p. 116.
100
Прекрасное введение в теорию «Системы 1» и «Системы 2» см.: Daniel Kahneman (2011) Thinking, Fast and Slow, Farrar, Straus & Giroux.
101
См.: Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, W. H. Freeman.
102
Мы осознаем лишь незначительную часть информации (скажем, около 10–50 бит), ежесекундно проходящей через наш мозг. См.: Küpfmüller, K. (1962) Nachrichtenverarbeitung im Menschen, in: Steinbuch, K. (Ed.) Taschenbuch der Nachrichtenverarbeitung, 1481–1502.
Nørretranders, T. (1991) The User Illusion: Cutting Consciousness Down to Size, Viking.
103
Michio Kaku (2014) The Future of the Mind: The Scientific Quest to Understand, Enhance, and Empower the Mind, Doubleday
— Jeff Hawkins & Sandra Blakeslee (2007) On Intelligence, Times Books;
— Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux (1998) A neuronal model of a global workspace in effortful cognitive tasks, Proceedings of the National Academy of Sciences, 95, 14529–14534.
104
Знаменитый эксперимент Пенфилда «Я чувствую запах подгоревшего тоста», см.: https://www.youtube.com/watch?v=pUOG2g4hj8s
Детали о сенсоромоторных отделах коры головного мозга см.: Elaine Marieb & Katja Hoehn (2008) Anatomy & Physiology, 3rd Ed., Pearson, p. 391–395.
105
Изучение нейронных коррелятов сознания (NCCs) стало занимать в последние годы центральное место среди интересов нейробиологического сообщества. См., например:
Geraint Rees, Gabriel Kreiman & Christof Koch (2002) Neural correlates of consciousness in humans, Nature Reviews Neuroscience, 3, 261–270, и Thomas Metzinger (2000) Neural correlates of consciousness: Empirical and conceptual questions, MIT press.
106
О том, как работает непрерывное подавление вспышек, см.:
— Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, W. H. Freeman;
— Christof Koch & Naotsugu Tsuchiya (2005) Continuous flash suppression reduces negative afterimages, Nature Neuroscience, 8, 1096–1101.
107
См.: Christof Koch, Marcello Massimini, Melanie Boly & Giulio Tononi (2016) Neural correlates of consciousness: progress and problems, Nature Reviews Neuroscience, 17, 307.
108
См. с. 250 в: Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, Op. cit, а также дальнейшее обсуждение вопроса в Стэнфордскойфилософскойэнциклопедии (http://tinyurl.com/consciousnessdelay).
109
О синхронизации осознанного восприятия см.:
— David Eagleman (2015) The Brain: The Story of You, Pantheon;
— Stanford Encyclopedia of Philosophy, http://tinyurl.com/consciousnesssync
110
См.: Benjamin Libet (2004) Mind Time — The Temporal Factor in Consciousness, Harvard University Press, Chun Siong Soon, Marcel Brass, Hans-Jochen Heinze, John-Dylan Haynes (2008) Unconscious determinants of free decisions in the human brain, Nature Neuroscience, 11, 543–545, (http://www.nature.com/neuro/journal/v11/n5/full/nn.2112.html)
111
См. примеры теоретических подходов к исследованию сознания в:
— Daniel Dennett (1992) Consciousness explained, Back Bay Books;
— Bernard Baars (2001) In the Theater of Consciousness: The Workspace of the Mind, Oxford Univ. Press;
— Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, Roberts;
— Gerald Edelman & Giulio Tononi (2008) A Universe Of Consciousness How Matter Becomes Imagination: How Matter Becomes Imagination, Hachette;
— António Damásio (2012) Self Comes to Mind: Constructing the Conscious Brain, Vintage;
— Stanislas Dehaene (2014) Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts, Viking;
— Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux (1998) A neuronal model of a global workspace in effortful cognitive tasks, Proceedings of the National Academy of Sciences, 95, 14529–14534;
— Stanislas Dehaene, Lucie Charles, Jean-Rémi King & Sébastien Marti (2014) Toward a computational theory of conscious processing, Current opinion in neurobiology, 25, 760–84.
112
Основательное обсуждение использования термина «emergence» в физике и философии см. в статье Дэвида Чалмерса: http://cse3521.artifice.cc/Chalmers-Emergence.pdf
113
Мои работы, где я доказываю, что сознание — это то, что происходит с информацией при ее обработке определенным сложным образом:
— https://arxiv.org/abs/physics/0510188
— https://arxiv.org/abs/0704.0646
Max Tegmark (2014) Our Mathematical Universe, Random House.
Дэвид Чалмерс формулирует близкую точку зрения в своей книге 1996 года The Conscious Mind: «Переживание — это информация изнутри, физика — это информация снаружи».
114
См.: Adenauer Casali et al. (2013) A theoretically based index of consciousness independent of sensory processing and behavior, Science translational medicine, 5, 198ra105, http://tinyurl.com/zapzip
115
Теория интегральной информации (IIT) не работает в непрерывных системах. См.:
— https://arxiv.org/abs/1401.1219
— http://journal.frontiersin.org/article/10.3389/fpsyg.2014.00063/full
– https://arxiv.org/abs/1601.02626
116
Интервью с Клайвом Уэрингом, кратковременная память которого всего 30 секунд, см.: https://www.youtube.com/watch?v=WmzU47i2xgw
117
Критика IIT Скоттом Аарансоном, см.: http://www.scottaaronson.com/blog/?p=1799
118
Критика IIT Черрулло, который утверждает, что интеграция — недостаточное условие для сознания, см.: http://tinyurl.com/cerrullocritique
119
Предсказание на основе IIT, что симулированные люди будут зомби, см.: http://rstb.royalsocietypublishing.org/content/370/1668/20140167
120
Критика IIT Шанаханом, см.: http://arxiv.org/ftp/arxiv/papers/1504/1504.05696.pdf
121
О слепом пятне см.: http://tinyurl.com/blindsight-paper
122
См. сн. 105.
123
«Сознание без доступа», за и против, см.: Victor Lamme (2010), How neuroscience will change our view on consciousness, Cognitive Neuroscience, 204–20 (http://www.tandfonline.com/doi/abs/10.1080/17588921003731586)
124
См.: https://www.youtube.com/watch?v=vJG698U2Mvo
125
См. сн. 126.
126
Подробное обсуждение этих вопросов см. в книге Дэниела Деннета Consciousness explained.
127
См. сн. 103.
128
См. по поводу свободы воли в Стэнфордской философской энциклопедии: https://plato.stanford.edu/entries/freewill
129
Видео, в котором Сет Ллойд объясняет, почему искусственный интеллект должен ощущать себя обладающим свободной волей, см.: https://www.youtube.com/watch?v=Epj3DF8jDWk
130
См. Dreams of a Final Theory: The Search for the Fundamental Laws of Nature (см. рус. пер.: Вайнберг С. Мечты об окончательной теории: физика в поисках самых фундаментальных законов природы / пер. с англ. А. В. Берков. М.: УРСС, 2004. — Прим. перев.).
131
См. сн. 91.
132
За открытым письмом (http://futureoflife.org/ai-open-letter/), написанным по итогам конференции в Пуэрто-Рико, о том, что проведение исследований, направленных на достижение надежности и дружественности искусственного интеллекта, необходимо и своевременно, появился документ о приоритетах, где перечислены существующие уже сегодня конкретные исследовательские направления, которые позволяют двигаться к этой цели: http://futureoflife.org/data/documents/research_priorities.pdf
133
Мое видеоинтервью с Илоном Маском о AI-безопасности: https://www.youtube.com/watch?v=rBw0eoZTY-g
134
Видеокомпиляция практически всех попыток посадить ракету SpaceX, включая успешную, см.:
https://www.youtube.com/watch?v=AllaFzIPaG4
135
Сообщение о нашем конкурсе по AI-безопасности Маск опубликовал в своем Twitter: https://twitter.com/elonmusk/status/555743387056226304
136
Твитт Маска о нашем открытом письме, призывающем к исследованиям по AI-безопасности: https://twitter.com/elonmusk/status/554320532133650432
137
Статья, подшучивающая над новостной бурей в прессе по поводу нашего открытого письма, см.: http://www.popsci.com/open-letter-everyone-tricked-fearing-ai
138
Твитт Маска о его большом пожертвовании в пользу нашего института и исследований по AI-безопасности: https://twitter.com/elonmusk/status/555743387056226304
139
Сайт Партнерства по созданию искусственного интеллекта на благо людей и общества (Partnership on AI to benefit people and society), см.: https://www.partnershiponai.org
140
Примеры недавних отчетов по искусственному интеллекту, см.:
— 100-летняя программа исследований искусственного интеллекта в Стэнфорде: http://tinyurl.com/stanfordai
— Отчет Белого дома о будущем искусственного интеллекта: http://tinyurl.com/obamaAIreport
— Отчет Белого дома о воздействии искусственного интеллекта на рынок труда: http://tinyurl.com/AIjobsreport
— Отчет IEEE об искусственном интеллекте и человеческом благосостоянии: http://standards.ieee.org/develop/indconn/ec/ead_v1.pdf
— Дорожная карта US Robotics: http://tinyurl.com/roboticsmap
141
Среди принципов, не попавших в итоговый документ, один из самых мной любимых был такой: «Пока нет общего согласия, мы должны избегать сильных допущений относительно возможности искусственного интеллекта обладать сознанием и чувствами или требовать их для себя». Он прошел много итераций, и на последней из них вызывавшее споры слово «сознание» было заменено на «субъективные переживания», и все равно этот принцип набрал только 88 % голосов, лишь немного недотянув до требуемых 90 %.
142
Дискуссионная панель с Илоном Маском и другими великими умами, см.: http://tinyurl.com/asilomarAI