Почему я перестал работать над задачами Бонгарда (перевод)

Оригинал: Why I stopped working on the Bongard Problems

Почему я перестал работать над задачами Бонгарда

Гарри Фундалис

Обратите внимание: этот текст был написан летом 2007 года и объясняет, почему я, автор, надолго прекратил работу над предметом моих исследований после лета 2006 года. С того времени, когда я это написал, и до 2011 года, я действительно прервал свои исследования, так что название было верным до этого времени. Потом, после 2011 года, я потихоньку начал снова самостоятельно работать, по причинам, объясняемым в конце этой статьи, и получил некоторые результаты. Таким образом, название больше не соответствует действительности. Теперь оно должно звучать так: «Почему я заставил себя сделать большой перерыв в моих исследованиях». Тем не менее, я предпочел сохранить эту статью в Интернете, чтобы зафиксировать важный период в моей жизни и объяснить мою позицию и соображения о научных исследованиях в целом.

---

Веб-страница, которую я написал около 10 лет назад (вот эта) разъясняет удивительную область моих исследований в когнитивной науке, задачи Бонгарда. Сегодня, спустя десять лет, несмотря на большой интерес, который я до сих пор сохраняю к задачам Бонгарда, я прекратил работу над этой темой по некоторым этическим соображениям. Я хотел бы объяснить, что это за этические соображения, поскольку полагаю, что они касаются всех нас; не только ученых, занятых в когнитивных исследованиях, вроде меня, и даже не просто ученых вообще, а буквально всех. Вот краткий обзор:

Во-первых, что такое задачи Бонгарда? Вы можете лучше всего понять это, нажав на ссылку выше, но чтобы уберечь вас от тригонометрических функций, я просто скажу, что задачи Бонгарда — это визуальные головоломки: вы смотрите на что-то вроде рисунка с 6+6 ячейками и пытаетесь понять, почему шесть ячеек слева были отделены от шести ячеек справа. Что общего у шести ячеек слева?

Задача Бонгарда #38: Что общего у всех левых ячеек? А у правых?

Мое исследование было сосредоточено на написании компьютерной программы, которую я назвал Phaeaco, которая могла бы решать такие задачи автоматически. Собственно, просто написать программу, которая может это делать, не так уж важно. Гораздо важнее, как она это делает, поскольку, с одной стороны, существуют простые, механические и неинтересные программы, а с другой стороны, есть более человекоподобные программы для решения таких задач. Моя диссертация описывает вычислительную архитектуру распознавания (это как раз Phaeaco), которая, помимо прочего, может решать задачи Бонгарда, демонстрируя более-менее похожую на человека производительность.

Другими словами, целью моих исследований было не просто написать программу, которая решает задачи Бонгарда, а написать такую программу, которая реализует некоторые основополагающие принципы познания, помогающие ей проявлять — в рудиментарной форме — некоторые аспекты человеческого поведения или человекоподобного мышления.

Ладно, так где же здесь этические проблемы?

Они в отдаленной возможности создания интеллектуальных машин, которые действуют и даже выглядят как люди. Если это произойдет, в конечном итоге, несомненно, будет создано интеллектуальное оружие массового уничтожения. Именно это я хотел бы объяснить.

Взгляните на фотографию женщины слева. Она выглядит реальной? На самом деле, это кукла, называемая «актроид» (actroid). Вы можете узнать больше об актроидах, кликнув по изображению, но в общем, актроид — это «гуманоидный робот, обладающий сильным визуальным сходством с человеком», который «может имитировать такие реалистичные функции, как моргание, речь и дыхание». Вот этот, показанный на фотографии, — это интерактивный робот, способный распознавать и обрабатывать речь и реагировать на неё. Такие роботы включают в себя достаточно «искусственного интеллекта», чтобы отбиваться от навязчивых воздействий, таких как пощечина или толчок, при этом иначе реагировать на более мягкие прикосновения, такие как похлопывание по руке. «Кожа сделана из силикона и кажется очень реалистичной» (полагаю, без ненужных деталей под одеждой.)

Теперь представьте подобного робота в недалеком будущем. Представьте, что она (он или оно) имеет достаточную вычислительную мощность в компьютере, расположенном в её черепе (или в грудной клетке, не важно), чтобы позволить ей вести себя естественным образом, как человек. А также представьте, что в её животе скрывается не кишечник (что было бы для неё бесполезно), а небольшая ядерная бомба.

Невозможно? Почему? Я же говорю не о современных технологиях, когда ядерные бомбы похожи на мастодонтов, а о технологиях будущего, которые смогут уменьшить что угодно.

И речь идет не о ядерной бомбе, способной уничтожить целый город, а о такой, которая может испепелить, скажем, несколько кварталов, а еще множество сделать необитаемыми.

Примечание. Читатель привёл возражение, что существует предел тому, насколько малым может быть ядерное оружие из-за известной критической массы радиоактивного материала для запуска ядерных цепных реакций, а также из-за наличия других деталей и механизмов, которые должна иметь ядерная бомба, чтобы функционировать как контролируемое устройство. Я с этим не спорю. Хотя мы не можем предсказать технологии будущего, основываясь на том, что известно сейчас. Допустим, что подсадить ядерную бомбу в матку действительно никогда не удастся. Но я не намерен сводить круг обсуждаемых вопросов лишь к ядерному оружию. Это может быть биологическое оружие: «бомба», распространяющая смертельные вирусы, даже без взрыва, работающая просто от кашля или чихания актроида. Поэтому, когда вы читаете о «ядерном оружии» в этой статье, пожалуйста, понимайте это как обозначение для «оружия массового уничтожения».

Что ж… полагаю, вы действительно не возражаете, что это правдоподобный сценарий. Но вот во что вы по-настоящему верите (или, может быть, просто надеетесь), это что именно мы, наша сторона, наша армия получит такое чудесное оружие. У врага его не будет, поэтому именно мы, с нашими превосходными технологиями, выйдем победителем и будем жить долго и счастливо, сокрушив варваров. О, да!

Обычно американцы демонстрируют именно такое отношение к высокотехнологичному оружию (если вы американец и читаете это, написанное не означает, что вы обязательно проявляете такое же отношение, обратите внимание на слово «обычно», пожалуйста). Американская культура проявляет пугающе детское отношение к оружию, а также несколько странное (но тоже детское) пренебрежение к человеческой жизни. Опять же, вы можете быть разумным, зрелым американцем, глубоко уважающем жизнь, я говорю о вашем среднем соотечественнике. Вот что пишет американский журналист в Washington Post 6 мая 2007 года:

Для чего же годится самолет, называемый Predator (летающий робот «Хищник»)? Он беспилотный и впечатляющий. В 2002 году, в Йемене, один такой, управляемый ЦРУ, подобрался к внедорожнику, полному лидеров «Аль-Каиды», и успешно выпустил ракету Hellfire («Адский огонь»), оставив большой дымящийся кратер в том месте, где раньше был автомобиль.

Да, вы верно прочитали: несколько человек были превращены в дым и обломки, и этот жалкий журналист, кем бы он ни был, вещающий с менталитетом 10-летнего мальчика, который взорвал своих игрушечных солдат, хладнокровно рассказывает, как люди были превращены в пепел его любимыми (вот именно, «впечатляющими») военными игрушками. Конечно, для подростков, вроде него, внедорожник был полон не людей, а «лидеров Аль-Каиды» (будто бы он знал их звания), террористов, нечеловеков, не достойных жизни, у которых нет матерей, которых бы опустошила их потеря. Думать о враге как о нечеловеческих отбросах, которых можно стереть без лишних мыслей, было типичным отношением нацистов по отношению к евреям (и многим другим) во Второй мировой войны. Полная статья, ссылку на которую я использовал здесь, но позже удалил, чтобы больше не раскрывать имя ее автора, рассказывает, как солдаты чувствуют сентиментальную привязанность к своим роботам, продолжениям их подростковых игрушек, очевидно приписывая им более высокую ценность, чем человеческая жизнь.

Если бы такое отношение редко встречалось среди американцев, если бы вышеупомянутая история была случайностью, я бы не стал беспокоиться. В свободном обществе любой дебил может говорить все, что ему нравится, и даже публиковать свои идиотские мысли. Проблема, с моей точки зрения, в том, что я видел вышеупомянутое отношение вновь и вновь в те годы, что я жил в США. Однажды дворник здания, где я занимался своими исследованиями, только что узнав печальную новость об убитых в Ираке американских солдатах, спросил меня: «Почему бы нам просто не уничтожить их всех? Просто превратить эту проклятую пустыню в стекло и покончить с этими @#$!» (не помню, какое именно выражение он употребил). Вы можете подумать, что дворник не очень деликатен в своем подходе к войне или человеческой жизни. Но через несколько дней я читал еще одну статью на веб-сайте, адрес которой я, к сожалению, не сохранил, где сообщалось о подобной же проблеме: как использовать роботов, чтобы попасть в пещеры (было известно, что тогдашний лидер Аль-Каиды Усама бен Ладен скрывался в пещерах на афгано-пакистанской границе), найти террористов и взорвать все это место вместе с террористами и роботами; «выкурить их из нор», как заявил американский президент Буш-младший сразу после терактов 11 сентября.

Итак, вернемся к нашему вопросу: как было бы здорово иметь «актроидов», беременных ядерными или биологическими бомбами, верно? Может быть даже «нуктроиды», как насчет такого? Конечно, только мы знали бы, что они на самом деле нуктроиды. Для террористов они сойдут за обычных людей.

Насколько недоразвитым должен быть человек, чтобы верить в подобное! Подумайте о ядерном оружии. Когда оно впервые появилось на сцене, во второй половине 20-го века, изначально им владели только пять стран: США, Великобритания, Франция, Советский Союз и Китай (победители во Второй мировой войне). Постепенно в ядерный клуб вошли другие страны, некоторые из них открыто (Индия, Пакистан), другие тайно (Израиль). Теперь каждое государство-изгой может иметь свои ядерные игрушки или мечтать ими обзавестись. В то время, когда я это писал, в международном сообществе был сильный страх, что проамериканский диктатор в Пакистане будет свергнут экстремистскими исламистами, а ядерные бомбы, которыми обладает Пакистан, попадут в руки террористов. Не секрет, что Иран, объявленный врагом США, планирует создать собственное ядерное оружие. Турция, в настоящее время союзник США, планирует построить свои собственные «энергетические» ядерные заводы; но через один-два десятилетия Турция может превратиться в центр радикального исламизма из-за его постепенно меняющейся демографии, и поэтому в будущем мы можем получить в этом же регионе еще одну ядерную державу вроде Ирана. И как же искажённое воображение и кривая логика сделают невозможным для государств-изгоев или даже отдельных лиц обладание и управление «нуктроидами» в обозримом будущем?

Технологии распространяются. Это совсем не то, что может быть заключено внутри национальных границ. Особенно сейчас, когда мы говорим о глобализации, мы должны понимать, что знания тоже «становятся глобальными», включая и специальные знания, необходимые для создания сверхмалого оружия массового уничтожения или смертоносных человекоподобных роботов.

Итак, как же всё это связано с работой над безвредными проектами, такими как автоматизация задач Бонгарда?

Как я уже объяснял ранее, речь идёт не только об автоматизации задач Бонгарда. Речь идет об автоматизации познания. Вот что, в принципе, может делать программа Phaeaco, которую я разрабатывал:

Эта анимированная картинка начинается с изображения нескольких кварталов, полученных с Google Earth. Затем она показывает результат последовательного применения различных «фильтров», которые выполняют простую «обработку изображения». Затем изображение обрабатывается способами, специфичными для Phaeaco (которая полагает, что на входе одна из проблем Бонгарда), пока не будет получено изображение, на котором идентифицированы жилые кварталы. Теперь представьте, что это ваш город — ваш дом, возможно, находится в одном из этих кварталов, и что над ним пролетает беспилотный летательный аппарат, идентифицирующий кварталы, как показано выше, в режиме реального времени. Вооруженный бомбами дрон может быть достаточно «умным», чтобы выбрать нужный квартал и направить туда бомбу — «умным», но лишенным морали.

Любой, кто работает над тем, чтобы сделать машины умными, и особенно желающий «оживить» машины, должен понимать серьезность этических проблем, связанных с такими усилиями. Взгляните на электронное сообщение, отправленное студентом Университета Индианы (IU, академическое учреждение, в котором я защищал свою диссертацию) в 2008 году (выделено мной):

Всем привет,

В четверг, 17 января состоится первая встреча университетского клуба робототехники. Мы — группа старшекурсников и выпускников разных специальностей с общим интересом к робототехнике, автоматизации,
синтетической жизни и искусственному интеллекту. Мы призываем людей оживлять вещи, что бы это ни значило.

Кто-нибудь в Университете понимает этические проблемы, с которыми играют эти дети? Действительно ли важно заниматься клонированием и изучением стволовых клеток? Разве совсем не важно, что эти ребята или, может быть, их дети, могут в не столь отдаленном будущем в результате таких игр превратиться в свободный набор квантовых частиц? Или это безразличие связано с отдаленностью будущего, тогда как другие этические проблемы в науке присутствуют здесь и сейчас? Но разве серьезность угрозы нуктроидов и ее логическая неизбежность не впечатлят любого?

Глобализация как возможный контраргумент

Мой бывший научный руководитель недавно предложил следующий контраргумент (скорее, надежду):

Что касается вашего беспокойства относительно автоматизированного оружия, я понимаю вашу точку зрения и согласен с тем, что просматривается множество плохих возможностей. Однако, я рассматриваю это как своего рода гонку между этими плохими перспективами, с одной стороны, и унификацией человечества через такие вещи как Интернет и мобильные телефоны, электронная почта и т.д., с другой. Мне кажется, что чем крепче мы все связаны друг с другом в одну большую сеть, так что все мы разделяем одну общую судьбу, тем меньше вероятность глобального конфликта и тем больше будет сотрудничества между людьми (и народами). Надеюсь, что сближение мира произойдёт быстрее, чем прогресс в исследовании оружия. Но точно никто не знает, конечно.

Верно, никто не знает. Я здесь не изрекаю абсолютных истин, даже когда говорю о «неизбежности» события (см. выше). Я обдумал соображения моего бывшего научного руководителя, но мои выводы не столь оптимистичны, как его. В частности, я не думаю, что глобализация превратит Землю в большую счастливую деревню. Вовсе нет. Финансовое расстояние между богатейшими богатыми и беднейшими бедными по всему миру, по-видимому, увеличивается от десятилетия к десятилетию. В то время как богатые общества становятся более богатыми, бедные не только остаются так же бедны, но и их количество растёт. Рождаемость в богатых обществах сокращается, в то время как в бедных остаётся стабильно высокой. Бедность порождает еще большую бедность, и так по кругу.

Результатом глобализации могут быть артефакты, такие как телевизионные антенны, выступающие из соломенных хижин в Африке; или обнаженные, красочно украшенные черные девушки с парой наушников в ушах и MP3-плеером, висящим среди других украшений (см. изображение слева). Но глобализация не улучшает уровень жизни бедных. Она лишь облегчает богатым разграбление природных ресурсов бедных, что доказывают нефтяные войны Буша на Ближнем Востоке, что также слишком хорошо известно коренным народам Центральной и Южной Америки. Глобализация отправляет «культуру» США («музыка», голливудские фильмы, привычка к еде быстрого питания, западная одежда и т.д.) в остальной мир, но также отправляет природные ресурсы и богатство из других стран в США. Это приводит к враждебности неимущих, направленной против имущих. Я не вижу, как глобализация поможет всем нам сблизиться. Во всяком случае, я вижу глобализацию как фактор, который усугубляет напряженность и приближает возможный глобальный конфликт, потому что благодаря глобализации бедные вступают в контакт с некоторыми достижениями богатых, узнают о них, всё равно оставаясь бедными, так они видят, чего они лишены и начинают завидовать. В 1789 году во Франции массы бедных восстали против олигархии аристократов (и победили). Если тенденция продолжится, однажды глобальная деревня взорвётся аналогичным образом, когда массы бедных стран снова попросят свою справедливую долю мирового пирога у богатых стран. Я не знаю, произойдёт ли такой взрыв до появления нуктроидов. Но даже если это произойдёт в промежуточный период, когда богатые общества ещё будут развиваться и обладать нуктроидами, тогда как бедные ещё не приобретут их, такое высокотехнологичное оружие не поможет богатым: вы просто не сможете «уничтожить всех». Представления о «превращении пустыни в стекло» могут поддерживаться лишь наивными умами и могут привести к их собственной — и нашей — гибели. Я не пытаюсь продемонстрировать здесь какое-то превосходство над интеллектом того дворника; если кто-то с его позицией может рационально оспорить мои утверждения, я буду рад узнать о таких аргументах.

Замечание, не связанное с содержанием приведённого выше аргумента:

Я заметил после поиска в Интернете по смежной теме, что кто-то выразил свое потрясение по поводу размещённой выше фотографии, на которой изображена полуобнажённая девушка. Должен сказать, я тоже был в шоке, узнав об этом человеке. Когда палец указывает на свет, некоторые люди фокусируются на пальце. То, что я вижу в приведённой выше картине, — это здоровая, молодая и довольно красивая чёрная девочка, живущая своей жизнью в обществе, которое, кажется, является примером именно того, что я хочу показать: технологически незамысловатое общество, но которое, вероятно, получает преимущества от отдельных предметов современной техники. Тот человек, видимо, посмотрел на эту картину и увидел лишь пару грудей. Мне жаль его. Груди девушки, мне кажется, не имеют сексуальной коннотации, а подчёркивают мысль о том, что она выглядит здоровой, уверенной в себе (просто посмотрите на её лицо!) и, скорее всего, блаженно не имеет представления о многочисленных технологиях, кроющихся за простой жевательной резинкой у неё во рту, и об огромном мире, как правило, хорошо одетых людей, которые владеют этими технологиями. Вероятно, она бы тоже удивилась, узнав, что некоторые из этих хорошо одетых людей могут быть шокированы, глядя на два её главных украшения — самую естественную часть ее женственного тела. Я бы согласился с ней и попытался бы ей объяснить, что некоторые люди из того общества (которые делают жевательные резинки и сами являются их страстными потребителями), особенно мужчины, на самом деле никогда не повзрослеют. Пара сисек является для них волшебной приманкой, как морковка для кролика. Они сосредотачиваются на них, поэтому их мозг с этого момента может думать только об одном: «сиськи!» Но я написал эту статью для более зрелых читателей.

---

Аргумент: «Что с того, что вы воздерживаетесь от таких исследований? Другие будут делать это в любом случае»

Да, я понимаю это. Воздержание одного человека может не иметь абсолютно никакого значения в общем положении дел. Моя цель вовсе не прятать голову в песок, как страус, а повышать осведомлённость людей об этой проблеме. И я не ожидаю, что голоса одного человека будет достаточно. Я не знаю, одинок ли я; подозреваю, что это не так, но я не слышал других голосов по этому вопросу; свяжитесь со мной, если вы знаете о других, кто об этом говорит. Если другие хотят заниматься развитием нуктроидов, пусть они это делают (и сталкиваются с последствиями), но на меня не рассчитывайте. Я предпочитаю «подавать свой голос» за выражение моей озабоченности. Надеюсь, что таким образом больший процент людей увидит серьезность этого вопроса и присоединится, оказывая давление на общество и администрации, чтобы что-то сделать и принять какие-то меры.

В конце 19 — начале 20 века, в ожидаемом расширении использования электричества некоторые боялись, что электрический ток будет убивать людей, поэтому электричество воспринималось как общественная угроза. Такие беспокойства, которые кажутся сегодня даже забавными, не были беспочвенны или бесполезны. Именно из-за таких опасений были приняты меры и разработаны технологии, которые позволили создать в основном безопасные электрические устройства.

---

Аргумент «Это звучит как сценарий конца света»

Я согласен с тем, что скептицизм — это здоровое отношение, и я сам скептически отношусь ко многим вопросам. Я скептичен даже в отношении к той угрозе, которую я предсказываю и объясняю в этой статье. Но, рационально взвешивая всё то, что я знаю о человеческой природе, и о том, как далеко могут дойти технологии, с одной стороны, и любые возражения, проистекающие из скептицизма, с другой, я нахожу, что «угроза нуктроидов» перевешивает. Читателям стоит самим всё взвесить, прежде чем делать какие-либо выводы. Небольшое предостережение: тот факт, что некоторые воображаемые сценарии конца света не оправдались в прошлом, не означает, что на самом деле нет никакой опасности — другими словами, можно попасть в ловушку «мальчика, кричавшего «Волк!»». Фундаментальные свойства человеческого разума — пробовать и классифицировать — принцип Дирихле (англ. —Pigeonhole principle); поэтому каждый, кто видел ряд неудачных сценариев конца света, увидев нечто похожее, скажет: «О, еще один». Полагаю, это свойство нашего познания в данном случае не очень полезно; нужно разумно перечислить причины, по которым это «всего лишь ещё один», и задуматься над точностью таких рассуждений.

Связанная с этим проблема, характерная для людей в США, заключается в том, что после терактов 11 сентября американцы пережили период сильного страха, опасения по поводу всего, что могло нарушить их простой и комфортный образ жизни. Теперь, спустя несколько лет без новых нападений на американскую территорию, они постепенно начинают выходить из этого мрачного периода, и уже начали появляться первые статьи, которые критически и даже с юмором рассматривают этот «страшный период» (вот, например [ссылка не работает, автор скорее всего имеет в виду вот эту статью, прим.пер.]). Опасность здесь в том, что они переживают то, что я называю «размах маятника в другое крайнее положение»; то есть, когда вы отпускаете маятник из одной крайней точки, он не переходит прямо к точке равновесия, а сначала качается в другую сторону. Точно так же американцы могут испытывать презрение к той опасности, которую я здесь описываю, и относиться к ней как к еще одному из тех ненавистных сценариев, от которых у них уже мурашки по телу. Это естественная психологическая реакция, чтобы попытаться отвернуться от того, что вызывает дискомфорт. Но американцы смогут понять, что это не то, с чем они уже знакомы, если они осознают, что «борьба с терроризмом» стала дешевым трюком, который в течение многих лет использовался их властями после 9 сентября, чтобы урезать гражданские свободы и без сопротивления провести антидемократические меры. Я не являюсь ни членом их правительства, ни даже американцем. Я говорю как человек, которого волнует судьба людей и будущее человечества в целом.

Аргумент: «Где провести черту?»

Это аргумент, который выдвинули некоторые корреспонденты, и который, по правде, я считаю самым сложным. Аргумент гласит, что изобретатель ножа (предположим, что был такой доисторический персонаж) не может нести ответственность за все последующие его применения. Сэр Исаак Ньютон не может отвечать за тех, кто использует вычисления, чтобы точно определить параболическую орбиту заброшенного объекта, такого как пушечное ядро. Джеймс Клерк Максвелл не отвечает за казни на электрическом стуле преступников (или подозреваемых) в разных штатах США. Чем более общим является открытие, тем более вероятно, что будет найден способ применить его для лишения людей жизни. Нужно провести черту между созданием научной теории и сознательным производством оружия с использованием этой теории с явным намерением убить.

Хорошо, так где же располагаются теоретические исследования познания? По какую сторону черты?

На первый взгляд кажется, что они попадают на ту же сторону, что и исчисление Ньютона, электромагнетизм Максвелла и даже клинок неизвестного предка. Проектирование когнитивных архитектур и воплощение идей в компьютерных программах для того, чтобы увидеть, работают идеи или нет, без мысли о том, как эти идеи могут быть использованы против человечества, не кажется преступной деятельностью. На самом деле, хотя я не имею в виду какие-либо противоречия, я не могу не думать, что кто-то, без сомнения, такие противоречия обнаружит. Итак, хотя теперь я снова начал заниматься изучением познания (но сам по себе), я не могу не видеть надвигающейся угрозы.

---

Аргумент: «Человеческие (не гуманоидные) бомбы уже есть!»

Хорошо, я согласен, что это так. Я сдаюсь.

Прежде всего, позвольте заметить, что этот раздел (вплоть до горизонтальной линии) был добавлен в конце 2013 года, после того как я возобновил свое исследование, как я объяснил в верхнем примечании (выделенном красным), и после пересмотра ситуации в мире, как она представляется после 2006 года, когда я прекратил свои исследования. Часть этого документа, которая следует за горизонтальной линией [часть 8, прим.пер.], относится к первоначальному направлению моих мыслей. Но позвольте мне прокомментировать приведенный выше аргумент.

Несколько человек указали мне — и я благодарен им за их искреннее желание поговорить со мной и обсудить эти вопросы, — что нам не нужно ждать, пока высокотехнологичные нуктроиды / гуманоиды / другоиды появятся и воплотят мои страхи. Человеческие бомбы уже реальность!

В самом деле, уже за несколько лет до 2006 года (фактически сразу после того, как Буш-младший вторгся в Ирак и уничтожил силы безопасности Саддама Хусейна) появились «живые бомбы» в виде исламистских террористов-самоубийц: люди, которые (1) убеждены, что есть загробная жизнь, (2) уверены, что Пророк примет их с распростертыми объятиями в раю, если они взорвут тех, кого они считают своими врагами (включая женщин с младенцами, детей и стариков) и (3) не сомневаются, что Пророк вознаградит их девственницами (число которых варьируется, но согласно некоторым авторитетным древним исламским писаниям равно 72), что позволит им иметь то, в чём им было отказано в этой жизни, чего они были лишены: секс, который в раю будет вечным и беспрерывным. Имея все эти не подлежащие сомнениям убеждения, они идут и счастливо взрывают людей. О, я забыл четвертую убежденность: (4) что их враги пойдут в ад, чем бы они ни занимались, так что они действительно помогают им раньше попасть туда, и это как раз то, что одобряет Аллах.

Да, исламистские террористы-смертники существовали до того, как я начал писать эту статью. Но поскольку они, как правило, вызывают хаос только в мусульманском мире, и поскольку они принадлежат той стороне, а не стороне, которая, как я опасаюсь, будет злоупотреблять своим технологическим преимуществом, они не совсем вписываются в мою картину «технологически созданной катастрофы».

Прекрасно. Но я не понял (по крайней мере, не сразу), что они представляют опасность, которая намного более непосредственная, реальная и несущая всё, чего я боюсь, даже без помощи технологий! Разве не лучше было бы сосредоточиться на «здесь и сейчас», а не на «возможной / вероятной / может быть» опасности, которую я описал в этом тексте? Какие еще инструменты, кроме тех, что предлагают технологии, можно надеяться использовать для воспитания людей, надеясь вывести их из заблуждений? Или, если это невозможно или не действенно, надеясь уменьшить приверженность молодых людей таким деструктивным идеям?

Итак, наконец эти мысли одолели меня, и я сдался. Я возобновил исследования в 2011 году и получил неплохие результаты, которые будут представлены в свое время. Я чувствую себя немного предателем своих собственных представлений, но когда я думаю об этом рационально, я понимаю, что мои критики были правы.

Как я уже сказал, последующее соответствует моим первоначальным представлениям.

Что можно сделать?

Видеть проблему — это одно, но понять, что делать, это совсем другое. Я не хочу создавать впечатление, будто знаю, как мы можем справиться с угрозой нуктроидов. Все что я могу, это предложить следующее:

• Исследования, направленные на создание машин, которые выглядят как люди, должны быть отмечены как чрезвычайно опасные или, по крайней мере, этически сомнительные. Такие исследования не должны финансироваться. Заметьте, я не призываю к запрету любых исследований в области искусственного интеллекта и когнитивной науки; только лишь к сдержанности в отношении исследований, определенно направленных на создание машин, которые могут вводить людей в заблуждение и сходить за людей. Компьютеры, которые могут, например, сочинять хорошую музыку или переводить с одного языка на другой, вряд ли представляют опасность. Так же как не опасны осознающие, сознательные машины. По крайней мере, сознательную машину, понимающую важность самосохранения и сохранения человечества, вероятно, труднее убедить пойти и взорваться среди людей — в отличие от исламистских террористов-смертников. Эта последняя мысль предполагает, что здравый смысл, вероятно, является желательным качеством для машин: чем больше сознательности, тем меньше угрозы нуктроидов; но сознательными их должен делать закон, а не добрая воля свободного рынка; и сознательность должна быть человеческий по сути, а не по форме и внешним проявлениям. Нам нужны роботы, которые работают для нас, но не роботы, вводящие нас в заблуждение своим видом или поведением.
• Старшеклассники, студенты, выпускники и вообще все участники образовательных системах США, Европы, Японии, Австралии и других стран должны преодолеть свое наивное отношение «Давайте оживим материю» и осознать всю серьезность таких усилий. Дети не могут сами обнаружить важность этого вопроса, поэтому академические учреждения должны научать своих студентов и предпринять соответствующие меры. Если университеты, такие как мой собственный IU (университет Индианы), могут быть весьма серьезны в отношении этики процедур, касающихся психологических экспериментов на людях и даже на животных (мне это известно из первых рук), то настало время более серьезно относиться к тому, с какими машинами экспериментируют их студенты, специализирующиеся на искусственном интеллекте и когнитивной науке.
• Американцы должны повзрослеть и отказаться от своего подросткового подхода к оружию, высоким технологиям и ценности «неамериканской человеческой жизни» (что, к сожалению, для многих из них является синонимом «недожизни»). Это самая сложная часть моего предложения. Нельзя просто сказать целой культуре — делайте это, не делайте то. В данном случае дело осложняется существованием в США класса богатой элиты, в интересах которого поддерживать неосведомленность общества, представления моего дворника «давайте их всех уничтожим», потому что отсутствие сознательности общества увеличивает краткосрочные выгоды богатого класса (например, они поддерживают войны, которые помогают им производить, рекламировать и продавать больше оружия за рубежом). Это усугубляется американским мифом о том, что неважно, бедны ли вы, ведь если вы достаточно способны, вы можете подняться на самый верх. Десятилетиями верящие в эту сказку бедные американцы не возражают против того, что их держат в узде (т.е. возможности оставаться бедными как на уровне кругозора, так и политических представлений моего дворника), потому что представление, что каждый может подняться наверх, подслащает пилюлю и делает её более приемлемой. Я должен заметить здесь, что я считаю так называемую американскую мечту «из грязи в князи» мифом, по крайней мере по двум причинам: во-первых, имеет значение, родились ли вы черным, латиноамериканцем и т.д. — в конце концов, каков процент небелых миллиардеров в США? И во-вторых, это аналогично выигрышу джекпота в лотерее: да, вы можете стать единственным счастливым победителем, и вы даже можете тешить свое эго, думая, что победа в жизни — это не только удача, а что само наличие джекпота предполагает огромное количество неудачников; но каковы шансы, что у вас хватит ума и воли, чтобы стать единственным победителем и получить высокий социальный статус? И действительно ли так привлекательно жить в обществе с горсткой победителей и миллионами неудачников, в результате чего полчища бездомных людей роются в мусоре, в то время как вы — «добрый христианин» — презираете их за то, что они не сумели подняться и оказались среди неудачников?

Примечание. Здесь следуют некоторые цифры, которые поддерживают мою предыдущую позицию. Согласно опросу, который появился в журнале где-то в период с 2003 по 2006 год, о котором я сожалею, что не записал название (мне о нем сообщили друзья), можно прийти к выводу, что 17% американцев считают, что они принадлежат к верхнему 1% финансового статуса в США. Соответствующий процент среди британцев составляет около 3%. Когда американцев спрашивали, надеются ли они достичь верхнего 1% в течение своей жизни, процент тех, кто так считал, удваивался (34%). Это означает, что 16% американцев обманываются относительно своего нынешнего положения, а огромные 33% (одна треть!) заблуждаются относительно своего будущего. Я считаю, что этот опрос является очень показательным в отношении американских иллюзий; если кто-нибудь знает источник этого опроса, пожалуйста, дайте мне знать. (Особая благодарность читателю Уолтеру ван Хьюстедену, который довел до моего сведения эту статью [ссылка не актуальна, прим.пер.], где приводятся различные результаты опросов общественного мнения, которые, похоже, очень похожи на те, на которые я здесь ссылаюсь; исходный источник моих данных, похоже, является опросом Гэллапа в июле 2000 года .)

По вышеуказанным причинам я понимаю огромную трудность общения с культурой в целом. Таким образом, единственный способ действий, который кажется мне возможным, — это повысить осведомленность людей, имея как можно больше голосов в унисон по этому вопросу, и делать это, в первую очередь, в наиболее анархической, относительно нецензурируемой среде общения, какую человечество когда-либо знало: Интернет.

---

Примечание переводчика

Я не вполне разделяю позиции автора, а местами и вовсе с ними не согласен. Тем не менее, само обозначение проблем в тех сферах человеческой деятельности, в частности в области научных исследований, которые несут потенциальную угрозу, хотя бы в силу своей неизведанности, очевидно полезно и достойно распространения.