Также как машины ремонта, которые сравнивают множество нитей ДНК будут с
пособны скорректировать мутации в генах клетки, также репликаторы, кото
рые сравнивают множество копий своих инструкций (или которые использую
т другие эффективные системы исправления ошибок) будут способны сопрот
ивляться мутациям в этих «генах». Избыточность может снова принести экс
поненциальный рост безопасности.
Мы можем строить системы, которые крайне надёжны, но это повлечёт издерж
ки. Избыточность делает системы более тяжёлыми, громоздкими, более дорог
ими и менее эффективными. Нанотехнология, однако, сразу сделает большую
часть вещей намного более лёгкими, дешёвыми и более эффективными. Это сд
елает избыточность и надёжность более практичными.
Сегодня, мы редко хотим платить за самую безопасную из возможных систем;
мы терпим с большей или меньшей охотой отказы и редко рассматриваем реал
ьные пределы надёжности. Это создаёт предвзятые суждения о том, что мы мо
жем достичь. Психологический фактор также искажает наше чувство, наскол
ько надёжными можно сделать вещи: отказы застревают у нас в уме, но каждод
невный успех привлекает мало внимания. СМИ усиливает эту тенденцию, сооб
щая о самых драматических отказах со всего мира, при этом игнорируя беск
онечные и скучные удачи. Ещё хуже, что компоненты избыточных систем могу
т отказывать видимым образом, вызывая тревогу: представьте, как СМИ сооб
щили бы о порвавшемся канате моста, даже если бы мост был бы супер-безопас
ной пятнадцати-канатной моделью, описанной выше. И поскольку каждый доп
олнительный избыточный компонент добавляет шанс отказа системы, надёж
ность системы может казаться хуже даже когда она почти совершенна.
Если отложить в сторону то, что кажется, избыточные системы сделанные из
избыточных, безупречных компонентов могут часто быть сделаны почти иде
ально надёжными. Избыточные системы, распределённые на достаточно широ
кие расстояния выдержат даже пули и бомбы.
Но что можно сказать об ошибках конструкции? Наличие десятка избыточных
частей не даст никакой пользы, если они делят общую критическую ошибку в
конструкции. Разнообразие конструкции Ц один ответ; хорошее тестирова
ние Ц другой. Мы можем надёжно разрабатывать хорошие конструкции не буд
учи хорошими в надёжности конструкторами: нам только нужно уметь хорошо
тестировать, исправлять ошибки и быть терпеливыми. Природа разработала
работающие молекулярные машины целиком через безголовую починку и тес
тирование. Имея разум, мы можем делать не хуже или лучше.
Мы найдём несложным разработать надёжные технические средства, если мы
сможем разработать надёжные автоматические системы разработки. Но это
ставит более широкий вопрос о разработке систем искусственного интелл
екта, которым можно доверять. У нас будет мало проблем в создании систем И
И с надёжной аппаратной базой, но как насчёт их программных средств?
Подобно сегодняшним системам ИИ и человеческому разуму, продвинуты сис
темы ИИ будут синергетическими комбинациями большого количества прост
ых частей. Каждая часть будет более специализирована и менее интеллекту
альна, чем система в целом. Некоторые части будут искать структуры в карт
инках, звуках и других данных, и подсказывать, что они могут обозначать. Др
угие части будут сравнивать и оценивать подсказки этих частей. Также как
распознаватель структур в человеческой зрительной системе страдает о
т ошибок и зрительных иллюзий, также страдают и распознаватели в система
х ИИ. (действительно, некоторые продвинутые системы машинного зрения уже
страдают от знакомых зрительных иллюзий.) И также как другие части челов
еческого разума могут часто идентифицировать и компенсировать иллюзии
, также будут способны и другие части систем ИИ.
Как в человеческом разуме, интеллект будет включать части ума, которые б
удут производить приблизительные догадки, а другие части будут откидыв
ать наиболее плохие догадки до того, как они привлекут слишком много вни
мания или повлияют на важные решения. Умственные части, которые отвергаю
т идеи действия по этическим основаниям, соответствуют тому, что мы назы
ваем совестью. Системы ИИ со многими частями будут иметь место для избыт
очности и разнообразия конструкции, делая надёжность возможной.
Настоящая гибкая система ИИ должна развивать идеи. Чтобы это делать, она
должна находить или формировать гипотезы, генерировать варианты, тести
ровать их, и далее модифицировать или отбрасывать те, которые она находи
т неадекватными. Исключение некоторых из этих способностей сделало бы е
ё глупой, упрямой или невменяемой ("Тупая машина не может думать и не будет
учиться на своих ошибках Ц выброси её!"). Чтобы избежать ловушки начальны
х заблуждений, ей придётся рассматривать противоречивые взгляды, смотр
я, насколько хорошо каждый объясняет данные, и смотря, может ли один взгля
д объяснить другой.
Научное сообщество проходит через подобный процесс. В статье с название
м "Метафора научного сообщества", Вильям А. Корнфельд и Карл Хьювитт из лаб
оратории искусственного интеллекта MIT высказывают мысль, что исследоват
ели ИИ моделируют модели своих программ ещё более близко к развившейся с
труктуре научного сообщества. Они указывают на плюрализм науки, на её ра
знообразие конкурирующих создателей теорий, сторонников и критиков. Бе
з создателей теорий, идеи не могут появиться; без сторонников, она не може
т расти; а без критиков, которые пропалывают их, плохие идеи могут вытесни
ть хорошие. Это остаётся верным для науки, технологии, в системах ИИ, а так
же между частями наших умов.
Наличие мира, полного разнообразия и изобилующего авторами теорий, стор
онниками и критиками Ц это то, что делает продвижение науки и технологи
и вперёд надёжным. Если будет больше авторов теорий, будет больше хороши
х теорий; если будет больше критиков Ц плохие теории будут более уязвим
ыми. Лучшие и более многочисленные идеи будут результатом. Подобная форм
а избыточности может помочь системам ИИ разрабатывать достоверные иде
и.
Люди иногда направляют свои действия стандартами истины и этики, и нам н
ужно быть в состоянии разработать системы ИИ, чтобы они делали то же само
е, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они бу
дут иметь больше времени для дополнительных размышлений. Похоже, что сис
темы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мер
е по человеческим стандартам.
Я часто сравнивал системы ИИ с отдельными человеческими умами, но подоби
е не обязательно должно быть близким. Система, которая способна подражат
ь человеку, возможно должна быть подобна человеку, но система автоматиче
ской разработки Ц вероятно не обязательно. Одно предложение (называемо
е системой Агора, в честь греческого слова, обозначающего встречу и рыно
чную площадь) состояло бы в том, чтобы много независимых кусочков програ
мм, которые взаимодействуют, предлагая друг другу услуги в обмен на день
ги. Большинство кусочков было бы простоватыми узколобыми специалистам
и, некоторые способные подсказывать изменение конструкции, а другие Ц а
нализировать его. Во многом также, как земная экология разработала экстр
аординарные организмы, также эта компьютерная экономика могла бы разра
батывать экстраординарные конструкции Ц и, возможно, сравнительно без
мозглым способом. Что более важно, поскольку система была бы распределен
а по многим машинам и имела бы части написанные многими людьми, она могла
бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы
захватить и использовать во вред.
В конце концов так или иначе, системы автоматической разработки будут сп
особны разрабатывать вещи более надёжно чем любая группа людей-инженер
ов может сегодня. Наша большая задача будет сконструировать их правильн
о. Нам нужны человеческие институты, которые надёжно разрабатывают надё
жные системы.
Человеческие институты Ц это развившиеся искусственные системы, и они
могут часто решать проблемы, которые отдельные члены Ц не могут. Это дел
ает их чем-то вроде "искусственных интеллектуальных систем." Корпорации,
армии, и исследовательские лаборатории Ц это всё примеры, также как бол
ее свободные структуры рынка или научного сообщества. Даже правительст
ва могут рассматриваться как системы искусственного интеллекта Ц бол
ьшие, медлительные, одурманенные, однако сверхчеловеческие в своих реал
ьных способностях. И что есть конституциональный контроль и баланс, как
не попытка увеличить надёжность правительства через институционально
е разнообразие и избыточность? Когда мы строим интеллектуальные машины,
мы будет использовать их, чтобы проверять и создавать баланс одной над д
ругой.
Применяя эти разумные принципы, мы можем быть в состоянии разработать на
дёжные техники ориентированные институты, имеющие сильный контроль ош
ибок и балансы, и тогда использовать их, чтобы руководить разработкой си
стем, которые нам понадобятся, чтобы управляться с будущими прорывами.

Тактика ассемблерной револю
ции

Некоторая сила в мире (заслуживающая доверия или нет) возьмёт первенство
в разработке ассемблеров; назовём её "ведущей силой". Из-за стратегическо
й важности ассемблеров, ведущая сила предположительно будет некоторой
организацией или институтом, который эффективно контролируется каким-
то правительством или группой правительств. Чтобы упросить вопрос, пред
положим на минуту, что мы (хорошие ребята, пытающиеся быть мудрыми) можем о
пределить способ поведения для ведущей силы. Для граждан демократическ
их государств, принять это Ц кажется хорошей позицией.
Что нам следует делать, чтобы улучшить наши шансы достижения такого буду
щего, в котором стоит жить? Что мы можем сделать?
Начнём с того, что не должно случиться: мы должны не позволить отдельному
воспроизводящемуся ассемблеру неправильного типа выйти на свободу в н
еподготовленный мир. Эффективные приготовления кажутся возможными (ка
к я это опишу ниже), но, по-видимому, они должны быть основаны на построенны
х ассемблерами системах, которые могут быть построены только после того
, как опасные репликаторы уже смогут быть возможными. Разработка с опере
жением может помочь ведущей силе подготовиться, однако даже энергичные
предусмотрительные действия кажутся неадекватными, чтобы предотврати
ть момент опасности. Аргумент простой: опасные репликаторы будет намног
о проще разработать, чем системы, которые могут помешать им, также как бак
терия намного проще иммунной системы. Нам будет нужна тактика для сдержи
вания нанотехнологии, пока мы не научимся её приручать.
Одна очевидная тактика Ц изоляция: ведущая сила будет способна содержа
ть репликаторные системы за многочисленными стенами или в космических
лабораториях. Простые репликаторы не будут иметь интеллекта, и они не бу
дут разрабатываться, чтобы убежать и пойти буйствовать. Сдерживание их н
е кажется слишком сложной задачей.
Но лучше, чтобы мы могли разработать репликаторы, которые не могут убежа
ть и начать буйствовать. Мы можем построить их со счётчиками (такими как в
клетках), которые ограничивают их до фиксированного числа копий. Мы може
м строить их так, чтобы они нуждались в особом синтетическом «витамине»,
или в очень специфической среде, которую можно обеспечить только в лабор
атории. Хотя репликаторы можно было бы делать более стойкими и более про
жорливыми, чем любые современные насекомые, мы также можем сделать их по
лезными, но безопасными. Поскольку мы будет разрабатывать их с нуля, репл
икаторы не обязательно должны иметь элементарные способности к выжива
нию, которые эволюция встроила в живые клетки.
Далее, им не обязательно нужно быть способными эволюционировать. Мы може
м дать репликаторам избыточные копии их «генетических» инструкций, вме
сте с механизмами ремонта, чтобы исправлять любые мутации. Мы можем разр
аботать их так, чтобы они переставали работать задолго до того, как накоп
ится достаточно повреждений, чтобы сделать продолжительную мутацию зн
ачимой возможностью. Наконец, мы можем разработать их так, чтобы эволюци
я не происходила даже если мутации могли бы случаться.
Эксперименты показывают, что большинство компьютерных программ (иных, ч
ем специально разработанные программы ИИ, такие как Эвриско доктора Лен
ата) редко отвечают на мутации при небольшом изменении; вместо этого они
просто перестают работать. Поскольку они не могут разнообразиться поле
зными способами, они не могут эволюционировать. Если они не разработаны
специально для этого, репликаторы, направляемые нанокомпьютерами, буду
т разделять этот недостаток. Современные организмы достаточно хорошо с
пособны эволюционировать отчасти потому что они произошли от предшест
венников, которые эволюционировали. Они научились в процессе эволюции э
волюционировать; это Ц одна причина сложностей полового воспроизводс
тва и перемешивания сегментов хромосом во время производства клеток сп
ермы и яйцеклеток. Мы можем просто отказаться дать репликаторам подобны
е способности.
Для ведущей силы будет легко сделать воспроизводящиеся ассемблеры пол
езными, безопасными, и устойчивыми. Оберегая ассемблеры от того, чтобы их
украли и использовали во вред Ц другая и более серьёзная проблема, пото
му что это будет игра с разумными противниками. Как одна из тактик, мы може
м снизить побудительный мотив украсть ассемблеры, делая их доступными в
безопасных формах. Это также снизит желание других групп разрабатывать
ассемблеры независимо. За ведущей силой, в конце концов последуют силы, с
ледующие за ней.
Ограниченные ассемблеры
В главе 4 я описал, как система ассемблеров в чане могла бы построить велик
олепный ракетный двигатель. Также я отметил, что мы будем способны сдела
ть системы ассемблеров, которые действуют подобно семенам, поглощая сол
нечный свет и обычные материалы и вырастая почти во что угодно. Эти специ
ализированные системы не будут реплицировать себя, или будут это делать
только ограниченное число раз. Они будут делать только то, что они были за
программированы делать, когда им говорят это сделать. Любой, у кого нет сп
ециальных инструментов, построенных ассемблерами, был бы неспособен пе
репрограммировать их, чтобы они служили другим целям.
Используя ограниченные ассемблеры этого типа, люди будут способны сдел
ать всё что они хотят и сколько хотят, но в пределах ограничений, встроенн
ых в эти машины. Если никакие из них не будут запрограммированы, чтобы дел
ать ядерное оружие, никакие и не будут; если никакие из них не будут запрог
раммированы, чтобы делать опасные репликаторы, никакие и не будут. Если н
екоторые из них запрограммированы, чтобы делать дома, машины, компьютеры
, зубные щётки и что угодно ещё, то эти продукты станут дешёвыми и изобильн
ыми. Машины, построенные ограниченными ассемблерами, дадут нам возможно
сть открыть космос, вылечить биосферу и восстановить человеческие клет
ки. Ограниченные ассемблеры смогут принести почти неограниченное бога
тство людям в мире.
Эта тактика облегчит моральное давление, чтобы делать неограниченные а
ссемблеры доступными немедленно. Но ограниченные ассемблеры будут всё
ещё оставаться легитимные потребности необеспеченными. Учёным будут н
ужны свободно программируемые ассемблеры, чтобы проводить исследовани
я; инженерам будут они нужны, чтобы тестировать конструкции. Эти потребн
ости будут обслуживаться запечатанными ассемблерными лабораториями.

Запечатанные ассемблерные лаборатории
Представьте компьютерное устройство размером с ваш большой палец, с сов
ременным разъёмом на его нижней части. Его поверхность выглядит как обыч
ный серый пластик, с пропечатанным серийным номером, однако эта запечата
нная ассемблерная лаборатория Ц построенный ассемблерами объект, кот
орый содержит много чего. Внутри, прямо над разъёмом, находится большой н
аноэлектронный компьютер, на котором работает продвинутое программное
обеспечение для молекулярного моделирования (основанное на программа
х, разработанных во время разработки ассемблеров). С этой ассемблерной л
абораторией, присоединённой и включенной, ваш построенный с помощью асс
емблеров домашний компьютер показывает трёх-мерную картинку чего угод
но, что лабораторный компьютер моделирует, представляя атомы как цветны
е сферы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40