Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти с
пособы жить с мыслящими машинами, чтобы сделать их законопослушными гра
жданами.

Машины власти

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формам
и технических средств, способных к быстрому эффективному независимому
действию. Но новизна этой угрозы, происходящей от самих машин, не должна н
ас скрывать от нашего взора более традиционную опасность. Репликаторы и
системы ИИ могут также служить как великолепные машины власти, если ими
свободно завладеют суверенные государства.
На всём протяжении истории, государства разрабатывали технологии, чтоб
ы расширить свою военную мощь, и государства несомненно будут играть дом
инирующую роль в разработке репликаторов и систем ИИ. Государства могли
бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы
совершенного оружия, быстро, легко и в огромных количествах. Государства
могли бы использовать специальные репликаторы, непосредственно, чтобы
вести род биологической войны Ц войны, которая становится намного боле
е практичной с программируемыми, управляемыми компьютерами «микробами
». В зависимости от своих способностей, системы ИИ могли бы служить как ор
ужие разработчиков, стратегов и бойцов. Военное финансирование уже подд
ерживает и молекулярные технологии, и искусственный интеллект.
Государства могли бы использовать ассемблеры или продвинутые системы
ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я гов
орил о причинах, почему нужно ожидать, что приход воспроизводящихся ассе
мблеров принесёт сравнительно неожиданные изменения: способные быстро
размножаться, их могло бы стать огромное количество за считанные дни. Сп
особные делать почти всё что угодно, их можно было бы запрограммировать,
чтобы копировать имеющееся оружие, но сделанное из более совершенных ма
териалов. Способные работать со стандартными, хорошо понятными компоне
нтами (атомами), они могли бы неожиданно строить вещи, разработанные в ожи
дании ассемблерной революции. Эти результаты проектирования с опереже
нием могли бы включать программируемые микробы и другие жуткие новшест
ва. По всем этим причинам, государство, которое сделает ассемблерную рев
олюцию, могло бы быстро создать решающую военную силу Ц если не букваль
но за ночь, то по крайней мере с беспрецедентной скоростью.
Государства могли бы использовать продвинутые системы ИИ для аналогич
ных целей. Системы автоматической разработки будут ускорять проектиро
вание с опережением и ускорять разработку ассемблеров. Системы ИИ, спосо
бные строить лучшие системы ИИ сделают возможным взрыв способностей с п
оследствиями, которые трудно предвидеть. И системы ИИ и воспроизводящие
ся ассемблеры дадут государствам возможность увеличивать свои военные
возможности на порядки за короткое время.
Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опуст
ошить Землю бомбами, потребовалось бы массы экзотических технических с
редств и редких изотопов, но чтобы разрушить всю жизнь с помощью реплика
торов, потребовалось бы лишь одно пятнышко, состоящее из обычных элемент
ов. Репликаторы составляют ядерной войне что-то вроде компании как поте
нциальная причина вымиранию, давая более широкий контекст вымиранию, ка
к моральной обеспокоенности.
Вопреки своему потенциалу как машины разрушения, нанотехнология и сист
емы ИИ будут годиться для более тонких способов использования, чем ядерн
ое оружие. Бомба может только взрывать, но наномашины и системы ИИ могли б
ы проникать, захватывать, изменять и управлять территорией или миром. Да
же самая безжалостная полиция бесполезна для ядерного оружия, но она име
ет смысл против безумных идей, наркотиков, убийц или других гибких машин
власти. С продвинутой технологией государства будут способны консолид
ировать свою власть над людьми.
Также как гены, мимы, организмы и технические средства, государства эвол
юционируют. Их институты распространились (с вариациями) на рост, делени
е, подражание и завоевание. Государства в войне дерутся как звери, но испо
льзуя граждан как свои кости, мозг и мускулы. Грядущие технологические п
рорывы поставят государства перед новыми видами давления и возможност
ей, благоприятствуя резким изменениям в том, как государства себя ведут.
Это естественно даёт основание для озабоченности. Исторически государ
ства выделялись в кровопролитии и угнетении.
В некотором смысле, государство Ц это просто сумма людей, образующих ор
ганизационный аппарат: их действия складываются и образуют его действи
я. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно
нечто большее, чем просто группа клеток. И собаки, и государства Ц эволюц
ионирующие системы, со структурами, которые влияют на то, как ведут себя и
х части. На протяжении тысяч лет, собаки во многом эволюционировали так, ч
тобы доставлять удовольствие людям, само их существование зависело от и
х способности быть использованными людьми, будь то как поводыри, ищейки
или солдаты.
Может казаться парадоксальным сказать, что люди имеют ограниченную вла
сть над государствами: в конце концов, не люди ли стоят за каждым действие
м государства? Но в демократических странах, главы государств оплакиваю
т недостаток своей власти, представители поклоняются интересам групп, б
юрократы ограничены правилами, а избиратели, якобы в ответственности за
всё это, всех их посылают к чертям. Государство действует и люди влияют на
него, однако никто не может заявить, что контролирует его. В тоталитарных
странах аппарат власти имеет традицию, структуру и внутреннюю логику, ко
торая никого не оставляет свободным, ни правителей, ни тех, кем управляют.
Даже короли вынуждены действовать способами, ограниченными традициями
монархии и прагматикой власти, если они хотят оставаться королями. Госу
дарства Ц это не люди, хотя они состоят из людей.
Вопреки этому, история показывает, что изменение возможно, даже изменени
е к лучшему. Но изменения всегда движутся из одной полуавтоматической, н
ечеловеческой системы к другой Ц одинаково нечеловеческой, но возможн
о более гуманной. В нашей надежде на улучшения, мы не должны смешивать гос
ударства, которые делают человеческое лицо с государствами, которые име
ют гуманные институты.
Описание государств как квази-организмов схватывает только один аспек
т сложной реальности, однако он подсказывает, как они могут эволюциониро
вать в ответ на грядущие прорывы. Рост власти правительства, наиболее хо
рошо заметный в тоталитарных странах, предлагает одно направление.
Государства могли бы стать в большей степени подобными организмам, имея
влияние на свои части более сильно. Используя воспроизводящиеся ассемб
леры, государства могли бы заполнить среду людей миниатюрными устройст
вами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы
слушать каждого, не используя половину населения в качестве шпионов. Исп
ользуя нанотехнологию как это было предложено для машин ремонта клеток,
они могли бы с минимальными издержками успокоить, провести лоботомию, ил
и ещё как-то модифицировать целые народы. Это могло бы просто могло бы рас
ширить слишком известную картину. Мир уже содержит правительства, котор
ые шпионят, пытают и кормят наркотиками; усовершенствованная технологи
я просто расширит возможности.
Но с усовершенствованной технологией государствам не нужно будет конт
ролировать людей Ц они просто вместо этого могли бы отказаться от людей
. Большинство людей в большинстве государств, в конце концов, действуют в
качестве работников-муравьёв, которые либо трудятся над личинками, либо
охраняют их, а большая часть из этих работников делает, двигает или выращ
ивает вещи. Государство с воспроизводящимися ассемблерами не нуждалос
ь бы в такой работе. Что более важно, продвинутые системы ИИ могли бы замен
ить инженеров, учёных, администраторов, и даже лидеров. Комбинация нанот
ехнологии и продвинутого ИИ сделает возможными разумных и эффективных
роботов; с такими роботами, государство могло бы процветать, уволив кого
угодно, или даже (в принципе) всех.
Значение этой возможности зависит от того, существуют ли государство дл
я того, чтобы служить людям, или люди существуют для того, чтобы служить го
сударству.
В первом случае мы имеем государство, сформированное людьми, чтобы служи
ть общечеловеческим целям; демократии имеют тенденцию быть по крайней м
ере грубым приближением к этому идеалу. Если демократически управляемо
е правительство теряет свою необходимость в людях, это по сути означает,
что ему не нужно больше использовать людей как чиновников и налогоплате
льщиков. Это откроет новые возможности некоторые из которых могут оказа
ться желательными.
Во втором случае, мы имеем государство, которое развилось, чтобы эксплуа
тировать людей, возможно по тоталитарному принципу. Государства нуждаю
тся в людях как в работниках, потому что человеческий труд являлся необх
одимым основанием для власти. Что более важно, геноцид был дорогим и проб
лематичным для организации и выполнения. Однако в этом веке тоталитарны
е государства убивали своих граждан миллионами. Усовершенствованная т
ехнология сделает работников ненужными, а геноцид легко исполнимым. Ист
ория свидетельствует, что тоталитарные государства могут тогда вообще
уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что
государство, желающее и способное поработить нас биологически, вместо э
того бы просто нас убило.
Угроза совершенной технологии в руках правительств делает одну вещь со
вершенно очевидной: мы не можем позволить себе дать деспотическому госу
дарству взять первенство в грядущих прорывах.
Основная проблема, которую я обрисовал Ц очевидна: в будущем, также как и
в прошлом, новые технологии будут годиться для аварий и злоупотребления
. Поскольку репликаторы и думающие машины будут давать огромную новую вл
асть, эта возможность аварий и злоупотребления будет также огромен. Эти
возможности создают реальные угрозы нашим жизням.
Большинство людей хотело бы иметь возможность жить и быть свободными вы
бирать, как им жить. Эта цель может не звучать слишком утопичной, по крайне
й мере в некоторых частях света. Это не означает принуждение жизни каждо
го к соответствию какому-то грандиозному плану; это главным образом озн
ачает, чтобы избежать порабощения и смерти. Однако, также как достижение
утопичной мечты, это принесёт будущее чудес.
Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотре
ть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна в
ключать людей, принципы и институты, но также она должна основываться на
тактике, которая неизбежно будет включать технологию.

Системы, которым можно довер
ять

Чтобы использовать такие мощные технологии безопасно, мы должны делать
технические средства, которым мы можем доверять. Чтобы иметь доверие, мы
должны быть способны тщательно оценивать технические факты Ц способн
ость, которая в свою очередь будет зависеть отчасти от качества наших сп
особов оценки. Более существенно, однако, она будет зависеть от того, буде
т ли заслуживающие доверие технические средства физически возможны. Эт
о Ц вопрос надёжности компонентов и систем.
Часто мы можем делать надёжные компоненты, даже без помощи ассемблеров.
«Надёжные» не значит «неразрушимые» Ц всё что угодно разрушится, если е
го поместить достаточно близко к ядерному взрыву. Это даже не означает «
стойкий» Ц телевизор может быть надёжным, однако он не выдержит удара о
бетонный пол. Скорее, мы называем что-то надёжным, когда мы можем рассчиты
вать, что оно будет работать, как задумано.
Надёжный компонент не обязательно должен быть совершенным воплощением
совершенной конструкции: ему только нужно быть достаточно хорошим вопл
ощением достаточно предусмотрительной конструкции. Инженер, который с
троит мост, может не быть уверен насчёт силы ветра, нагрузки движения по м
осту, и прочности стали, но предполагая высокий ветер, интенсивное движе
ние и непрочную сталь, инженер может сконструировать мост, который сможе
т выдержать.
Неожиданные отказы компонентов обычно проистекают из физических дефек
тов. Но ассемблеры будут строить компоненты, которые имеют пренебрежимо
малое число атомов не на своём месте Ц ни одного, если будет в том необход
имость. Это сделает их идеально унифицированными и в ограниченном смысл
е Ц совершенно надёжными. Однако излучение будет всё равно вызывать пов
реждение, поскольку космические лучи могут неожиданно выбивать атомы и
з чего угодно. В достаточно малых компонентах (даже в современных компью
терных устройствах памяти), отдельная частица излучения может вызвать о
тказ.
Но системы работают, даже когда их части перестают работать; ключ к этому
Ц избыточность. Представьте мост, подвешенный на канатах, которые случа
йным образом обрываются, каждый около одного раза в год в непредсказуемы
й момент времени. Если мост упадёт когда порвётся канат, его будет исполь
зовать слишком опасно. Однако представьте, что чтобы починить канат треб
уется один день (потому что квалифицированная команда ремонтников с зап
асными канатами вызывается как только необходимо), и что, хотя необходим
о пять канатов, чтобы поддерживать мост, есть на самом деле шесть. Теперь о
дин канат рвётся, и мост всё равно остаётся на своём месте. Закрыв движени
е и далее заменив порвавшийся канат, операторы моста могут восстановить
безопасность. Чтобы разрушить этот мост, в этот же день должен порваться
второй кабель, также как и первый. Поддерживаемый шестью канатами, кажды
й имеющий 1 из 365 шансов порваться, мост вероятно выдержит около 10 лет.
Во время перестройки он остаётся ужасным. Однако мост с десятью канатами
(пять необходимых и пять дополнительных) упадёт только если шесть канат
ов порвутся в тот же день: система поддержки вероятно выдержит более дес
яти миллионов лет. С пятнадцатью канатами ожидаемая продолжительность
жизни Ц более чем в десять тысяч раз больше возраста Земли. Избыточност
ь может давать экспоненциальный взрыв безопасности.
Избыточность работает лучше всего, когда избыточные компоненты действ
ительно независимы. Если мы не доверяем процессу конструирования, то мы
должны использовать компоненты, разработанные независимо; если бомба, п
уля или космический луч может повредить несколько соседних частей, то мы
должны распределить избыточные части более широко. Инженеры, которые хо
тят обеспечить надёжное сообщение между двумя островами не должны прос
то добавлять канаты к мосту. Им нужно построить два хорошо разделённых м
оста, использующих различные конструкции, далее добавить туннель, паром
и пару островных аэропортов.
Компьютерные инженеры также используют избыточность. Стратус Компьюте
р Инк., например, производит машину, которая использует центральные обра
батывающие блоки (в двух частях) для выполнения работы одной, но для выпол
нения значительно более надёжно. Каждая часть постоянно проверяет внут
реннее соответствие, и вышедшая из строя часть может быть заменена, пока
работает её двойник.
Ещё более мощная форма избыточности Ц разнообразие конструкции. В комп
ьютерных аппаратных средствах это означает использование нескольких к
омпьютеров с различной конструкцией, все работающие параллельно. Сейча
с избыточность может корректировать не только отказы в отдельно взятой
единице аппаратных средств, но и ошибки её конструкции.
Многое сделано над проблемой написания больших программ, свободных от о
шибок; многие люди считают, что такие программы невозможно разработать и
отладить. Но исследователи в УКЛА Компьютер Сайенс Департмент показали
, что разнообразие конструкции можно также использовать в программном о
беспечении: несколько программистов могут работать над той же самой про
блемой независимо, тогда все их программы можно запускать параллельно и
выбирать ответ голосованием. Это умножает затраты на написание и работу
программ, но это делает получающиеся в результате системы программного
обеспечения устойчивыми к ошибкам, которые появляются в некоторых из их
частей.
Мы можем использовать избыточность, чтобы контролировать репликаторы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40