На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

Космос

8 376 подписчиков

Свежие комментарии

  • Сергей Бороздин
    Мой алгоритм - в статье на Самиздат и дзен "Библия как научный источник истории Мира"Единый алгоритм э...
  • дмитрий Антонов
    прошу прощения, меня тут небыло давно. А где Юрий В Радюшин? с Новым 2023 годомБыл запущен первы...
  • дмитрий Антонов
    жаль, что тема постепенно потерялась. а ведь тут было так шумно и столько интересного можно было узнать, помимо самих...Запущен CAPSTONE ...

ТЕХНОЛОГИЧЕСКАЯ СИНГУЛЯРНОСТЬ

Первая часть знаменитой статьи Вернора Винджа

Мы на грани великих перемен. Всё, на что, как считалось, нужны "тысячи веков", случится в ближайшие сто лет. И несмотря на весь свой оптимизм, мне было бы комфортнее, если бы от этих сверхъестественных событий нас отделяли тысяча лет, а не двадцать.

 

Исходный вариант этой статьи математик и писатель Вернор Виндж представил на симпозиуме VISION-21, который проводился в 1993 году Центром космических исследований NASA им.  Льюиса и Аэрокосмическим институтом Огайо. В 2003 году автор дополнил статью комментариями.

Что такое Сингулярность?

Ускорение технического прогресса - основная особенность XX века. Мы на грани перемен, сравнимых с появлением на Земле человека. Сугубая причина этих перемен заключается в том, что развитие техники неизбежно ведёт к созданию сущностей с интеллектом, превышающим человеческий. Наука может достичь такого прорыва разными путями (и это ещё один довод в пользу того, что прорыв произойдёт):
Компьютеры обретут "сознание", и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы создать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).
Крупные компьютерные сети (и их объединенные пользователи) могут "осознать себя" как сверхчеловечески разумные сущности.
Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловеческим.
Биология может обеспечить нас средствами улучшения естественного человеческого интеллекта.
Первые три возможности напрямую связаны с совершенствованием компьютерного аппаратного обеспечения. [В действительности, четвёртая возможность также зависит от этого, хотя и косвенно.] Прогресс аппаратного обеспечения на протяжении уже нескольких десятилетий поразительно cтабилен. Исходя из этой тенденции, я считаю, что интеллект, превосходящий человеческий, появится в течение ближайших тридцати лет. (Чарльз Платт заметил, что энтузиасты ИИ делают подобные утверждения уже лет тридцать. Чтобы не быть голословным, отделавшись относительной временной двусмысленностью, позвольте мне уточнить: я удивлюсь, если это случится до 2005 года или после 2030 года). [Прошло десять лет, но я по-прежнему считаю, что указанный срок справедлив.]
Каковы будут последствия этого события? Когда прогресс будет направляться интеллектом, превосходящим человеческий, он станет куда стремительнее. Фактически, нет оснований полагать, что прогресс не станет плодить всё более разумные сущности всё более ускоренными темпами. Лучшая аналогия, которую можно здесь провести - в эволюционном прошлом. Животные могут приспособиться и проявлять изобретательность, но не быстрее, чем работает естественный отбор. В случае естественного отбора мир сам выступает в роли собственного симулятора. Мы, люди, обладаем способностью усваивать окружающий мир и выстраивать у себя в голове причинно-следственные связи, поэтому мы решаем многие проблемы в тысячи раз быстрее, чем механизм естественного отбора. Когда же появится возможность просчитывать эти модели на более высоких скоростях, мы войдём в режим, который отличается от нашего человеческого прошлого не менее радикально, чем мы, люди, сами отличаемся от низших животных.
Такое событие аннулирует за ненадобностью весь свод человеческих законов, возможно, в мгновение ока. Неуправляемая цепная реакция начнет развиваться по экспоненте безо всякой надежды на восстановление контроля над ситуацией. Изменения, на которые, как считалось, потребуются "тысячи веков" (если они вообще произойдут), скорее всего, случатся в ближайшие сто лет.
Вполне оправданно будет назвать данное событие сингулярностью (даже Сингулярностью, по замыслу данного эссе). Это точка, в которой наши старые модели придётся отбросить, где воцарится новая реальность. Это мир, очертания которого будут становиться всё четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И всё же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и ещё большей неизвестностью. В пятидесятые годы немногие предвидели это. Стэн Юлам пересказывал однажды слова Джона фон Неймана: "Один разговор шел о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела, в том виде, в каком мы их знаем, не смогут продолжаться".
Фон Нейман даже использовал термин "сингулярность", хотя, похоже, он думал о нормальном прогрессе, а не о создании сверхчеловеческого интеллекта. (По моему же мнению, в сверхчеловечности кроется сама суть Сингулярности, без этого мы пресытимся избытком технических богатств, так и не сумев их как следует переварить).
В шестидесятые года отмечались признаки некоторого вовлечения в нашу жизнь сверхчеловеческого интеллекта. Ирвинг Джон Гуд писал: "Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умён тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить ещё более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного [далее здесь цитируются три более ранние работы Гуда]. Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем... И вероятность того, что в двадцатом веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится".
Гуд уловил суть разгона прогресса, но не рассматривал его самые тревожащие последствия. Любая разумная машина того типа, что он описывает, не будет "инструментом" человечества так же, как люди не стали орудиями кроликов, малиновок или шимпанзе.
В шестидесятые, семидесятые и восьмидесятые годы осознание грядущего катаклизма ширилось и росло. Вероятно, первыми его влияние почувствовали фантасты. В конце концов, ведь именно научной фантастике полагается рассказывать о том, чем обернутся для нас все эти технологии. Всё чаще писателей преследовало ощущение того, что будущее сокрыто за непроницаемой стеной. Когда-то воображение с лёгкостью переносило их на миллионы лет вперед. Теперь же они обнаруживают, что их наиболее усердные прогнозы относятся к неизвестному… завтра. Прежде галактические империи могли казаться постчеловеческимим реалиями. Ныне, как ни печально, даже межпланетные государства представляются таковыми.
[На самом деле теперь, в начале двадцать первого столетия, романы о космических приключениях делятся на группы, в зависимости от того, каким образом их авторы справляются с вероятностью появления сверхчеловеческих машин. Фантасты используют целый арсенал уловок, чтобы доказать их невозможность или удерживать на безопасном расстоянии от сюжета.]
Так что же ждет нас в эти два-три десятка лет, пока мы движемся к краю? Как наступление Сингулярности станет утверждаться в человеческом мировосприятии? До поры, до времени неплохую прессу будут иметь критики машинного разума. В конце концов, пока не появится аппаратное обеспечение, сравнимое по мощи с человеческим мозгом, наивно надеяться создать интеллект, сравнимый с разумом человека (или превосходящий его). (Есть малоправдоподобная вероятность, что достичь уровня человеческого разума можно и на менее мощном "железе", если мы готовы поступиться скоростью и нас устроит искусственное существо, которое будет медленным в самом буквальном смысле слова. Но, скорее всего, составление программы для него окажется нетривиальным занятием и не обойдётся без многочисленных фальстартов и экспериментов. А раз так, значит, эра машин, наделенных самосознанием, не наступит, пока не будет разработано аппаратное обеспечение, обладающее существенно большей мощностью, чем природное снаряжение человека).
 
Однако с течением времени мы будем наблюдать все больше симптомов. Дилемма, которую прочувствовали фантасты, станет восприниматься в контексте творческих усилий иного рода. (Мне известно, что вдумчивые авторы комиксов уже беспокоятся о том, каким образом придется создавать зрительные эффекты, когда все видимое вокруг станет можно отображать при помощи широко доступных технических средств.) Мы станем свидетелями того, как постепенно будут автоматизироваться задачи всё более высокого уровня. Уже сейчас существуют инструменты (программы символической логики, САПР), которые освобождают нас от большинства нудной рутины. Есть и обратная сторона медали: истинно производительный труд становится уделом стабильно сокращающейся узкой элиты человечества. С пришествием Сингулярности мы увидим, как, наконец, сбываются прогнозы о настоящей техногенной безработице.
Другой признак движения к Сингулярности: сами идеи должны распространяться быстрее, и даже самые радикальные из них начнут моментально становиться достоянием общественности.
А каким же будет наступление самой Сингулярности? Что можно сказать об истинном характере этого события? Поскольку дело касается интеллектуального разгона, вероятно, это окажется самой стремительной технической революцией из всех прежде нам известных. Свалится, вероятнее всего, как снег на голову - даже вовлеченным в процесс учёным. ("Но ведь все наши предшествующие модели не двигались! Мы только подкрутили кое-какие настройки...") Если сети достаточно широко распространены (в вездесущих встроенных системах), может показаться, будто наши артефакты вдруг обрели самосознание.
И что же тогда случится через месяц или два (или через день-другой) после этого? Есть только одна аналогия, которую я могу провести - возникновение человечества. Мы очутимся в постчеловеческой эре. И несмотря на весь свой технический оптимизм, мне было бы куда комфортнее, если бы меня от этих сверхъестественных событий отделяли тысяча лет, а не двадцать.
 
Конец первой части.
 
Как избежать Сингулярности? (Технологическая сингулярность. Часть 2)
Сдвиг к сверхчеловеческому контролю может занять всего несколько сотен часов, но может растянуться и на десятилетия. Нельзя с уверенностью судить, каков именно будет тот самый направляющий толчок.

Как избежать Сингулярности? (Технологическая сингулярность. Часть 2)

Вторая часть знаменитой статьи математика и писателя Вернора Винджа "Технологическая сингулярность". Первую часть, в которой рассказывается о приближении Сингулярности, можно найтиздесь.
Ну, а может, Сингулярность вообще не наступит. Порой я пытаюсь представить себе признаки, судя по которым, нам станет понятно, что Сингулярности можно не ждать. Есть популярные и признанные аргументы Пенроуза и Сёрла о непрактичности машинного разума. В августе 1992 года сообщество "Мыслящих Машин" устроило мозговой штурм с целью проверить тезис: "Как построить мыслящую машину?" Как вы уже догадались, из этого посыла следует, что участники эксперимента не слишком-то поддерживали те самые аргументы против машинного разума. В действительности, принималась общая договоренность о том, что разум может существовать на небиологической основе, и что алгоритмы являются важнейшей составляющей для разума. Тем не менее, разгорелись жаркие споры по поводу наличия в органических мозгах аппаратной мощности в чистом виде. Меньшинство придерживалось мнения, что крупнейшие компьютеры 1992 года по мощности отставали от человеческого мозга на три порядка. Большинство же участников соглашалось с подсчетами Ганса Моравеца, по которым выходило, что от аппаратного паритета в этом вопросе нас отделяют еще десять-сорок лет. И все же было еще одно меньшинство предполагавших, что вычислительные способности отдельных нейронов могут быть намного лучше, чем  принято считать. Если это так, то наши современные компьютеры отстают аж на десять порядков от того снаряжения, которое скрыто у нас в черепной коробке. Если верен этот тезис (или, в данном случае, если взгляды Пенроуза и Сёрла обоснованы), возможно, мы так никогда и не доживем до Сингулярности. Вместо этого, в начале XXI века обнаружится, что круто вздымавшиеся кривые производительности нашего аппаратного обеспечения начнут сглаживаться из-за нашей неспособности автоматизировать конструкторскую работу по разработке дальнейших усовершенствований аппаратных средств. Все кончится каким-нибудь очень мощным компьютером, но без возможности двигаться вперед. Коммерческая цифровая обработка сигналов будет восхитительна, обеспечивая аналоговый выход, сравнимый с цифровыми операциями, но "сознание" не пробудится, а интеллектуальный разгон, являющий собой самую суть Сингулярности, так и начнется. Такое положение вещей, вероятно, следует рассматривать как Золотой век… и конец прогресса. Это будет нечто очень похожее на будущее, предсказанное Гюнтером Стентом, который ясно дал понять, говоря об идее создания надчеловеческого разума, что это станет достаточным условием для того, чтобы его прогнозы не сбылись.
[В предыдущем абзаце не достает того, что я считаю сильнейшим аргументом против вероятности Технологической Сингулярности: даже если мы сумеем создать компьютеры с чистой аппаратной мощью, вероятно, не получится организовать имеющиеся компоненты таким образом, чтобы машина обрела сверхчеловеческий разум. Для техноманов-механистов это, по-видимому, выльется в нечто вроде "неспособности решения проблемы сложности программного обеспечения". Будут предприниматься попытки запустить все более крупные проекты по разработке ПО, но программирование не справится с задачей, а мы никогда не овладеем секретами биологических моделей, которые могли бы помочь воплотить в жизнь "обучение" и "эмбриональное развитие" машин. В конце концов, появится следующий полуфантастический контрапункт Мерфи к закону Мура: "Максимально возможная эффективность программной системы растет пропорционально логарифму эффективности (то есть скорости, полосе пропускания, объему памяти) подлежащего программного обеспечения". В этом мире без сингулярности будущее программистов уныло и беспросветно. (Представьте себе необходимость одолевать скопившиеся за столетия унаследованные программы!) Так что в последующие годы, полагаю, следует обращать особое внимание на две важнейшие тенденции: прогресс в крупных проектах по разработке программного обеспечения и прогресс в применении биологических парадигм в масштабных сетях и масштабных параллельных системах.] 
Но если технологической Сингулярности суждено быть, то она случится. Даже если все государства мира осознают "угрозу" и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество - экономическое, военное, даже в сфере искусства - любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.
Эрик Дрекслер составил впечатляющие прогнозы развития и совершенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер оспаривает способность человечества удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы можно было оценить и надежно использовать.
Не соглашусь, что сохранение контроля так уж невозможно. Представьте себя запертым в собственном доме при единственном, ограниченном некими вашими хозяевами канале доступа информации извне. Если бы эти хозяева мыслили со скоростью, скажем, в миллион раз медленнее вас, едва ли стоит сомневаться в том, что через несколько лет (вашего времени) вы изобрели бы способ побега. Я называю эту "быстро мыслящую" форму сверхразума "слабым сверхчеловеческим". Такая "слабая сверхчеловеческая сущность" более чем ускорила бы течение времени эквивалентного человеческому ума. Сложно сказать точно, что будет из себя представлять "сильное сверхчеловеческое", но отличие, по-видимому, будет разительным. Вообразите собаку с чрезвычайно ускорившейся работой мысли. Сможет ли тысячелетний опыт собачьего мышления что-то дать человечеству? Многие предположения о сверхразуме, как кажется, основываются на модели "слабого сверхчеловеческого". Я же думаю, что наиболее верные догадки о постсингулярном мире можно строить на предположениях об устройстве "сильного сверхчеловеческого". К этому вопросу мы еще вернемся.
Другим подходом к проблеме сохранения контроля является идея о создании искусственных ограничений свободы действий сконструированной сверхчеловеческой сущности. [например, Законы роботехники у Азимова]. Я полагаю, что любые правила, достаточно строгие, чтобы обеспечить их эффективность, приведут у созданию устройства с возможностями, очевидно более узкими, чем у нестесненных ограничениями версий (таким образом, соревновательность будет способствовать развитию более опасных моделей).
Если Сингулярность нельзя предотвратить или ограничить, насколько жестокой может стать постчеловеческая эра? Что ж, довольно жестокой. Физическое вымирание человеческой расы - одно из возможных следствий. (Или, как сформулировал это Эрик Дрекслер, говоря о нанотехнологиях: со всеми подобными техническими возможностями, вероятно, правительства решат, что простые граждане им больше не нужны). Тем не менее, физическое вымирание может оказаться далеко не самым страшным последствием. Вспомните о разного рода наших отношениях к животным. В постчеловеческом мире по-прежнему останется множество ниш, в которых эквивлентная человеческой автономность будет востребована: встроенные системы в самоуправляющихся устройствах, автономные демоны низшей функциональности в более крупных разумных существах. ("Сильное сверхчеловеческое, по-видимому, будет представлять собой Общность Разума из нескольких очень умных компонентов".) Некоторые из таких человеческих эквивалентов могут использоваться исключительно для цифровой обработки сигналов. Прочие могут остаться весьма человекоподобными, хотя и специализированными, с узким профилированием, из-за которого в наше время их поместили бы в психиатрическую клинику. Несмотря на то что никто из этих существ может не быть уже людьми из плоти и крови, они останутся наиболее близкими к современному нам человеку в том новом окружении.
[Уверен, Ирвингу Гуду было бы, что сказать на этот счет (хоть я и не нашел у него упоминаний чего-то подобного). Гуд предложил золотое метаправило, которое можно переформулировать следующим образом: "Обращайся с братьями меньшими так, как ты хочешь, чтобы старшие братья обращались с тобой". Это чудесный парадокс (и большинство моих друзей этому не верят), так как последствия, подсчитанные согласно теории игр, отчетливо выразить трудно.Тем не менее, если бы мы могли следовать этому правилу, в каком-то смысле это могло бы говорить о распространенности подобных добрых намерений во вселенной.]
Я уже выражал выше сомнение в том, что мы не можем предотвратить Сингулярность, что ее наступление есть неминуемое следствие естественной человеческой соревновательности и возможностей, присущих технологиям. И все же мы - инициаторы. Даже величайшая лавина вызывается мельчайшими действиями. Мы вольны устанавливать начальные условия, чтобы все происходило с наименьшим для нас ущербом.
[Будет ли прок от предвидения и вдумчивого планирования, может зависеть от того, как произойдет технологическая Сингулярность. Будет ли это "резкий переход" или "тихий переход". Резкий переход - это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько сотен часов (как в "Музыке крови" Грега Бэра). Мне представляется, что спланировать что-то в расчете на резкий переход будет чрезвычайно трудно. Он будет подобен лавине, о которой я писал в этом эссе в 1993 году. Наиболее кошмарная форма резкого перехода может произойти из гонки вооружений, когда две державы подстегивают свои отдельные "манхэттенские проекты" с целью добиться сверхчеловеческой мощи. Эквивалент десятилетий шпионажа на человеческом уровне может сжаться в последние несколько часов существования расы, и весь человеческий контроль и рассудительность пасуют перед некими чрезвычайно деструктивными целями.
С другой стороны, "тихий переход" может занять десятки лет, возможно, более века. Такая ситуация кажется более поддающейся планированию и вдумчивому экспериментированию. Ганс Моравец рассматривает такой "плавный переход" в книге "Робот: от простой машины к сверхразуму"
].

Конечно (как и в случае с лавинами), нельзя с уверенностью судить, каков именно на самом деле будет тот самый направляющий толчок.
Конец второй части
Источник: old.computerra.ru

Картина дня

наверх