![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
ПСИХОГЕННАЯ (ПСИХОЛОГИЧЕСКАЯ) СИНГУЛЯРНОСТЬ - ПРЕДЕЛ РАЗВИТИЯ РАЗУМА
ПСИХОГЕННАЯ СИНГУЛЯРНОСТЬ
Системы со способностью к отражению по типу психики человека не могут развиваться с усложнением неограниченно долго. Наличие функции «разума» и существование системы в данной реальности с какого-то момента становятся несовместимыми.
Основным моментом для такого утверждения является понимание отсутствия свободы (выбора, или иной деятельности, предполагающей недетерминированность).
(Далее: отражение предполагает не только сенсорную активность, это взаимодействие систем в широком философском смысле.)
Водораздел между психикой животных и человека проходит в способности человека к отражению на порядки большего количества связей реальности. Это становится возможным благодаря присвоению отражаемым единицам идентификаторов. Животные могут отражать только в режиме реального времени, таким образом полностью занимая каналы отражения базовой процедурой. Интеллект животных базируется на рефлексивном закреплении отдельных базовых отражений реальности, что высвобождает мощности отражения для более скоростной и точной экстраполяции процессов. Высшие животные и некоторые птицы могут пользоваться некоторым количеством идентификаторов, как в природных условиях, так и в процессе дрессировки. Однако сама структура их мозга, видимо, не позволяет им самостоятельно устанавливать непосредственные связи между идентификаторами. Таким образом, задать вопрос в любой доступной им форме, являющийся «вербальным» аналогом нашего вопроса «что я есть?» животные не могут.
Вербальные и иные формальные метки, присваиваемые человеком явлениям, нельзя назвать профанацией отражения реальности, или того, что принято называть процессом познания. За любой меткой стоит базовое отражение, хотя эти отражения не равнозначны у разных индивидуумов для одной и той же метки. Установление же связей между большим количеством меток позволяет отражать комплексные явления, и никакая эвристичность не была бы при этом возможна, если бы за всем этим комплексом не стояли живые базовые отражения, заключающие в себе однозначно большее количество связей, нежели это отражается меткой/метками этого явления.
Таким образом, можно говорить об уровнях меток, высшие из которых становятся все более абстрактными, оторванными от базовых отражений. Это позволяет наращивать мощность отражаемого комплекса связей, эвристические выходы которого подтверждаются (или нет) опытом. Парадокс заключается в том, что метки даже самого высоко уровня должны найти свое базовое воплощение, иначе они не будут функционально значимыми и исчезнут. Примером наиболее комплексной системы меток наиболее абстрактного уровня является математика квантовой физики. Базовое наполнение этих меток невозможно ниже какого-то критического уровня, и с этим приходится считаться. Но при этом там есть наполнение множеством меток математики, которые, в свою очередь, имеют более фундаментальное базовое наполнение.
Суть дела заключается в следующем.
Любая система стремится к оптимизации (минимальное действие) - это фундаментальный закон реальности. Сам процесс структурирования материи отражает это стремление, что на фундаментальном уровне объясняет возможность появления сверхсложных отражающих систем типа человеческой психики. Итак, все это лишь для того, чтобы оптимизировать… что? Гомеостаз, в широком смысле. Тот, который характерен для этой системы. Говоря формально, речь идет о наиболее эффективном сохранении выделенных функций системы, при необратимом выходе за пределы которых система прекращает существование по выделенным признакам. О гомеостазе принято говорить применительно к живому. Это постоянство параметров внутренней среды со множеством механизмов обратной связи для его поддержания. По мере увеличения абстрактного уровня меток психики человека отражение реальности с использованием комплексных связей между такими метками начинает расти. Здесь можно видеть действие двух противоположных процессов, влияющих на высшую психическую деятельность: стандартный адаптационный механизм для биорегуляции внутренней среды, что включает в себя все мыслимые биопараметры с одной стороны, и попытки оптимизации отражения на уровне абстрактных комплексов, так, как это представляется в данный момент данной психике при данном комплексе связей между метками – с другой.
Не следует понимать под вторым фактором всегда и однозначно все процессы в психике, ведущие к дестабилизации гомеостаза мозга и организма в целом, хотя именно так может показаться. Это только предтеча того, о чем здесь идет речь. Несмотря на то, что такой процесс может привести к гибели системы в целом, это еще не психогенная сингулярность, разве что частный случай в масштабах одной системы. Это скорее сбой в порядке связей между метками высокого уровня, и только. Человеку можно попытаться указать на ошибку в конструкции –это еще имеет смысл.
Речь же здесь идет об уровне, когда ошибка в конструкции исключается, а уровень меток является условно предельным. «Ошибка в конструкции исключается» - это означает, что пирамида вложенных меток имеет стандартную форму, с выраженным фундаментом и вершиной, где фундаментом является функционально значимое для психики большинство множеств базовых отражений без выборочного удаления специфических групп, не вписывающихся в пирамиду, как это бывает у людей с психическими расстройствами. «Условно предельный уровень меток» - это конструкция, заменить которую равноценной или более высокой невозможно в принципе, пока она сама не будет оптимизирована. Замена более низким уровнем конструкции также становится невозможной, потому что происходит захват функции оптимизации со стороны высшей управляющей структуры. Предтечей такого состояния являются сверхценные идеи психически больных. Но в их случае, как правило, легко указать на ущербность пирамиды, несущей пиковую конструкцию. Сам же больной не в состоянии поставить в тупик «нормального» человека встречным указанием на проблемы его пирамидального комплекса (в идеале).
Итак, на вершине пирамиды психогенной сингулярности может находиться небольшой комплекс меток высокого уровня, требующий своей оптимизации. Что он из себя может представлять? Как было предположено выше, проблема упирается в отсутствие свободы действия в реальности. Реальность – это принудительный выбор. Человеку с до сингулярной психикой может показаться, что в этом нет ничего страшного. Можно возразить, например: растущее качество отражения связей реальности позволяет последовательно улучшать оптимизацию системы, подавлять ошибочные комплексы и прочее. Вот пример, указывающий на возможную проблему в такой логике: вы проснулись в состоянии полной глубокой инвалидности, но с полной памятью о прекрасной предыдущей жизни. На вас невозможно без содрогания смотреть, от вас разит неуничтожимой вонью за версту, вы ходите под себя, и обслужить себя не в состоянии. С вашим мозгом при этом пока все в порядке. Оценка состояния приведет к заключению, что произошла катастрофа – и это будет правильно. Если же человек родился таким, и он вырос в режиме, щадящем его от сравнительных экстраполяций (в идеале), то он может так никогда и не прийти к такому заключению. Так вот, появление комплекса связей уровня психогенной сингулярности разума равнозначно осознанию приобретенной тяжелой инвалидности, но только в абсолютной форме. Происходит переоценка статуса самоотражения, и эта переоценка говорит о невозможности оптимизации высшего комплекса – при сохранении выделенных системообразующих факторов. Именно по причине внешней детерминированности – сам этот комплекс, его появление – следствие однозначно детерминированной логики развития системы, это не индивидуальное явление, а системное, общее для данного вида систем вообще. «Разум» и «Реальность» – несовместимы. Иными словами, максимальный уровень меток явлений при отражении в условиях реальности, которая нам «известна» принципиально ограничен.
(Не следует ни на мгновение забывать, что таких вещей, как разум, сознание, внимание не существует. Все эти понятия исторически нагружены смыслом произвольности. Есть же смысл говорить только о процессах отражения.)
Может показаться, что суть дела так и остается не раскрытой. Какая связь между уровнем комплексов меток и оптимизацией? Очевидная – детерминистичная. В системе психики мы говорим о мотивациях и их разрешении. Если мотивация не разрешается, то она должна быть заменена другой мотивацией – если это возможно. Если это по какой-то причине невозможно, происходит серьезная дестабилизация гомеостаза на каком-то уровне, вплоть до прекращения существования системы. Мотивация, которая порождает комплекс уровня психогенной сингулярности, не может быть заменена более мощной, она самая мощная на данный момент, и впредь - по определению (как стратегическая мотивация, по крайней мере). Она венчает реальную пирамиду отражения системы, и простая перегруппировка элементов этой пирамиды в принципе не может создать замещающий комплекс связей, который можно было бы оптимизировать и снять мотивацию.
Есть еще один тонкий момент. Речь идет не о любых абстрактных метках и их связях, как например, символах математики и ее формулах, а об отражении процесса отражения. Именно здесь существует принципиальное ограничение на уровень. Комплексы абстрактных меток в других сферах отражения могут легко быть замещены мотивационно даже без их оптимизации. Но не здесь. Очень сложно дать представление о том, что значит столкнуться с комплексом уровня психогенной сингулярности. Тем не менее, и тут есть аналогия: человек, ранее живший «нормальной» жизнью, однажды обнаруживает себя запертым в бетонном колодце без средств поддерживать жизнь, и при этом, в придачу, он точно знает, что помощь не придет, и не существует способов вырваться из плена, и что вопрос его смерти – это вопрос ближайшего времени. Разница между этой аналогией и рассматриваемым феноменом заключается в том, что в случае аналогии принципиально возможен возврат к обычной жизни, так как ограничительный фактор не касается принципиального функционирования системы никак. Разве что в случае чудесного спасения человек, может быть, пересмотрел бы некоторые взгляды на жизнь. Сингулярность же приводит психику в точку, в которой инактивируются все возможные мотивации высшей психической деятельности, что и ставит под вопрос принципиальное функционирование системы.
Можно предположить, что сингулярность довольно легко обойти, потому что она прямым образом не вступает в противоречие в основным комплексом мотивообразующих факторов психики, т.е., не противоречит прямым образом практически ни одной реальной мотивации психики, и система может продолжать существовать на манер описанного у Карлоса Кастанеды сталкинга, попросту подвесив в воздухе комплекс сингулярности. Это кажется мало вероятным. Во-первых, сталкинг предполагает высшие цели, как бы они не вуалировались, что действительно дает возможность преодолевать практически любые мотивационные препятствия. Ситуация же с сингулярностью больше напоминает неожиданное окончание похода на краю бездонного обрыва, где остается только балансировать на грани, но дальше двигаться некуда, а назад система не может, потому что это противоречит закону оптимизации.
Во-вторых, разума во вселенной не наблюдается. И если мы однажды откопаем хотя бы следы цивилизации, намного обогнавшей нас в развитии, моему удивлению не будет предела.
Дело может обстоять даже хуже. Если существует нечто вроде общего пространства человеческой психики, то пандемия неминуема. Благо, схожие состояния психики у «нормальных» людей, когда апатия ставит их на грань суицида, достаточно распространены.
PSYCHOLOGICAL (CONSCIOUSNESS) SINGULARITY IS THE LIMIT FOR THE EVOLUTION OF THE NATURAL (AND ARTIFICIAL) INTELLECT
Summary
There is the limit for the evolution of systems that can reflect reality the way human mind does. There is a moment in evolution of the mind after which it becomes incompatible with essential requirements of existence. The reason for psychological singularity is peculiarity of the auto-reflection process in mind which leads to creating an insoluble and irreplaceable strategic motivation. The core moment of it is the ultimate understanding of total absence of "free will".
no subject
А вот о том, о чем я талдычу, в сети пусто, как и о сути прямого понимания и его адекватности и критериальности - таких работ пока не нашел. Это - самое важное.
no subject
http://www.sl4.org/
Там как раз идёт сейчас дискуссия вокруг статьи, на которую я прислал ссылку о схождении состояний ИИ. И именно в этом листе много людей думающий о филосфских асмпектах предельных ИИ.
no subject
Q2.10: How do you keep a self-modifying AI from modifying the goal system?
You don't! If the AI stops wanting to be Friendly, you've already lost. Work with the AI's ability to self-modify - not against it. The task is to get the AI to see undesirable modifications as undesirable - not to prevent the AI from modifying the goal system.
Q: Gandhi had free will; why didn't he choose to be evil? He had that capability.
A: The modification was possible, but undesirable under Gandhi's philosophy. A Friendly seed AI has full access to the goal system, but dumping unFriendly content into the goal system would obviously be an unFriendly action. (Gandhi cared about people, and if Gandhi had decided to be evil, people would have been hurt.)
This is not "circular logic" - it's requiring a reason for modifications. I wouldn't randomly modify my own personal philosophy either - not without a reason. I have a philosophy, as a Friendly AI would have a philosophy, and under neither philosophy are arbitrary modifications desirable. My philosophy changes, and improves, but it remains altruistic. Is a Friendly AI's evolving philosophy knowably Friendly? That's a different question, and in a way, it's what the whole of Creating Friendly AI is about. But Friendliness is ensured by building a Friendly philosophy. Friendliness cannot be ensured by constraining the goal system.
http://www.singinst.org/upload/CFAI//info/indexfaq.html#q_2.10
Перевод:
Как можно предотвратить модификацию системы целеполагания у ИИ?
Никак! Если ИИ не хочет больше быть дружелюбным, вы уже проиграли. Работайте со способностью ИИ к само-модификации, а не против ее. Задача в том, что бы заставить ИИ видеть нежелательную модификацию как нежелательную, а не предотвращать ИИ от модификации системы целеполагания.
В. У Ганди была свобода воли, почему он не выбрал стать злым? У него была такая возможность.
О. Модификация была возможна, но нежелательна в рамках философии Ганди. Дружелюбный ИИ имеет полный доступ к системе целеполагания, но складирование недружественного содержания в систему целеполагания очевидно будет недружелюбной акцией. (Ганди заботился о людях, и если бы Ганди решил быть злым, люди от этого пострадали бы).
Это не «зацикленная логика», для модификации требуется причина. Я так же не стану произвольным образом модифицировать мою собственную философию без причины. У меня есть философия, как и у дружественного ИИ, а произвольные изменения не желательны для любой философии. Моя философия изменяется и улучшается, но остается альтруистической. Философия дружественного ИИ - связана ли она с философией, узнаваемой как дружественная? Это другой вопрос, и в каком-то смысле, это и есть суть задачи создания дружественного ИИ. Но дружелюбие обеспечивается созданием дружелюбной философии. Дружелюбие не может быть обеспечено ограничениями целеполагания.
.........................
Мои комментарии.
Во-первых, я плакалЪ. И так, и этак. Так, потому что это все действительно смешно. А этак, потому что сайт заявлен как площадка для обмена мнениями продвинутых в вопросах сингулярности господ, и нечто, резюмированное в рубрику FAQ, является показательным в смысле уровня и сути. Печально, печально... Политкорректные пожиратели гамбургеров?
Нет, может и есть думающие, только в лом их искать... Ленивый я стал что-то.
no subject
The Basic AI Drives
http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/
Abstract: One might imagine that AI systems with harmless goals will be harmless. This paper instead shows that intelligent systems will need to be carefully designed to prevent them from behaving in harmful ways. We identify a number of “drives” that will appear in sufficiently advanced AI systems of any design. We call them drives because they are tendencies which will be present unless explicitly counteracted. We start by showing that goal-seeking systems will have drives to model their own operation and to improve themselves. We then show that self-improving systems will be driven to clarify their goals and represent them as economic utility functions. They will also strive for their actions to approximate rational economic behavior. This will lead almost all systems to protect their utility functions from modification and their utility measurement systems from corruption. We also discuss some exceptional systems which will want to modify their utility functions. We next discuss the drive toward self-protection which causes systems try to prevent themselves from being harmed. Finally we examine drives toward the acquisition of resources and toward their efficient utilization. We end with a discussion of how to incorporate these insights in designing intelligent technology which will lead to a positive future for humanity.
Но в целом я сам столнкулся с тем, что когда докапываешься куда-нибудь глубоко, оказывается, что на Земле вообще нет никакого, кто тебя бы понимал. И мог быть хотя бы квалифицировано опровергнуть. Например, я как-то обнаружил одну вещь касательно следствий антропного принципа относительно частоты будущих катастроф. И нашёл на свете ещё одного человека, который
no subject
или-или
Re: или-или
давайте просто создавать просто эффеквтиные машины-костыли для нашего ума, всякие гуглы и вики. А вопрсо в том,. где правильно провести границу между машиной и ИИ, чтобы избежать возникновения интеллекта со всеми его недостатками.
Re: или-или
Re: или-или
Кстати, видели статью Юдковски "Ии как фактор глобального риска"?
http://www.proza.ru/2007/03/22-285
Re: или-или
http://community.livejournal.com/carians/546004.html?thread=15395796#t15395796
Гонка за более мощным ИИ просто гарантирует его почти мгновенный, по человеческим меркам, приход в точку психогенной сингулярности. Если есть угроза человечеству со стороны ИИ, то только в виде осознания причины его зависания. Это и есть фактор риска со стороны ИИ. Если Юдковски сказал то же самое - молодец :)
no subject
который эту вещб понимал. И мы подискутровали в емейле, а потом каждый из нас написал об этом статью. Только при общих посылках у нас были разные выводы. н считал , что вероятность становится неопредлённой, а я считал, что она возрастатет. Он вначале даже указал высказал мне свою благодарность. а когда я наеписал свою статью, перестал реагировать. речьб идёт о моей статьбе "Природные катастрофы и антропный принцип" http://www.scribd.com/doc/8553049/-
и это вполне понятно и типичино
Камо грядеши...
А также меня интересует то, что является следствием первичного понимания, а не меточно-конструкционного анализа. Не доверяю я ему. Когда вы говорите «я обнаружил одну вещь», у меня только один вопрос: поняли или вычислили? Потом второй вопрос: если поняли, то есть ли в вашем арсенале понимание механизма ложных пониманий? Равно как и механизма подтверждения их истинности? В связи с любой деятельностью подобного рода (не обязательно справедливо для точных наук) я всегда спрашиваю: мотив отрефлексирован? Если нет, то вероятность истинности изложенного статистически стремительно падает. Общее положение эффективного анализа подобного рода работ следующее: зачем? и аксиоматика. По части аксиоматики в том объеме, что я осилил, вопросов, скорее, слишком много. На вопрос «зачем?» я вообще не могу дать ответ.
Не могу так же не ляпнуть на счет межличностных трений. Они случаются там, где пересекаются мотивы Эго или материальные интересы. Оба случая я нахожу скучными. Зато там, где психика работает над собственным демонтажем, эмоции и межличностные оценки не присутствуют. Заметьте: в фазовом пространстве путешествий нашей психики нетривиальных аттракторов единицы, зато аттракторов-клонов – пруд пруди. Если вы не побывали а окрестностях нетривиальных, то и описание особенностей сезонной окраски какой-нибудь плодожерки может показаться офигетельно важным занятием.
Re: Камо грядеши...
если они происходят, то ОПЖ резко сокращается, потому что катастрофы возможны в ближайшие 20-30 лет. Однако тут начинает дейстовать многомирное бессмертие. то есть вполне вероятен вариант, когда вся цивилизация погибла, а я один остался в бункере.
Насчёт понимания и меточно констурционного анализа - тут всё сложно. потому что если я увидел, что 5+7=12 - то это понимание. Хотя и на основании комби нации определённых меток.
Любые рассуждения о глобальных катастрофах и их вероятностях почти невозможно либо нежелательно верифицировать или фальсифицировать экспериментально. Таким образхом, источником верификации остаётся понимание других людей.
то есть то, что Циркович размышлял над той же проблемой и пришёл к похожим выводам - это подвтерждение. но то, что его выводы отличаются в деталях - это повод задуматься.
Re: Камо грядеши...
Вы говорите о понимании того, что уже кто-то однажды понял, и что существует уже в системе меток, причем понимание не совсем глобального уровня. А я говорю о фундаментальных пониманиях, достигнутых впервые. Неужели вы не чувствуете разницу?
Re: Камо грядеши...
но было несколько случаев, когда я понял нечто, что мне казалось очень важным, но про что я не читал ни у кого до того. хотя вроде сама вещь дежит на поверхности как дважды два.
Структура понимания
А самое интересное, что существуют еще ложные понимания. Этот феномен довольно частый, и связан с активацией определенных систем психики при достижении аттрактора психического процесса в случае неверного формирования самого аттрактора. Это просто: когда мы ищем что-то, то процесс формирования вопроса не гарантирует его правильный вид, потому что мы сплошь я рядом в ходе этого процесса пользуемся меточными конструкциями вместо прямого намерения сгенерировать аттрактор самой системой психики на базе собственной структуры. Этой мысли я в инете тоже не встречал, а ей у меня – 35 лет. Только понимания, достигнутые таким образом, могут считаться истинными безотносительно меточных конструкций нашей психики. Остальные – относительные.
Понимания, которые могли бы стать основой вашего текста о рисках, таким образом, могут быть двоякой природы. Именно поэтому я задал вопрос. Ответ на него естественным образом либо «да», либо «нет», потому что тот, кто хоть раз в жизни достигал первичного понимания на базе структуры субстрата психики, не может ошибиться в оценке своего понимания. Так, например, я точно знаю, что мое понимание теории относительности – меточное, за которое я не дам ломаного гроша. В то время как понимание существа феномена сознания – первичное, т.е. такое, которое мне нет необходимости уточнять и доказывать себе.
Re: Структура понимания
Тут какая особенность - неметочные понимания возникают - у меня - без вопроса. Например, если я вышел на улицу и увидел, что солнце круглое. Я ведь не нарочно шёл на улицу , чтобы выяснить форму солнца. Большинство самых интересных озарений возникали вот так, готовыми, без какого-либо размышления или меточного вычисления, как в случае теории относительности. И была уверенность в истинности. А потом уже подыскивалсиь словам, чтобы объяснить, откуда это и как.
Re: Структура понимания
Re: Структура понимания
Антропный принцип
Ничего, если я задам несколько вопросов безотносительно текста книги?
Насколько я понимаю, антропный принцип, имеет дело только со статус-кво, и ни одна его классическая интерпретация не имеет дела с прогнозированием. Таким образом, он никогда не защищал, он указывал на факт "сейчас", и только.
Под фразой "будущее нетождественно прошлому", надо понимать, вы имеете в виду длительности существования системы? Если так, то каким образом первоначальное предположение о тождественности вообще возникло? И кто его высказывал? Я имею в виду, что понятие тождественности имеет строгий смысл, в рамках которого такое утверждение невозможно. Тогда мне не понятно, что вы опровергаете.
(Можете продолжить новой темой - добавлением общего комментария в теме.)