Первое соображение касается термодинамических законов, которым должна подчиняться сложная система. В принципе, жизнь возникла как ответ на термодинамическое неравновесие между Солнцем, Землей и космическим пространством. Поток энергии от Солнца рассеивается Землей с увеличением энтропии, и возникновение сложных структур, способствующих еще более интенсивному ее рассеянию - вполне закономерный процесс, термодинамический выгодный и оправданный. Разумная жизнь, скорее всего шаг в том же направлении. Поскольку неравновесность никуда не исчезает и будет иметь место еще необозримо долго, раз возникшие структуры также должны остаться в игре - в той или иной форме. Чисто динамический подход ничего об этом не говорит; и хотя термодинамические законы выводятся из анализа динамических моделей, все это делается только для частных ситуций, к тому же при условии, что уже заранее известно, что искать. Короче - термодинамические соображения следует использовать поверх динамических - они указывают некоторые направления, которые следует иметь в виду.
Впрочем, термодинамические подсказки очень скудные, и если сложные системы продолжат свое существование, термодинамика ничего не говорит о том, в какой форме они будут существовать.

Второе: я переформулирую проблему в огрубленном виде (может она так и звучала вначале?): функционирование мозга движется к некоторому пределу, когда он становится менее и менее зависим от сигналов извне и все более и более обусловлен собственными процессами. Этот процесс может принять такую форму, что осознание собственных процессов станет доминирующим, вытеснив неосознанные или инстинктивные импульсы. Проблема вырастает из того, что на уровне осознания единственным движущим фактором являются мотивы. А мотивационная сфера по своей сути совершенно недостаточна: любая цепочка целей исчезает в неосознанных импульсах, а, с другой стороны, поиск исчерпывающего смысла безнадежен. И то и другое обычно осознается досточно рано. По мере четкого осознавания ситуации сознание должно попасть в ловушку - из-за этой недостаточности мотивов, целей и смыслов.
Можно ли вообразить какой-то сценарий, который позволил бы избегнуть этого?
Мне кажется, что проблема, поставленная таким образом, неразрешима в принципе. Дело в том, что сама постановка проблемы уже вписана в мотивационную сферу и требует решения именно в такой форме - т.е. чего-то, имеющего некий смысл. А это - то же самый тупик.

Тем не менее, ничто не мешает допустить, в принципе, что сложные системы, наследующие мозг, станут обходиться без мотиваций. Как они будут функционировать - понять невозможно. Т.е. мы в принципе не можем этого понять, так как для этого надо спроецировать такой механизм на нашу привычную плоскость, где все должно обладать смыслом, и, по сути, потерять само решение. Возможно, что такие принципы уже существуют и работают. Но мы принципиально их не замечаем, да и они не представляют для нас никакого интереса. Более того, даже сама перспектива, возможно, не представляет никакого интереса - в силу ее перепендикулярности нашей смысловой системе.

Третье соображение пока в совершенно размытом виде. Мне кажется: что сознание можно связать не с любым внутренним состоянием, а только с теми, в которых имеется неопределенность, недетерминированность перехода (относительная, конечно). Там, где переход детерминирован, нет смысла говорить о сознании. Возможно осознание надо понимать как момент расширения фазового пространства состояний. В любом случае наличие сознания тогда будет увязано с неустойчивостью системы и принципиальной неопределенностью ее траектории.