Добрый вечер!
Спасибо за ответ (и за "вмешательство"), ибо с владельцем журнала у меня, увы, не получалось продуктивного диалога, а жаль (мне), ибо его размышления нестандартны и интересны (как минимум методически).
Уважаемый коллега (я тоже программист), и сама наша работа требует от нас точности и аккуратности в формулировках и описаниях. Это очень неплохая привычка во всем, даже в дискуссиях.

Я буду прмолинеен, без обид.
Я согласен, нужно создавать не для "кажется", а для дела. Но.
Есть, например, решето, которое известно с древних времен и широко используется поныне "в широком спектре ситуаций" и "действует эффективно". Решето "автоматически имеет интеллект"?
То, что Вы описали имеет свои конвенциональные метки - "механизация" и "автоматизация", и ни один специалист не скажет - "интеллектуализация" (ибо знает, что там интеллекта ноль).

Р. Пенроуз в своей книге пишет и неаккуратно и не точно. "Нерешаемую задачу" не сможет решить никто (ни ИИ, ни человек, ни "пришелец"), "вести себя разумно" столь же невозможно, как и решать нерешаемые задачи (поведение бывает либо случайным, бессмысленным, либо осмысленным в целях самого объекта). Но Вы правы, в том, что "осмысленность" субъективна (в большинстве случаев), к тому же даже человек лишь малую часть действий совершает осмысленно, а остальные - либо по привычке (рефлекс), либо случайно - "куда кривая вывезет" (они ему безразличны).
Но отличить "осмысленное поведение" задача решаемая - оно не рефлекторно и не случайно.

Не надейстесь даже... Эволюция "решала задачу" уже имея "живой материал"...
Вы же программист, неужели Вы видели хоть одну программу, которая хоть раз до чего-нибудь "додумалась" сама? Возможно ли на рефлексах "собрать" мысль и даже элементарную эмоцию - "нравится / не нравится", без которой немыслима самостоятельность, т.е. "свобода выбора", найденная и у амеб?
Программный код "прописывает" для объекта рефлексы (поведение в жестко описанных программой ситуациях), а генератор случайных чисел - "безразличность". Поведение улитки интеллектуально (самую малость), ибо она способна поставить сама себе задачу и решить ее, а затем оценить решение и приобрести опыт. Ни одна самая "умная" машина этого не может и не сможет, ибо нет таких средств у нас, чтобы заложить в нее стремление к самостоятельности и смыслу.
Невозможно запрограммировать поведение в априори бесконечном числе жизненных ситуаций даже за триллион лет даже для амебы...
Исчезнут люди и... все наши самые "умные" машины очень скоро встанут из-за самых разных "случайных" проблем, которые они даже самостоятельно "увидеть" не смогут, чтобы искать им далее "противоядие"... Этим и отличается живое от не живого (в т.ч. искусственного). Чтобы создать ИИ нужно решить задачу Пигмалиона - оживить безжизненное... и никак иначе, увы... Ни метафизика (в том числе когнитивистика), ни дуализм любых мастей эту задачу решить не способны ("отразить" Природу). Тот же Рорти в "Философии и зеркале..." это великолепно показал...

Чем мне импонирует hitthelimit, так это четкой постановкой задач и вопросов, а также безупречностью анализа. И все его рассуждения о "суициде", "сингулярности" и т.п. в последних постах безупречны, если предположить, что в жизни нет того "третьего", чего не видят ни метафизики, ни дуалисты - того, что превращает безжизненную биомассу (труп) в живое существо, нет любви (я не шучу). Он очень четко поставил "задачу поиска интелелкта", описал возможные варианты решения и их последствия. Мне неясно одно, на каком оновании он отрицает в жизни то, делает ее жизнью (может отсюда и неувязки)?