а что можно сделеть, чтобы противостоять расматриваемой вами угрозе?

например - можно ли запустить Ии в чёрном ящике и наблюдать за тем, когда он войдёт в ступор? Затем определить на каком уровне в среднем Ии входит в ступор и сообщить эту информацию следующему ИИ, и посмотреть, войдёт ли он в ступор, зная эту информацию. В конце концов, если Ии достаточно умный, он может понимать, что есть вещи, которые резко снижают его оптимизацию. например, взрослый человек понимает, что прямая стимуляция центров удовольствития не приводит к более высокой стимуляции, и избегает упореблять сильные наркотики. и знает он это благодаря личному примеру печальной судьбы других людей.

Но вот Фрейд этого не знал, и активно экспериментировал с кокаином в начале своей карьеры.