Orice teorie funcțională a superinteligenței trebuie să respecte limitele fizice și teoretice ale informației. Există multă literatură în teoria controlului și a sistemelor dinamice care se ocupă de acest lucru, care pare total necunoscută comunităților preocupate de ASI.
A căzut într-o gaură de iepure mai puțin greșită după ce am recitit "Cum arată eșecul" lui Paul Christiano (a apărut la curbă și mă străduiesc să înțeleg scenariile de "pierdere a controlului") și omule, toate chestiile cu teoria deciziei se lovesc instantaneu de problema opririi imediat