попал в кроличью нору lesswrong после повторного чтения статьи Пола Кристиано «как выглядит неудача» (она появилась на кривой, и я пытаюсь понять сценарии «потери контроля»), и, боже, вся эта теория решений сразу же сталкивается с проблемой остановки.

определение того, будет ли данная программа выводить определенный символ для конкретных входных данных, является полузавершимым и, следовательно, эквивалентно задаче остановки. любая теория принятия решений, основанная на "чтении исходного кода другого агента", рушится из-за этого факта.

На самом деле любая *рефлексивная* теория принятия решений рушится из-за этого факта. TDT и др. работают только в ситуациях, когда агенты не являются тьюринг-полными. Не очень полезно.

всё это логическое неопределённое дело выглядит довольно хорошо, однако

@azsantosk на самом деле вот дикая и необоснованная мысль; добавление вероятности переводит нас из дискретной в непрерывную среду, и именно это устраняет неразрешимость это было бы таким красивым теоремой

@azsantosk так что мы либо выше, либо ниже Тюринга

@azsantosk либо омега обладает гиперкомпьютированием (волшебник), либо наши агенты не очень интересны

@azsantosk конечно, я не способен на самосовершенствование и многие другие вещи, предполагаемые различными теориями принятия решений на less wrong dot com