在重新阅读保罗·克里斯蒂亚诺的《失败的样子》后,我陷入了一个lesswrong的兔子洞(它在曲线上出现,我正在努力理解“失控”场景),天哪,所有的决策理论内容立刻就遇到了停机问题。
确定给定程序是否会对特定输入输出特定符号是半可判定的,因此等同于停机问题。任何基于“读取其他代理源代码”的决策理论都因这一事实而崩溃。
事实上,任何*反思性*决策理论都因为这个事实而崩溃。tdt等仅在代理不是图灵完备的情况下有效。这并不是很有用。
不过,逻辑不确定性的问题还是相当成立的。
@azsantosk 其实这是一个疯狂且没有根据的看法;添加概率使我们从离散转向连续的设置,这就是消除不可判定性的原因。 这将是一个如此美丽的定理。
@azsantosk 所以我们要么在图灵之上,要么在图灵之下
@azsantosk 要么 omega 具备超计算能力(是个巫师),要么我们的代理并不太有趣
@azsantosk 当然,我无法自我修改,以及其他许多由 less wrong dot com 上的各种决策理论所假设的事情。
10.24K