笔记
有一些所谓的伦理两难其实是通过把某种不等式不合逻辑地定义为等式而造成的，有轨电车两难就是一个典型，它把“5条人命大于1条人命”的不等式改为“5条人命等值于1条人命”的等式。这种难题基于一个自我中心的无理假定：一个人的生命价值无穷大，所以等价于无数人的生命价值。这个等式在逻辑上是错误的。假如这种等式是对的，那么，“一句等于一万句”就也是对的。由此不难看出其中的危险性。正如真理越界多走一步就变成谬误，人道主义越界多走一步就会变成反人道主义。
赵汀阳：当然有可能，假如人类能够形成集体理性而阻止越界冒险的话。我想，关键的界限是：（1）人工智能的发展应该限于特殊的或专业的人工智能，不能发展具有全面综合能力的人工智能；（2）不应该发展具有等价于人类反思能力的人工智能，即不能把人工智能设计成为能够对自身系统整体进行反思的全权自主智能。目前在研制的具有学习能力、积累经验能力甚至具有某种“创造性”的人工智能并没有越界，其“创造性”只是对所拥有的材料进行联想和重组。即使人工智能将来能够作曲比美巴赫、画画匹敌米开朗基罗、写诗不输杜甫，也不算越界。只要缺乏对自身系统整体的反思能力，人工智能就不会把自身升级为人类无法控制的超级智能存在。
澎湃新闻：在整本书的最后，您用了一页的篇幅讨论，在想象中的“人机大战”之外，人类社会内部的极端危险。现在的人们勉强能忍受经济不平等，但未来出现的可能是生命权的不平等，一部分人通过高技术改造生命而达到永生或者高量级的不平等，而另一部分人被降格为蝗虫，甚至连剥削的价值都不再存在。假设“人机大战”不会发生，技术的极大发展，更可能带来的是全人类的解放，还是人类社会内部的极端危险？
赵汀阳：这件事情严格地说不是关于人工智能的问题，而是人类自身的问题。假如人工智能的发展没有越界成为超级智能存在，那么，人工智能系统与人类之间就没有致命的矛盾。就是说，无论人工智能发展到多么精巧，只要维持作为人类的使用工具，就与人类不会形成敌对关系。至于人工智能的发展是否在人类内部带来马克思式的全人类解放还是霍布斯式的丛林战争，就不得而知了。就目前的人性水平而言，假如一小部分人手握人工智能的利器，局面恐怕不容乐观。假如控制人工智能的强者们联合起来压迫弱者，那么将是专制的最后胜利（赫拉利谈到这个可能性）；假如控制人工智能的强者们互相争霸，则有可能导致人类毁灭（帝国主义逻辑的可能结局）；假如控制人工智能的强者们联合起来共建一个万民共享之天下，应该是最优结局（我希望如此）。哪种结局的可能性更大？要看人类的运气了。