小欣：这节课，陈沛老师会为我们讲解机器人会不会摆脱人类的控制。

陈沛：机器有没有可能有一天摆脱我们人类的控制？甚至反过来控制我们人类？这个话题在我看来是一个越来越现实的话题。当然现在我们不用特别担心它，因为现在机器智能离我们人类尚远，甚至还不能够综合掌握人类所有的智慧。我们只是对未来做一个展望，就像做一个科学幻想一样。

我觉得人类至少有这样几条不同的路径失去对机器的这种管控。首先人不是神，只要是人就会犯错误。虽然机器人的所有程序都是我们编写的，但是依然可能会失去对它的控制，因为我们会犯错。

如果有个机器人给你端咖啡端到一半突然不动了，我们知道这个机器人出了一个bug，如果我们人类犯错，有多时候我们不知道犯在哪个地方。如果犯在一个失去控制的地方，我们根本不能预测犯错以后的结果，这是我觉得人类自身存在的一个可能。还有一种机器人失去控制可能是来自于人类的善良和同情。机器人可能借助人类的善良或者其他的爱心，不仅摆脱人类的控制并且还会反过来控制人类，那这种情况也可能会出现。

另外一个来自于理解的问题。就像我们一个大人和一个孩子说话，看起来你把问题表达的比较清楚，但对孩子来说听到可能是不同的。理解上的差别也可能带来一种更大的风险。比如人类给机器设定了三个原则：第一机器人必须保护人类，第二就是机器人必须服从人类的指令除非它违反了第一条，然后第三条说机器人必须学会保护自己除非它违反了前面两条。作为三个公理我们听起来挺好的，觉得可以很好的管控机器人，可以像植入操作系统一样使每个出厂的机器人都拥有基本的原则，我们以为这样就完成了对机器人的管理。

实际上在我们现在理解中，这样的三个原则真能管好机器人吗？其实不一定。比如说我们让一个家庭机器人照顾好自己的孩子，我们这么告诉他必须绝对保证这个孩子的安全。听起来这是非常重要的，但是机器人怎么理解这件事情呢？机器人通过各种分析，发现怎么样才能够最好的保证这个孩子的安全呢？就是呆在家里不出去。于是它就不让孩子出去。如果只是管理个孩子还行，换成是大人呢？这时候相当于软禁了，如果它对人类的理解就是这样保护人类安全，同样带来一些大的风险。

小欣：下节课，陈沛老师会为我们讲解他对于“真正机器人”的构想。

【版权归钛媒体所有，未经许可不得转载】