精准和可靠是合格合作者的两个重要特征,但“互信”更为重要。我们信任对方,是因为我们相信对方是善意的;因为我们能理解他们的想法,因而能为解决分歧达成共识;因为他们有正直的品性—勇于承认错误和接受批评;因为我们有共同的价值观,但这价值观不是毫无无价值的价值优先级的排列训练,这要在双方具体的价值利益权衡中得到体现,也就是在我们有价值利益矛盾时,彼此能否达成双方一致的解决方案。人工智能要成为我们的合作者,我们必须能持续看到它是值得信赖的。站在人类合作者的角度看,我们必须能够判断在什么样的情形下,它们的表现是可信任的。如果人工智能系统能够走向这样一条大道,那
么未来的人机统治之战的危机也就可以避免了。
还有一个需要考虑的问题。随着我们越来越依赖手机或者其他一些智能通信设备进行交流,有人开始担心我们的社交能力会被削弱。那些在社交网站上拥有大量粉丝的人可能会失去社会感和情感智能。他们可
能会以一种机械的观点看待他人,把别人当作取乐工具。我们可以想象,未来的人类可能已经忘了何为信任,也忘了如何变得可信任。如果人工智能系统变得值得信赖,而人类则完全相反,那么让人工智能系统统治我们可能会是一个不错的结果。

想象这么一个悖论:假设未来有一个强大且不受约束的超级人工智能,它为了竞争的优势,想让自己早点诞生。而有一群人类或智能体(企业或者其他组织),他们提前意识到了这种局面,但是他们不去参与协作,不去推动这种人工智能的到来,那么,当这个超级智能最终诞生时,由于它是政府的领导者,它很可能会迫害那些人。这种情况虽然发生的概率很低,却非常吓人。那些意识到这种可能性的人,如果他们出于人类自身的目的,想要去规范人工智能,或者提醒人们对人工智能保持警觉,而不是一味地追求人工智能的发展速度,那么他们可能会让自己置身于危险的境地。

人类通过语言,把世界各地不同代际之间的大脑连接起来,创造出了另一种层次的网络,即“集体学习”(
collective learning)。随着连接的社群变得越来越大,人们]相互连接的效率变得越来越高,从生物围中
获取的能量越来越多,这种网络也变得更加强大。过去两个世纪中,这张网络变成了全球化网络,同时我们学会了利用深埋在地下数百万年的化学能源。这正是我们给生物圈带来巨大影响的原因。
集体学习同时分娩出了思考的副本,从故事到书写,再到印刷和科学,不一而足。每一种新形态的出现,都极大地提升了这台由大脑网络组成的巨型思维机器的功能。在过去100年中,在化学能源以及计算机的联合作用下,它的速度提升到了前所未有的水平。在过去30年里,计算机塑造了自己的网络,并把人类集体学习的水平提升了数倍。今天,我们所知道的最强大的思维机器,就是由数十亿人的大脑拼凑起来的,而每一个大脑都由无数神经元组成,跨越了时间和空间相连接,并
由数百万台联网的计算机所掌管着。

所以,我们需要担心的不是思维机器或人工智能,而是人类。会思考的机器既不赞成我们,也不反对我们,并且相互之间也没有固有偏见,否则就是将智能与意愿,以及随着意愿产生的情感相混淆。我们人类拥有智能,也拥有意愿,因为我们是进化和繁殖的生物体,我们选择了在有众多不道德竞争的环境中生存。但意愿不是智能的必要组成部分,即使它提供了一个有利于智能进化的平台

雷·库兹韦尔等人都看重第一种可能性,即足够强大的CPU。但到底需要多强呢?到目前为止,所有的性能提升是否让我们离真正的智能更近呢?或者,只是给我们争取了一部电影的时长?
再看第二种可能性,大数据和更优化的学习算法到目前为止仅仅使得我们发明出了像机器翻译这样的人工智能。机器翻译确实能够提供快速翻译,但相比于人工翻译,它还缺少足够的灵活度。若问起它刚刚到底翻译些什么,那么现今的机器翻译则完全答不上来。我们并没有把它们看成说话流利的思想者,它们只是笨拙的仆人。
我看好的是第三种可能性。进化赋予我们很多功能强大的“先知先觉”,或是诺姆·乔姆斯基( Noam chomsky)和史蒂芬·平克所认为的先天约束,这样一些能力使得我们在即使是有限的信息数据中,也能发现和理解这个世界。在大数据上的努力和进展并没有让我们对这些能力有更深入的了解。因此,虽然已经有些问题(例如,在有很详细的地图
的路段上实现自动驾驶)能够通过细致的工程技术手段得到很好的解决,但我们还是没能制造出有一般认知能力的、能够理解和处理自然语言的机器。当然,我们也没能更好地理解这一Edge问题,即有关真正会思考的机器的问题。