精准和可靠是合格合作者的两个重要特征,但“互信”更为重要。我们信任对方,是因为我们相信对方是善意的;因为我们能理解他们的想法,因而能为解决分歧达成共识;因为他们有正直的品性—勇于承认错误和接受批评;因为我们有共同的价值观,但这价值观不是毫无无价值的价值优先级的排列训练,这要在双方具体的价值利益权衡中得到体现,也就是在我们有价值利益矛盾时,彼此能否达成双方一致的解决方案。人工智能要成为我们的合作者,我们必须能持续看到它是值得信赖的。站在人类合作者的角度看,我们必须能够判断在什么样的情形下,它们的表现是可信任的。如果人工智能系统能够走向这样一条大道,那
么未来的人机统治之战的危机也就可以避免了。
还有一个需要考虑的问题。随着我们越来越依赖手机或者其他一些智能通信设备进行交流,有人开始担心我们的社交能力会被削弱。那些在社交网站上拥有大量粉丝的人可能会失去社会感和情感智能。他们可
能会以一种机械的观点看待他人,把别人当作取乐工具。我们可以想象,未来的人类可能已经忘了何为信任,也忘了如何变得可信任。如果人工智能系统变得值得信赖,而人类则完全相反,那么让人工智能系统统治我们可能会是一个不错的结果。

想象这么一个悖论:假设未来有一个强大且不受约束的超级人工智能,它为了竞争的优势,想让自己早点诞生。而有一群人类或智能体(企业或者其他组织),他们提前意识到了这种局面,但是他们不去参与协作,不去推动这种人工智能的到来,那么,当这个超级智能最终诞生时,由于它是政府的领导者,它很可能会迫害那些人。这种情况虽然发生的概率很低,却非常吓人。那些意识到这种可能性的人,如果他们出于人类自身的目的,想要去规范人工智能,或者提醒人们对人工智能保持警觉,而不是一味地追求人工智能的发展速度,那么他们可能会让自己置身于危险的境地。

人类通过语言,把世界各地不同代际之间的大脑连接起来,创造出了另一种层次的网络,即“集体学习”(
collective learning)。随着连接的社群变得越来越大,人们]相互连接的效率变得越来越高,从生物围中
获取的能量越来越多,这种网络也变得更加强大。过去两个世纪中,这张网络变成了全球化网络,同时我们学会了利用深埋在地下数百万年的化学能源。这正是我们给生物圈带来巨大影响的原因。
集体学习同时分娩出了思考的副本,从故事到书写,再到印刷和科学,不一而足。每一种新形态的出现,都极大地提升了这台由大脑网络组成的巨型思维机器的功能。在过去100年中,在化学能源以及计算机的联合作用下,它的速度提升到了前所未有的水平。在过去30年里,计算机塑造了自己的网络,并把人类集体学习的水平提升了数倍。今天,我们所知道的最强大的思维机器,就是由数十亿人的大脑拼凑起来的,而每一个大脑都由无数神经元组成,跨越了时间和空间相连接,并
由数百万台联网的计算机所掌管着。

所以,我们需要担心的不是思维机器或人工智能,而是人类。会思考的机器既不赞成我们,也不反对我们,并且相互之间也没有固有偏见,否则就是将智能与意愿,以及随着意愿产生的情感相混淆。我们人类拥有智能,也拥有意愿,因为我们是进化和繁殖的生物体,我们选择了在有众多不道德竞争的环境中生存。但意愿不是智能的必要组成部分,即使它提供了一个有利于智能进化的平台

雷·库兹韦尔等人都看重第一种可能性,即足够强大的CPU。但到底需要多强呢?到目前为止,所有的性能提升是否让我们离真正的智能更近呢?或者,只是给我们争取了一部电影的时长?
再看第二种可能性,大数据和更优化的学习算法到目前为止仅仅使得我们发明出了像机器翻译这样的人工智能。机器翻译确实能够提供快速翻译,但相比于人工翻译,它还缺少足够的灵活度。若问起它刚刚到底翻译些什么,那么现今的机器翻译则完全答不上来。我们并没有把它们看成说话流利的思想者,它们只是笨拙的仆人。
我看好的是第三种可能性。进化赋予我们很多功能强大的“先知先觉”,或是诺姆·乔姆斯基( Noam chomsky)和史蒂芬·平克所认为的先天约束,这样一些能力使得我们在即使是有限的信息数据中,也能发现和理解这个世界。在大数据上的努力和进展并没有让我们对这些能力有更深入的了解。因此,虽然已经有些问题(例如,在有很详细的地图
的路段上实现自动驾驶)能够通过细致的工程技术手段得到很好的解决,但我们还是没能制造出有一般认知能力的、能够理解和处理自然语言的机器。当然,我们也没能更好地理解这一Edge问题,即有关真正会思考的机器的问题。

如果我们研究过去的文献,以及反映在Edge年度问题里的争议,一种下意识的本能就会反复出现:爬行动物脑的两大元素,即死亡与不朽
我们对死亡的恐惧隐藏在这种集体想象的背后。我们会想象,在思考上超越人类的机器人将不断复制,反抗并毁灭其造物主。这种机器代表着最令人恐惧的危险—毁灭与人有关的一切。但爬行动物脑也看到
了救世主,我们希望超级智能让我们永生和永葆青春。在英文里,“机器人”和“机器”这两个词是不分性别的;而拉丁语系和德语则有这种区别:“机器人”( el robot)这个词是阳性的、有危险的和令人恐惧的
而“机器”( la maquina)这个词则是阴性的、关切保护的、有慈悲心的。

类的一生注定要在自己大脑的牢笼中度过。我们可能会尝试了解他人,但永远都不可能真正读懂他人的内心世界。即便人与人之间有最强大的共情作用,我们也不可避免地会碰到存在于自我和他人之间不可逾越的鸿沟。我们可能会因为看到他人断了脚趾而为其感到痛苦,或是因为某人心碎而感到同情。但这些仅仅是模拟,他人的经历与感受是我们不能直接感受到的,因此彼此之间也就不会有直接的对比。从琐碎的日常争吵,如双方为了洗碗的事而发生争吵,到为了争夺土地而发生的大规模暴力纷争,在许多类似的人际矛盾和斗争中,都存在共情鸿沟。
这个问题在道德困境中显得尤其尖锐。功利主义者认为,美德的基本要义就是“让质量最好的货物的数量达到极大”,而这要求我们能在个体之间比较财富或“效用”。但是由于存在共情鸿沟,即便这是可能的,实现起来也是有困难的。就像你我可能都说香槟酒好喝,但我们都不知道到底是谁对香槟酒更有“感觉”,因为我们缺乏一个共同的标尺来衡量这些主观价值感受。这样一来,结果就是,我们没有一个可实证的基础来决定到底谁有“资格”来喝最后一杯香槟。哲学家杰里米·边沁曾对此事评论道:“一个人的快乐永远不会真正成为另一个人的快乐一个人的收获永远也不会成为另外一个人的收获,这就好像20个梨加
上20个苹果。”

思维机器意味着我们对自身的理解将发生巨大的改变,变得更加微妙。我们在教机器思考的同时,也是在改变我们对自身的认识以及我们的思考
方式。我们并不自以为是。从先进的信息处理来看,我们所做的大多数事情并没有经过什么思考。我们只是去做而已。只有到事后,我们才开始反思。
那些美妙的、闪光的、惊人的想法浮现在我们心中。它就在那里!在它成为一个想法之前,我们从没想过它。
我们并没有意识到我们思考过程中的大部分信息。在我们的心灵中、身体中,它是无意识地立即发生的。从符合逻辑和明确演绎的意义上来说,我们甚至都不是理性的。我们的思考很快,是直觉的、感性的。

当人工智能开始考虑自己的时候会发生什么?
智能是一个工具箱,我们利用它达到一个既定的目标,但严格地说,它本身并不能产生动机和目标。人类对于自我保护、权力和体验的渴望,并不是人类智能的结果,而是灵长类动物进化的结果。进化将我们带入
了一个刺激放大、大众互动、象征性满足和叙事爆炸的时代。人工思维的动机(至少在初期)是那些利用它们智能的组织、企业、团体和个人的动机。如果公司的商业模式是邪恶的,那么人工智能有可能使该公司变得真正危险。同样地,如果一个组织的目标是改善人类的生存条件,
那么人工智能会使这个组织更高效地实现它慈善的潜力。
人工智能的动机将源于组成我们]社会的每一块基石,每个社会都将得到人工智能的报答。

我喜欢它们中的大部分,因为“它们”是人(也许还有各种其他的动物)
然而,让我担忧的是,我们已经越来越多地将生活中的很多方面交给更加高效和可靠的机器进行决策,但它们绝不会思考。这就是危险所在不会思考却能做决策的机器。
做决策和思考并不相同,我们不能将两者混淆。当我们在国防、医疗以及金融领域部署决策系统时,无论是个人还是公众,混淆决策和思考的潜在危险都是巨大的。要预防这些潜在危险,我们需清醒地意识到,在某些特定的交互中,我们是被基因设定,按照一套可信任的智能代理诉求机制作出反应的—不论面对的是人类还是机器。但是,有时一台会摇摇摆摆地走和嘎嘎乱叫的设备就只是一台机器而已,并不是鸭子。

我常常好奇,为什么让人类清醒地看待会思考的机器会那么困难。在艺术圈和娱乐圈,会思考的机器常被刻画为人类的形形象
有时连躯干的外形和细节都一致。同时,机器的行为举止也暗示着它们的思想与人类非常相似。然而,未必非得是遵循人类的规则或模式的思考才叫思考。这方面的例子不胜枚举:超级计算机能够在国际象棋比赛中击败人类,并不是因为它们在对弈中像人类一样思考,并比人类更聪明,而是因为它们在以一种完全不同于人类的方式思考。同理,高效的语言翻译也无须计算机对语法有多深的研究。
进化赋予了人脑呈现并推想他人心理的能力。每个孩子到了上学的年纪时,都能记住不同的人对同一些事情分别知道多少(这是说谎的必备条件)。成年后,这一能力也将在我们参与协商、合作,以及为了身及他人的利益解决问题时发挥作用。这部分心理机器常被称为“心智理论”( Theory of mind),它会在我们的潜意识里发挥作用。在电脑屏幕上不断移动的由二维图形组成的视频,到了观察者的脑中却变成了关于爱、背叛、憎恨与暴力的鲜活故事—那一刻,我们都暂时忘记了多边形是没有感情的。
反过来,或许正是因为缺少一种直觉式的“机器理论”( Theory of Machine),我们在思考思维机器时才总是困难重重。如果我们在大脑中模拟一组由若干齿轮组成的简单机械部件,那么转动第一个齿轮时,最后一个齿轮是会顺时针旋转还是逆时针旋转呢,是变快还是变慢呢?这对我们来说过于困难了。由抽象算法和数据组成的、比齿轮更复杂的机器会同样令我们的先天心理能力感到陌生。

我认为机器将会缺少意识中的各种情绪,这是基于两种考虑。首先是对我们为何能够感受、为何拥有情绪的回顾。作为人类的我们,是进化的最终产物。自然选择是伴随着35亿年前最原始生命形式的出现而
开始的历程。在这样宏大的时间跨度之中,我们并不是动物界里唯一能够体验感受和情绪的动物。但在过去的15万~30万年中,智人却是进化中唯一让语言和象征性思维成为推理过程的一个物种,我们因此获得了解读自身经历与观察我们所栖息环境的能力。感受、情绪以及知性理解在我们的思考方式中不可逆转地交织到了一起。我们不仅“知道自己知道”,还能记住过往,想象未来。借助情绪、感受以及逻辑思维,我们能够形成一种“揣测心智”,进而理解其他人脑中的想法。这转而也让我们在创造社会、文化与文明的过程中能够分享彼此的知识。
其次,我的考虑是,机器并非有机体——无论它们变得多么复杂和精密,也无法通过自然选择来进一步演化。无论我们如何设计和编码,让这些机器拥有感受和情绪的结果也只会适得其反,因为对人类来说某
些极具价值的品质将被削弱。

对于经常仰望星空,好奇宇宙究竟是充满生机还是生命稀缺的人而言,会思考的机器必然是他们们]将长期思考的问题。
这个问题,与恩里科·费米( Enrico fermi)提出的著名问题“他们在哪里”如出一辙。按照人类文明的发展速度,智能机器将会在一个相当短的时间尺度内出现(估计在计算机发明后的数千年内)。随后,这些智能机器便自然而然地向其他星系扩张,并高速繁衍,在几亿年内就会遍布整个银河系。这个时间段,与宇宙138亿年以及太阳系46亿年的历史相比,显得微不足道。根据费米悖论,如果宇宙中存有其他文明,那么它们很可能比地球文明古老许多;如果在其他星系上面已经出现了超级智能机器的话,那么它们应该已经在地球上出现了。因此,有些人认为既然我们]没发现它们,那么在银河系中的先进文明或许尚未出现。

因此,我们的群体性思考能力已经进化了,从最初的利用物质,到利用能源,再到现在能够掌控物理顺序,即信息。但即便如此,这也不会欺骗我们相信自己或者机器是会思考的。人类思想上的大跨步式进化需要媒介的互动,而未来的智能机器也会出现在人类通过物体互相进行
连接的接口处。,正如我们]所说,世界上顶尖大学的书呆子们正在绘制大脑图谱,建
机械手臂,以发展能开启未来技术之门的原始版本。届时,你的伟大子孙能够直接把他的大脑与网络连接起来。他们所获得的强化是我们所无法想象的—按照我们当下的道德标准来看,这是非常古怪的,我们甚至无法对它作出评判,就像16世纪的清教徒无法评论现在的旧金山
样。然而,从宇宙的宏伟计划的角度看,这些新型的人机网络不过是人类生产信息的能力的一次新的进化。综上所述,人类以及我们的延伸物—机器,会继续进化我们的网络,而这一切都是为了宇宙的宏伟目
标所服务的:创造一个信息不会减少反而增加的口袋

思考的机器?说得好像人类就会思考一样!思考包括信息处理以及对输入分清前后主次。思考是一种可贵的能力,但“会思考”并不是机器或人类个体的特权,而是这些个体所组成系统的一种属性。
当然,我这样说有点儿挑衅的意味,因为单独的人类个体也能处理信息。我们有时候确实在思考,至少我们觉得自己是在思考。但是,这种思考能力却不完全属于我们自身—它是借来的,因为我们用来思考的硬件和软件都不是由我们自己创造的。无论你我,都没有参与到基因的进化过程中,是基因构建了我们的大脑以及用于构建人类思想的语言我们的思考能力取决于早于我们的世俗存在:生物进化和文化进化的历史篇章。因此,通过考察个体单元处理信息的能力,我们只能理解自己的思考能力,以及机器模仿人类思考的能力。