人类通过语言,把世界各地不同代际之间的大脑连接起来,创造出了另一种层次的网络,即“集体学习”(
collective learning)。随着连接的社群变得越来越大,人们]相互连接的效率变得越来越高,从生物围中
获取的能量越来越多,这种网络也变得更加强大。过去两个世纪中,这张网络变成了全球化网络,同时我们学会了利用深埋在地下数百万年的化学能源。这正是我们给生物圈带来巨大影响的原因。
集体学习同时分娩出了思考的副本,从故事到书写,再到印刷和科学,不一而足。每一种新形态的出现,都极大地提升了这台由大脑网络组成的巨型思维机器的功能。在过去100年中,在化学能源以及计算机的联合作用下,它的速度提升到了前所未有的水平。在过去30年里,计算机塑造了自己的网络,并把人类集体学习的水平提升了数倍。今天,我们所知道的最强大的思维机器,就是由数十亿人的大脑拼凑起来的,而每一个大脑都由无数神经元组成,跨越了时间和空间相连接,并
由数百万台联网的计算机所掌管着。

所以,我们需要担心的不是思维机器或人工智能,而是人类。会思考的机器既不赞成我们,也不反对我们,并且相互之间也没有固有偏见,否则就是将智能与意愿,以及随着意愿产生的情感相混淆。我们人类拥有智能,也拥有意愿,因为我们是进化和繁殖的生物体,我们选择了在有众多不道德竞争的环境中生存。但意愿不是智能的必要组成部分,即使它提供了一个有利于智能进化的平台

雷·库兹韦尔等人都看重第一种可能性,即足够强大的CPU。但到底需要多强呢?到目前为止,所有的性能提升是否让我们离真正的智能更近呢?或者,只是给我们争取了一部电影的时长?
再看第二种可能性,大数据和更优化的学习算法到目前为止仅仅使得我们发明出了像机器翻译这样的人工智能。机器翻译确实能够提供快速翻译,但相比于人工翻译,它还缺少足够的灵活度。若问起它刚刚到底翻译些什么,那么现今的机器翻译则完全答不上来。我们并没有把它们看成说话流利的思想者,它们只是笨拙的仆人。
我看好的是第三种可能性。进化赋予我们很多功能强大的“先知先觉”,或是诺姆·乔姆斯基( Noam chomsky)和史蒂芬·平克所认为的先天约束,这样一些能力使得我们在即使是有限的信息数据中,也能发现和理解这个世界。在大数据上的努力和进展并没有让我们对这些能力有更深入的了解。因此,虽然已经有些问题(例如,在有很详细的地图
的路段上实现自动驾驶)能够通过细致的工程技术手段得到很好的解决,但我们还是没能制造出有一般认知能力的、能够理解和处理自然语言的机器。当然,我们也没能更好地理解这一Edge问题,即有关真正会思考的机器的问题。

如果我们研究过去的文献,以及反映在Edge年度问题里的争议,一种下意识的本能就会反复出现:爬行动物脑的两大元素,即死亡与不朽
我们对死亡的恐惧隐藏在这种集体想象的背后。我们会想象,在思考上超越人类的机器人将不断复制,反抗并毁灭其造物主。这种机器代表着最令人恐惧的危险—毁灭与人有关的一切。但爬行动物脑也看到
了救世主,我们希望超级智能让我们永生和永葆青春。在英文里,“机器人”和“机器”这两个词是不分性别的;而拉丁语系和德语则有这种区别:“机器人”( el robot)这个词是阳性的、有危险的和令人恐惧的
而“机器”( la maquina)这个词则是阴性的、关切保护的、有慈悲心的。

思维机器意味着我们对自身的理解将发生巨大的改变,变得更加微妙。我们在教机器思考的同时,也是在改变我们对自身的认识以及我们的思考
方式。我们并不自以为是。从先进的信息处理来看,我们所做的大多数事情并没有经过什么思考。我们只是去做而已。只有到事后,我们才开始反思。
那些美妙的、闪光的、惊人的想法浮现在我们心中。它就在那里!在它成为一个想法之前,我们从没想过它。
我们并没有意识到我们思考过程中的大部分信息。在我们的心灵中、身体中,它是无意识地立即发生的。从符合逻辑和明确演绎的意义上来说,我们甚至都不是理性的。我们的思考很快,是直觉的、感性的。

我喜欢它们中的大部分,因为“它们”是人(也许还有各种其他的动物)
然而,让我担忧的是,我们已经越来越多地将生活中的很多方面交给更加高效和可靠的机器进行决策,但它们绝不会思考。这就是危险所在不会思考却能做决策的机器。
做决策和思考并不相同,我们不能将两者混淆。当我们在国防、医疗以及金融领域部署决策系统时,无论是个人还是公众,混淆决策和思考的潜在危险都是巨大的。要预防这些潜在危险,我们需清醒地意识到,在某些特定的交互中,我们是被基因设定,按照一套可信任的智能代理诉求机制作出反应的—不论面对的是人类还是机器。但是,有时一台会摇摇摆摆地走和嘎嘎乱叫的设备就只是一台机器而已,并不是鸭子。

我常常好奇,为什么让人类清醒地看待会思考的机器会那么困难。在艺术圈和娱乐圈,会思考的机器常被刻画为人类的形形象
有时连躯干的外形和细节都一致。同时,机器的行为举止也暗示着它们的思想与人类非常相似。然而,未必非得是遵循人类的规则或模式的思考才叫思考。这方面的例子不胜枚举:超级计算机能够在国际象棋比赛中击败人类,并不是因为它们在对弈中像人类一样思考,并比人类更聪明,而是因为它们在以一种完全不同于人类的方式思考。同理,高效的语言翻译也无须计算机对语法有多深的研究。
进化赋予了人脑呈现并推想他人心理的能力。每个孩子到了上学的年纪时,都能记住不同的人对同一些事情分别知道多少(这是说谎的必备条件)。成年后,这一能力也将在我们参与协商、合作,以及为了身及他人的利益解决问题时发挥作用。这部分心理机器常被称为“心智理论”( Theory of mind),它会在我们的潜意识里发挥作用。在电脑屏幕上不断移动的由二维图形组成的视频,到了观察者的脑中却变成了关于爱、背叛、憎恨与暴力的鲜活故事—那一刻,我们都暂时忘记了多边形是没有感情的。
反过来,或许正是因为缺少一种直觉式的“机器理论”( Theory of Machine),我们在思考思维机器时才总是困难重重。如果我们在大脑中模拟一组由若干齿轮组成的简单机械部件,那么转动第一个齿轮时,最后一个齿轮是会顺时针旋转还是逆时针旋转呢,是变快还是变慢呢?这对我们来说过于困难了。由抽象算法和数据组成的、比齿轮更复杂的机器会同样令我们的先天心理能力感到陌生。

对于经常仰望星空,好奇宇宙究竟是充满生机还是生命稀缺的人而言,会思考的机器必然是他们们]将长期思考的问题。
这个问题,与恩里科·费米( Enrico fermi)提出的著名问题“他们在哪里”如出一辙。按照人类文明的发展速度,智能机器将会在一个相当短的时间尺度内出现(估计在计算机发明后的数千年内)。随后,这些智能机器便自然而然地向其他星系扩张,并高速繁衍,在几亿年内就会遍布整个银河系。这个时间段,与宇宙138亿年以及太阳系46亿年的历史相比,显得微不足道。根据费米悖论,如果宇宙中存有其他文明,那么它们很可能比地球文明古老许多;如果在其他星系上面已经出现了超级智能机器的话,那么它们应该已经在地球上出现了。因此,有些人认为既然我们]没发现它们,那么在银河系中的先进文明或许尚未出现。

因此,我们的群体性思考能力已经进化了,从最初的利用物质,到利用能源,再到现在能够掌控物理顺序,即信息。但即便如此,这也不会欺骗我们相信自己或者机器是会思考的。人类思想上的大跨步式进化需要媒介的互动,而未来的智能机器也会出现在人类通过物体互相进行
连接的接口处。,正如我们]所说,世界上顶尖大学的书呆子们正在绘制大脑图谱,建
机械手臂,以发展能开启未来技术之门的原始版本。届时,你的伟大子孙能够直接把他的大脑与网络连接起来。他们所获得的强化是我们所无法想象的—按照我们当下的道德标准来看,这是非常古怪的,我们甚至无法对它作出评判,就像16世纪的清教徒无法评论现在的旧金山
样。然而,从宇宙的宏伟计划的角度看,这些新型的人机网络不过是人类生产信息的能力的一次新的进化。综上所述,人类以及我们的延伸物—机器,会继续进化我们的网络,而这一切都是为了宇宙的宏伟目
标所服务的:创造一个信息不会减少反而增加的口袋

思考的机器?说得好像人类就会思考一样!思考包括信息处理以及对输入分清前后主次。思考是一种可贵的能力,但“会思考”并不是机器或人类个体的特权,而是这些个体所组成系统的一种属性。
当然,我这样说有点儿挑衅的意味,因为单独的人类个体也能处理信息。我们有时候确实在思考,至少我们觉得自己是在思考。但是,这种思考能力却不完全属于我们自身—它是借来的,因为我们用来思考的硬件和软件都不是由我们自己创造的。无论你我,都没有参与到基因的进化过程中,是基因构建了我们的大脑以及用于构建人类思想的语言我们的思考能力取决于早于我们的世俗存在:生物进化和文化进化的历史篇章。因此,通过考察个体单元处理信息的能力,我们只能理解自己的思考能力,以及机器模仿人类思考的能力。

从概念上来看,痛苦的本质在于这样一个事实:意识系统被迫要去认同负面心理效价的状态,而且不能打破这个认同,或者在功能上与这个表象内容相背离。当然,痛苦本身有很多不同层面和现象学面貌,但是这种现象学认同( phenomenology of identification)很重要。这个系统的目的是要终止作为自身状态的体验,这个自身状态限制了系统的自主,因为系统不能有效地远离它。如果你明白了这一点,就会看到为什么通过生物进化来“创造”意识上的痛苦是如此有效—而且(创造者
是一个人),这不仅是革命性的,而且是一个阴险残酷的想法。
很明显,现象学中的所有权不是感受到痛苦的充分条件。我们可以轻易构想出没有痛苦的、有自我意识的生物。痛苦还导致了NV( negative valence,负面心理效价)条件。通过将表征为负价的各种状态整合到给定系统中的PSM中,痛苦被创造出来。因此负面偏好变成了负的主观偏好—例如,某人自身偏好的意识表征一直受到(或将受到)阻挠。这意味着人工智能系统必须充分理解那些偏好是什么。如果这个系统不
想再次经历当前的意识体验,必然想要结束它,这就足够了。
请注意,现象学中的痛苦有很多特点,人工智能的痛苦可能和人类的痛苦大不相同。例如,对物理硬件的损害会表征为与人脑格格不入的内在的数据格式,为身体痛苦状态生成一种主观经验的定性轮廓,对于像我们]这样的生物系统来说,这是难以模仿,甚至难以想象的。或者说,高水平认知所伴随的现象特征或许超越了人类的共鸣和理解能力。例如,理智地洞察到个体的偏好所遭受的挫折或对造物者的轻蔑,或者洞
察到把个体存在当作自我意识机器的荒谬。

人类的历史在很大程度上就是在神话上面叠加神话—然后在不可战胜的命运上叠加艰辛的努力,以此改变命运。就像是设置障艰就是为了消除它们,从而给了我们一种有意义、有目标的感觉。这太荒谬了
就像我们所做的很多事情一样。所以,思考思维机器,就是去思考不太人性的人类。这样就让我们摆脱了古老的知识—关于秩序、生命和幸福的古老概念。
家庭、友谊、性爱、金钱,一切都将不同。在人类自由以及如何获得自由(更重要的是,如何约束自由)这样的问题上,它们不是唯一可能的答案。思维机器是标记在我们生存背后的一个必然的问题。它是片空白,就像每个人的生活一样。它为我们提供了一种可能性,让我们摆脱进化论、心理学、神经科学上的种种假设。在某种真正反人文主义的人文主义意义上,在文学家霍夫曼(E.T.A. Hofmann)开创的浪漫主义传统里,这是一个诗意的命题,因而也是一个政治命题。
它能让我们摆脱我们。

思考思维机器时,我们通常是在袖珍计算器的意义上理解“思考”一词的。即把思考理解为一种先输入,然后计算,最后再输出结果的信息处理过程。我们喜爱并依赖这些聪明的机器,是因为它们的思考前后一致、彻底且快速,而人类自身很难有这样的思考能力。但反过来,我们]也可以这样说:我们]也拥有它们所不具备的思维方式。机器并不在意你的大脑状态。它们的思考不附带任何情感,它们和我们没有情感联系。当你的计算机报出你的纳税申报单和相应的金额时,它的发音并没有夹杂任何情感(因为它根本不能对你有任何情感表达)它不会想这个数值是不是你想要的数字,无论如何,它不介意。
实际上,机器不会有关系思维( relationship thinking)。但对人类来说,情感联系至关重要。当我们思考时,不仅要进行逻辑计算和一般性思考,还需担心会产生的社会后果。即会想这个决定会如何影响别人会给我们的下次交往带来怎样的影响,而他们又会如何看待我。但机器并不会有这些顾忌。因此,我们不应幻想自己会和它们有社会性的交往。人类之间的交往是建立在一种人类特有的心理基础上的。我们的“特技”是:通过投身于基于共同目标和理性的行动中,人与人之间获得了特殊的默契感。
213

然而,对于以上假设,有一个警告值得注意。即任何类型的机器社会与人类社会相比,两者都可能存在本质上的区别对此有一个关键的原因:在社会活动中,不同于人类的社会交往,机器可能只是直白地读取其他人的想法,它们似乎不需要而且看来也非常缺少我们人类所依赖考的机器的有辅助作用的移情心理。它们能够直接理解其他人想法的内容,这使得它们与其他人的交往明显不同于我们一般意义上的交往活动。无论大量社交有多么重要,在本质上,人类个体都是孤独的。我们只是在隐喻的意义上感受理解他人的想法,我们不能确定别人头脑里的真实想法,至少不会像理解我们自己那样笃定。这样一种约束在机器那里并不存在。一台计算机能够直接获取另一台计算机的“思想”,而且在明确的自知意义上,也不存在一台机器不能读取另一台机器的软硬件设备的现象因为它们]是同类—我就是你,你就是我,没有谁更特殊。一旦这样直接相互读取理解对方的事情成为现实,那么每一台机器将不再处于相互分离的自我状态(在人类的自我意义上)。因而,当机器们共享思维时它们的任何自我都将变成集体意义上的自我。

我们思考思维机器时,第一个涌现的问题是:最终,这些机器会有多像我们人类?这个问题归根结底是一个有关“自我”的问题。思维机器会发展出类似于人类的自我意识吗?我们(可能)是仅有的拥有自我意识的物种—我们不仅有自我感,还能从自我这个内部视角看待其他各种“自我”。
机器究竟能否发展出自我意识?它们也能经历并感受到那塑造了人类自适应的自我意识的进化力量吗?这些力量来自个体之间的相互交往需求、获取地位的需求、确保他人能够喜欢接纳自己的需求、期望其他团体接受自己的需求。作为人类个体,如果你想在群体生活中生活下去,就需要有“自我”意识,而且要保护好它、强化它,因为这样做确保了别人会喜欢、尊重、认可你,而所有这些最终都会让你的寿命更长,且让你有更多的时间和机会繁衍后代。你的自我感也是帮你理解他人同样拥有自我感的前提,这种认知能力是社会生活的两个先决条件一同情和合作所必需的。
209