上一章讲到,语言的出现是为了人类之间的通信。字母(或者中文的笔画)、文字和数字实际上是信息编码的不同单位。任何一种语言都是一种编码的方式,而语言的语法规则是编解码的算法。我们把一个要表达的意思,通过某种语言的一句话表达出来,就是用这种语言的编码方式对头脑中的信息做了一次编码,编码的结果就是一串文字。而如果对方懂得这门语言,他或者她就可以用这门语言的解码方法获得说话人要表达的信息。这就是语言的数学本质。虽然动物也能做到传递信息,但是利用语言来传递信息是人类的特质。

第1章 文字和语言vs数字和信息

古德-图灵估计的原理是这样的:对于没有看见的事件,我们不能认为它发生的概率就是零,因此我们从概率的总量( Probability mass)中分配一个很小的比例给这些没有看见的事件(图3.1)。这样一来,看见的那些事件的概率总和就要小于1了,因此,需要将所有看见的事件概率调小一点。至于小多少,要根据“越是不可信的统计折扣越多”的方法进行。

基于统计的自然语言处理方法,在数学模型上和通信是相通的,甚至就是相同的。因此，在数学意义上自然语言处理又和语言的初衷——通信联系在一起了。但是，科学家们用了几十年才认识到这个联系。

第二点,也很有意思,用基于统计的方法代替传统的方法,需要等原有的一批语言学家退休。这在科学史上也是经常发生的事。钱钟书在《围城》中讲,老科学家可以理解成“老的科学家”或者“老科学的家”两种。如果是后者,他们年纪不算老,但是已经落伍,大家必须耐心等他们退休让出位子。毕竟,不是所有人都乐意改变自己的观点,无论对错。当然,等这批人退休之后,科学就会以更快的速度发展。因此,我常想,我自己一定要在还不太糊涂和固执时就退休。

上一章讲到,语言的出现是为了人类之间的通信。字母(或者中文的笔画)、文字和数字实际上是信息编码的不同单位。任何一种语言都是种编码的方式,而语言的语法规则是编解码的算法。我们把一个要表达的意思,通过某种语言的一句话表达出来,就是用这种语言的编码方式对头脑中的信息做了一次编码,编码的结果就是一串文字。而如果对方懂得这门语言,他或者她就可以用这门语言的解码方法获得说话人要表达的信息。这就是语言的数学本质。虽然动物也能做到传递信息,但是利用语言来传递信息是人类的特质。

讲到这里,读者也许会问,当年最早改进最大熵模型算法的达拉·皮垂兄弟这些年难道没有做任何事吗?在上个世纪90年代初贾里尼克离开IBM后,他们也退出了学术界,而到金融界大显身手。他们两人和很多IBM做语音识别的同事一同到了一家当时还不大,但现在是世界上最成功的对冲基金( Hedge fund)公司—文艺复兴技术公司( Renaissance Technologies)。我们知道,决定股票涨跌的因素可能有几十甚至上百种,而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。在那里,达拉·皮垂兄弟等科学家用最大熵模型和其他一些先进的数学工具对股票进行预测,获得了巨大的成功。从1988年创立至今,该基金的净回报率高达平均每年34%。也就是说,如果1988年你在该基金投入块钱,20年后的2008年你能得到200多块钱。这个业绩,远远超过股神巴菲特的旗舰公司伯克希尔·哈撒韦( Berkshire hathaway)。同期伯克希尔·哈撒韦的总回报是16倍。而在出现金融危机的2008年,全球股市暴跌,文艺复兴技术公司的回报率却高达80%,可见数学模型的厉害。

每当弗莱德和我谈起各自少年时的教育，我们都同意这样几个观点。首先，小学生和中学生其实没有必要花那么多时间读书，而他们的社会经验生活能力以及在那时树立起的志向将帮助他们的一生。第二，中学阶段花很多时间比同伴多读的课程，上大学以后用很短时间就能读完，因为在大学阶段，人的理解力要强得多。举个例子，在中学需要花500小时才能学会的内容，在大学可能花100小时就够了。因此，一个学生在中小学阶段建立的那一点点优势在大学很快就会丧失殆尽。第三，学习(和教育)是持续一辈子的过程，很多中学成绩优异的亚裔学生进入名校后表现明显不如那些出于兴趣而读书的美国同伴，因为前者持续学习的动力不足。第四，书本的内容可以早学，也可以晚学，但是错过了成长阶段却是无法补回来的。(因此，少年班的做法不足取。)现在中国的好学校里，恐怕百分之九十九的孩子在读书上花的时间都比我当时要多，更比贾里尼克要多得多，但是这些孩子今天可能有百分之九十九在学术上的建树不如我，更不如贾里尼克。这实在是教育的误区。

几乎所有的文明都采用了十进制，那么有没有文明采用二十进制呢，也就是说他们数完全部的手指和脚趾才开始进位呢？答案是肯定的，这就是玛雅文明。因此，玛雅人的一个世纪，他们称为太阳纪，是四百年。2012年正好是目前这个太阳纪的最后一年，2013年将是新的太阳纪的开始。这是我在墨西哥从研究玛雅文化的教授那里得知的。不知道从何时起，2012年这个太阳纪的最后一年被讹传为世界的最后一年。

将解决实际问题的方法变成计算机可以运行的程序，中间的桥梁就是计算机的算法。一个优秀的计算机科学象或者工程师与平庸的程序员的差别就在于：前者总是不断寻找兼且有能力找到好的算法，而后者仅常常满足于勉强解决问题。而在所有的“好”算法中，显然存在一个最优的算法——找到它们是从事计算机科学的人应该努力的目标。对于计算机算法来说，虽然衡量其好换的标准非常多，比如运算速度、对存储量的需求、是否容易理解、是否容易实现，等等，但是为了便于公平地比较，我们需要一个客观的标准。这个标准就是算法的复杂程度。

我又问有多少人相信职业投资人所管理的基金能给它们带来比大盘更好的回报。几乎所有人都相信这一点，可是事实上70%（有时90%）的基金长期表现不如大盘。看到这个结论大家可能大感意外，但世事就是如此。这个例子说明我们的想象与现实的差距有多大，在没有获得足够的数据之前，我们难以作出正确的判断。顺便讲一句题外话，有的读者可能会问，如果无论是个人还是基金，表现都不如大盘好，那么钱都到哪儿去了？答案很简单，交易费和各种税首先吃掉了收益中的很大一部分，而基金经理的管理费则又吃掉了一大部分。一个动态管理的基金，如果每年收2%的管理费（常规），虽然看似不高，但是30—40年下来实际上吃掉了利润的一半左右。股市在某种程度上是一个零和的游戏，证监会官员、交易所雇员的工资和各种奢侈的办公条件，其实都是羊毛出在羊身上，而基金经理开的豪车、住的豪宅都是投资人的钱。因此，如果一个散户投资人能真正做到“用数据说话”，只需奉行一条投资决策，那就是买指数基金。这当然不是我的发明，而是投资领域著名的经济学家威廉-夏普（William F.Sharpe）和伯顿-麦基尔（Burton G.Malkiel）等人一直倡导的。

想到人脑的结构那么复杂，大家的第一反应一定是人工神经网络肯定非常高深。如果有幸遇到一个好心同时又善达的科学家或教授，他愿意花一两时的时间，深久浅出地为你讲解人工神经网络的底细，你就会发现，“哦，原来是这夜回事”。要是不幸遇到一个爱卖弄的人，他会很郑重地告诉你“我在使用人工神经网络”或者“我研究的课题是人工神经网络”，然后就没有下文了，如此，你除了对他肃然起敬外，不由得可能还会感到自卑。当然还有好心却不善言辞的人试图讲清楚这个概念，但是他用了一些更难懂的名词，讲得云山雾罩，最后你发现听他讲了好几个小时，结果是更加糊涂了，白白浪费了时间，一无所获，于是你得出了一个结论：反正我这辈子不需要搞懂它了。