在这里不去强调谁的观点对,而是要指出在不同的应用中,会有一种颗粒度比另一种更好的情况。比如在机器翻译中,一般来讲,颗粒度大翻译效果好。比如“联想公司”作为一个整体,很容易找到它对应的英语翻译 Lenovo,如果分词时将它们分开,就很有可能翻译失败,因为在汉语中,“联想”一词首先是“根据相关联的场景想象”的意思。
但是在另外一些应用,比如网页搜索中,小的颗粒度比大的颗粒度要好。比如“清华大学”这四个字如果作为一个词,在对网页分词后,它是一个整体了,当用户查询“清华”时,是找不到清华大学的,这绝对是有问题的。

贾里尼克的出发点很简单:一个句子是否合理,就看它的可能性大小如何。至于可能性就用概率来衡量。第一个句子出现的概率大致是10∧-20,第二个句子出现的概率是1035,第三个句子出现的概率是10。因此第一个句子出现的可能性最大,是第二个句子的10万倍,第三个句子
的一百亿亿亿亿亿亿倍。

一些基本原理,就是在通信时,如果信道较宽,信息不必压缩就可以直接传递;而如果信道很窄,信息在传递前需要尽可能地压缩,然后在接收端进行解压缩。在古代,两个人讲话说得快是一个宽信道,无需压缩;书写来得慢是一个窄信道,需要压缩。将日常的白话口语写成精简的文言文本身是信道压缩的过程,而将文言文解释清楚是解压缩的过程。这个现象与我们今天宽带互联网和移动互联网上的视频播放设定完全一致,前者是经过宽带传输,因此分辨率可以做得高得多;而后者由于空中频道带宽的限制,传输速度要慢一到两个数量级,因此分辨率要低得多。由此可见,在信息论尚未被发明的几千年前,中国人已经无意识地遵照它的规律行事了。

从象形文字到拼音文字是一个飞跃,因为人类在描述物体的方式上,从物体的外表进化到了抽象的概念,同时不自觉地采用了对信息的编码。不仅如此,我们的祖先对文字的编码还非常合理。在罗马体系的文字中总体来讲,常用字短,生僻字长。而在意型文字中,也是类似,大都常用字笔画少,而生僻字笔画多。这完全符合信息论中的最短编码原理,虽然我们的祖先并不懂信息论。这种文字设计(其实是一种编码方法)带来的好处是书写起来省时间、省材料。

描述数字最有效的是古印度人，他们发明了包括0在内的10个阿拉伯数字。

今天我们对5000年前埃及的了解远比对1000年前的玛雅文明要多得多,这要归功于埃及人通过文字记录了他们生活中最重要的信息。而对于我这个长期从事自然语言处理的学者来讲,这件事有两点指导意义。
1.信息的冗余是信息安全的保障。罗塞塔石碑上的内容是同一信息重复三次,因此只要有一份内容完好保留下来,原有的信息就不会丢失,这对信道编码有指导意义。(感谢2000多年前古埃及人在罗塞塔石碑上用三种文字记录了托勒密五世登基的诏书。)
2.需要的数据，我们称为语料。

翻译这件事之所以能达成，仅仅是因为不同的文字系统在记录信息上的能力是等价的。进一步讲，文字只是信息的载体，而非信息本身。
那么不用文字，而用其他的载体，比如数字，是否可以存储同样意义的信息呢？这个答案是肯定的，这也是现代通信的基础。

钱钟书在《围城》中讲,老科学家可以理解成“老的科学家”或者“老科学的家”两种。如果是后者,他们年纪不算老,但是已经落伍,大家必须耐心等他们退休让出位子。毕竟,不是所有人都乐意改变自己的观点,无论对错。当然,等这批人退休之后,科学就会以更快的速度发展。

信息的冗余是信息安全的保障。

www的发明人蒂姆,伯纳斯·李谈到设计原理时说过:“简单性和模块化是软件工程的基石;分布式和容错性是互联网的生命。”

伽利略曾经说过,“数学是上帝描写自然的语言”;爱因斯坦也曾说过,“纯数学使我们能够发现概念和联系这些概念的规律,这些概念和规律给了我们理解自然现象的钥匙。”

事实上我们知道,怀特兄弟发明飞机靠的是空气动力学而不是仿生学。