在这里不去强调谁的观点对,而是要指出在不同的应用中,会有一种颗粒度比另一种更好的情况。比如在机器翻译中,一般来讲,颗粒度大翻译效果好。比如“联想公司”作为一个整体,很容易找到它对应的英语翻译 Lenovo,如果分词时将它们分开,就很有可能翻译失败,因为在汉语中,“联想”一词首先是“根据相关联的场景想象”的意思。
但是在另外一些应用,比如网页搜索中,小的颗粒度比大的颗粒度要好。比如“清华大学”这四个字如果作为一个词,在对网页分词后,它是一个整体了,当用户查询“清华”时,是找不到清华大学的,这绝对是有问题的。

贾里尼克的出发点很简单:一个句子是否合理,就看它的可能性大小如何。至于可能性就用概率来衡量。第一个句子出现的概率大致是10∧-20,第二个句子出现的概率是1035,第三个句子出现的概率是10。因此第一个句子出现的可能性最大,是第二个句子的10万倍,第三个句子
的一百亿亿亿亿亿亿倍。

一些基本原理,就是在通信时,如果信道较宽,信息不必压缩就可以直接传递;而如果信道很窄,信息在传递前需要尽可能地压缩,然后在接收端进行解压缩。在古代,两个人讲话说得快是一个宽信道,无需压缩;书写来得慢是一个窄信道,需要压缩。将日常的白话口语写成精简的文言文本身是信道压缩的过程,而将文言文解释清楚是解压缩的过程。这个现象与我们今天宽带互联网和移动互联网上的视频播放设定完全一致,前者是经过宽带传输,因此分辨率可以做得高得多;而后者由于空中频道带宽的限制,传输速度要慢一到两个数量级,因此分辨率要低得多。由此可见,在信息论尚未被发明的几千年前,中国人已经无意识地遵照它的规律行事了。

从象形文字到拼音文字是一个飞跃,因为人类在描述物体的方式上,从物体的外表进化到了抽象的概念,同时不自觉地采用了对信息的编码。不仅如此,我们的祖先对文字的编码还非常合理。在罗马体系的文字中总体来讲,常用字短,生僻字长。而在意型文字中,也是类似,大都常用字笔画少,而生僻字笔画多。这完全符合信息论中的最短编码原理,虽然我们的祖先并不懂信息论。这种文字设计(其实是一种编码方法)带来的好处是书写起来省时间、省材料。

描述数字最有效的是古印度人，他们发明了包括0在内的10个阿拉伯数字。