一些基本原理,就是在通信时,如果信道较宽,信息不必压缩就可以直接传递;而如果信道很窄,信息在传递前需要尽可能地压缩,然后在接收端进行解压缩。在古代,两个人讲话说得快是一个宽信道,无需压缩;书写来得慢是一个窄信道,需要压缩。将日常的白话口语写成精简的文言文本身是信道压缩的过程,而将文言文解释清楚是解压缩的过程。这个现象与我们今天宽带互联网和移动互联网上的视频播放设定完全一致,前者是经过宽带传输,因此分辨率可以做得高得多;而后者由于空中频道带宽的限制,传输速度要慢一到两个数量级,因此分辨率要低得多。由此可见,在信息论尚未被发明的几千年前,中国人已经无意识地遵照它的规律行事了。

从象形文字到拼音文字是一个飞跃,因为人类在描述物体的方式上,从物体的外表进化到了抽象的概念,同时不自觉地采用了对信息的编码。不仅如此,我们的祖先对文字的编码还非常合理。在罗马体系的文字中总体来讲,常用字短,生僻字长。而在意型文字中,也是类似,大都常用字笔画少,而生僻字笔画多。这完全符合信息论中的最短编码原理,虽然我们的祖先并不懂信息论。这种文字设计(其实是一种编码方法)带来的好处是书写起来省时间、省材料。

描述数字最有效的是古印度人，他们发明了包括0在内的10个阿拉伯数字。

今天我们对5000年前埃及的了解远比对1000年前的玛雅文明要多得多,这要归功于埃及人通过文字记录了他们生活中最重要的信息。而对于我这个长期从事自然语言处理的学者来讲,这件事有两点指导意义。
1.信息的冗余是信息安全的保障。罗塞塔石碑上的内容是同一信息重复三次,因此只要有一份内容完好保留下来,原有的信息就不会丢失,这对信道编码有指导意义。(感谢2000多年前古埃及人在罗塞塔石碑上用三种文字记录了托勒密五世登基的诏书。)
2.需要的数据，我们称为语料。

翻译这件事之所以能达成，仅仅是因为不同的文字系统在记录信息上的能力是等价的。进一步讲，文字只是信息的载体，而非信息本身。
那么不用文字，而用其他的载体，比如数字，是否可以存储同样意义的信息呢？这个答案是肯定的，这也是现代通信的基础。