在这里不去强调谁的观点对,而是要指出在不同的应用中,会有一种颗粒度比另一种更好的情况。比如在机器翻译中,一般来讲,颗粒度大翻译效果好。比如“联想公司”作为一个整体,很容易找到它对应的英语翻译 Lenovo,如果分词时将它们分开,就很有可能翻译失败,因为在汉语中,“联想”一词首先是“根据相关联的场景想象”的意思。
但是在另外一些应用,比如网页搜索中,小的颗粒度比大的颗粒度要好。比如“清华大学”这四个字如果作为一个词,在对网页分词后,它是一个整体了,当用户查询“清华”时,是找不到清华大学的,这绝对是有问题的。