的处理和未登录词的识别，如何处理这两个问题一直是该领域研究的热点。
1、歧义处理歧义是指可能有两种或者更多的切分方法。例如“表面的”这个词组，因为“表面”和“面的”都是词，那么这个短语就可以分成“表面的”和“表面的”。这种称为交叉歧义。像这种交叉歧义十分常见，“化妆和服装”可以分成“化妆和服装”或者“化妆和服装”。由于没有人的知识去理解，计算机很难知道到底哪个方案正确。
交叉歧义相对组合歧义来说是还算比较容易处理，组合歧义就必须根据整个句子来判断了。
例如，在句子“这个门把手坏了”中，“把手”是个词，但在句子“请把手拿开”中，“把手”就不是一个词在句子“将军任命了一名中将”中，“中将”是个词，但在句子“产量三年中将增长两倍”中，“中将”就不再是词。这些词计算机又如何去识别
即使交叉歧义和组合歧义计算机都能解决的话，在歧义中还有一个难题，是真歧义。真歧义意思是给出一句话，由人去判断也不知道哪个应该是词、哪个应该不是词。例如“乒乓球拍卖完了”，可以切分成“乒乓球拍卖完了”、也可切分成“乒乓球拍卖完了”，如果没有上下文其他的句子，恐怕谁也不知道“拍卖”在这里算不算一个词。
对歧义现象的处理方法一般采用类似于动态规划的算法将歧义问题的求解转化为一个优化问题的求解。在求解过程中，一般使用词频或概率等辅助信息求得一个最大可能的分词结果，这个结果在某种意义下是最佳的。
2、未登录词处理未登录词就是分词词典中没有的词，也称为新词。最典型的是人名、地名、专业术语等。例如，人可以很容易理解句子“王军虎去广州了”中，“王军虎”是个词，因为是一个人的名字，但要是让计算机去识别就困难了。如果把“王军虎”作为一个词收录到字典中去，全世界有那
f么多名字，而且每时每刻都有新增的人名，收录这些人名本身就是一项巨大的工程。即使这项工作可以完成，还是会存在问题，例如在句子“王军虎头虎脑”中的，“王军虎”还能不能算词？
未登录词中除了人名以外，还有机构名、地名、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词，因此对于搜索引擎来说，分词系统中的新词识别十分重要。目前，对未登录词的处理一般采用统计的方法，首先从语料中统计出出现频率较高的字组，然后按照某种规则把它们作为新词添加到辅助词典中。
目前，中文自动分词技术在搜索引擎中已经得到广泛应用，分词准确r