[发明专利]新词识别方法和装置

说明书

本发明提供了一种新词识别方法和装置，方法其包括：从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。根据本发明的新词识别方法和装置，通过统计搜索查询词中的片段与搜索结果网页之间的对应关系进行分析，可以分析出搜索查询词的片段是否是一个新词。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种新词识别方法和装置。

背景技术

在搜索技术领域，由于新词在不断产生，因此如何能够及时发现新词就成为一个重要的课题。

目前，在大部分用于发现新词的技术方案中，都是通过对网页内容进行统计分析来计算各种统计指标，再通过统计指标找到候选的新词。

上述的技术方案中存在2个不足：一是容易将高频出现的常见搭配错误的多个片段识别为新词；二是对于低频出现的新词，由于统计信息不足，往往不能够及时识别。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的新词识别方法和装置。

依据本发明的一个方面，提供了一种新词识别方法，其包括：从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的方法，所述搜索结果网页的内容为所述搜索结果网页的标题。

可选地，前述的方法，统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系，具体包括：计算在所述标题中所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第一概率；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词，具体包括：根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的方法，统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系，还包括：计算在均包含所述多个片段的多个搜索查询词中，所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第二概率；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词，具体包括：根据所述第一概率、所述第二概率的大小，判断是否将所述搜索查询词中连续的所述多个片段作为一个新词。

可选地，前述的方法，在根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词之前，还包括：查找与所述搜索结果网页类型相同的网页集合，并获取所述网页集合对应的搜索查询词集合；从所述搜索查询词集合中，查找出均包含所述多个片段的多个搜索查询词。

可选地，前述的方法，在从用户提交的搜索查询词中，提取未能匹配的连续的多个片段之前，还包括：从搜索引擎的搜索日志中，查找所述搜索查询词以及所述搜索结果网页。

依据本发明的另一方面，提供了一种新词识别装置，其包括：片段提取模块，用于从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；对应关系统计模块，用于统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；新词识别模块，用于根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的装置，所述搜索结果网页的内容为所述搜索结果网页的标题。

可选地，前述的装置，所述对应关系统计模块计算在所述标题中所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第一概率；所述新词识别模块根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。