[发明专利]一种领域特征词确定方法和装置

说明书

技术领域

本发明涉及信息识别领域，尤其涉及一种领域特征词确定方法和装置。

背景技术

领域特征词是能够代表领域信息的关键词。领域词识别是构建知识库的基础。领域词识别需要对领域进行判定，而对领域进行判断通常是通过统计该领域经常出现的一些特征词来进行的。因此，领域特征词的获取对于领域词的识别非常重要。

目前，领域特征词一般都是专家通过手工获取，局限性比较大，效率也比较低。

发明内容

有鉴于此，本发明实施例的目的是提供一种领域特征词确定方法和装置，从而快速高效地获取领域特征词。

为实现上述目的，本发明实施例提供了如下技术方案：

一种领域特征词确定方法，包括：

分别选取预设数量的第一领域和第二领域两个领域的领域词，利用搜索引擎对每个领域词进行搜索，根据搜索结果获得待确定领域特征词集合；

分别结合第一领域和第二领域的搜索结果计算待确定领域特征词集合中的每个词语在第一领域中的第一权值和在第二领域的第二权值。

分别按照所述第一权值和第二权值对所述词语进行排序，统计待确定领域特征词集合中同一个词语在两个领域的权值位置信息，并根据所述位置信息计算每个词语在这两个领域的差异度；

将所述每个词语的差异度与预先获取的第一领域与第二领域的差异度阈值进行比较，根据比较结果得到第一领域或者第二领域的领域特征词。

通过如下方法预先获取的差异度阈值：

分别选取预设数量的第一领域和第二领域两个领域的领域词，利用搜索引擎对每个领域词进行搜索，根据搜索结果获得待确定领域特征词集合；

从待确定领域特征词集合中为第一领域和第二领域各选一定数量的参考领域特征词，所述参考领域特征词分别从预先设置的第一领域和第二领域参考领域特征词集合中选取；

分别结合第一领域和第二领域的搜索结果计算每个参考领域特征词的权值，并按照权值对参考领域特征词进行排序；

根据同一个参考领域特征词在两个领域的权值所处的不同位置计算每个参考领域特征词的位置差异度；

根据参考领域特征词的差异度确定第一领域和第二领域的差异度阈值。

所述利用搜索引擎对每个领域词进行搜索，根据搜索结果获得待确定领域特征词集合包括：

利用搜索引擎对每个领域词进行搜索，获取搜索结果，根据搜索结果得到待分析的页面；

利用抽取程序，抽取出每个待分析页面的正文部分；

对每个待分析页面的正文进行分词，统计分词后得到的词语，形成待确定领域特征词集合。

将所述差异度与预先获取的差异度阈值进行比较，从差异度阈值之上的词语中得到领域特征词包括：

将所述差异度与预先获取的差异度阈值进行比较，选取差异度在差异度阈值以上的待选领域特征词；

结合所述待选领域特征词的在第一领域和第二领域的权值位置信息，从待选领域特征词中确定第一领域或第二领域的领域特征词。

所述权值位置信息为所述按照待确定领域特征词在第一领域或者第二领域的权值在相应的领域进行排序后，所述待确定领域特征词所处的位置。

一种领域特征词确定装置，包括：

第一获取单元，用于分别选取预设数量的第一领域和第二领域两个领域的领域词，利用搜索引擎对每个领域词进行搜索，根据搜索结果获取待确定领域特征词集合；

第一计算单元，用于分别结合第一领域和第二领域的搜索结果计算待确定领域特征词集合中的每个词语在第一领域中的第一权值和在第二领域的第二权值。

第二计算单元，用于分别按照所述第一权值和第二权值对所述词语进行排序，统计待确定领域特征词集合中同一个词语在两个领域的权值位置信息，并根据所述位置信息计算每个词语在这两个领域的差异度；

差异度阈值获取单元，用于预先获取第一领域与第二领域的差异度阈值；

第二获取单元，用于将所述每个词语的差异度与预先获取的第一领域与第二领域的差异度阈值进行比较，根据比较结果得到第一领域或者第二领域的领域特征词。

所述差异度阈值获取单元包括：

第一获取子单元，用于分别选取预设数量的第一领域和第二领域两个领域的领域词，利用搜索引擎对每个领域词进行搜索，根据搜索结果获取待确定领域特征词集合；

第一选取子单元，用于从待确定领域特征词集合中为第一领域和第二领域各选一定数量的参考领域特征词，所述参考领域特征词分别从预先设置的第一领域和第二领域参考领域特征词集合中选取；