[发明专利]一种在网络上提取近义词的方法及系统

说明书

技术领域

本发明涉及近义词提取领域，特别是涉及一种在网络上提取近义词的方法及系统。

背景技术

在互联网上利用网络资源提取近义词，可以为网页搜索相关性、自然语言处理、文本挖掘等提供支持。但在网络上，难以找到恰当的方式去界定近义词，因此，目前现有技术仍采用对比查找方式。

参阅图1，为现有在网络上提取近义词的方法，具体步骤如下所述。

步骤S101、预置近义词词库。人工通过相关词典和经验整理近义词，将整理好的近义词组成近义词库。近义词库包括通常意义上词义相近的词语，如“吃饭”、“就餐”，“犹豫”、“踌躇”等，还包括广义上的近义词，即表示同一事物的词语，如“北京”、“北京大学”等。

步骤S102、提取网页文本，对网页文本进行分词处理。在网络上抓取所需网页，再在网页上提取正文文本，对正文文本进行分词处理，将各词语使用空格隔开，过滤掉虚词、语气词、介词等不具有实质意义的词语。

步骤S103、将网页文本与近义词词库对比，提取与近义词词库相同的词语。

步骤S104、根据提取的近义词对网页进行分析。

上述方法只是根据已有的近义词库在网络上提取相同的近义词，进行分析。但近义词库是根据人工整理的，一般数据量较小，覆盖范围也较小，基于该数据库提取近义词，提取的广度受到很大的局限。

网络上的近义词很多由网络语言习惯形成的，预先设置近义词库很难囊括这些网络特有的近义词，基于预置的近义词库无法查找到这些近义词，提取近义词的适用性较低。

发明内容

本发明所要解决的技术问题是提供一种在网络上提取近义词的方法及系统，以解决现有技术中近义词提取的广度和适用性较低的问题。本发明提取的近义词具有较高的广度和精度。

本发明公开一种在网络上提取近义词的方法，包括：获取网页上各反向链接的锚文本；将所述锚文本两两对比，分别去除重叠的词语；将剩余的词语组成近义词集合，基于所述近义词集合提取近义词。

优选的，获取网页各反向链接的锚文本之前，还包括：获取网页上各反向链接父网页的Rank值，及该父网页所属主域的Rank值；如父网页的Rank值，和/或该网页所在主域的Rank值低于预设数值，去除该父网页对应的反向链接。

优选的，获取网页各反向链接的锚文本之后，还包括；计算锚文本权重，去除权重值低于预置数值的锚文本。

优选的，基于所述近义词集合提取近义词具体为：获取上述剩余词语在所述锚文本中的出现频次，所述各反向链接父网页的Rank值，及该父网页所属主域的Rank值；根据上述数值分别计算上述剩余词语中各个词语对的近义概率；选取近义概率超过预设阈值的词语对作为近义词。

优选的，基于所述近义词集合提取近义词具体为：获取上述剩余词语在所述锚文本中的出现频次，所述各反向链接父网页的Rank值，及该父网页所在主域的Rank值；根据上述数值分别计算上述剩余词语中各词语对的近义概率，重复上述步骤，获取各词语对在各个网页的近义概率；针对每个词语对，将其在不同网页的近义概率分别乘以该近义概率对应反向链接子页面的Rank值，获得的乘积相加，作为该词语对的总近义概率；提取总近义概率超过设定阈值的词语对作为近义词。

优选的，根据上述数值分别计算上述剩余词语中各词语对的近义概率具体为：针对每个词语对，将词语对中一词语的出现频次乘以其对应反向链接父网页的Rank值，乘积取对数后再乘以设定系数；将词语对中另一词语的出现频次乘以其对应反向链接父网页所属主域的Rank值，乘积取对数；获得的数据相加，为该词语的近义概率。

优选的，根据上述数值分别计算上述剩余词语中各词语对的近义概率具体为：针对每个词语对，将词语对中一词语的出现频次乘以其对应反向链接父网页的Rank值，另一词语的出现频次乘以其对应反向链接父网页所属主域的Rank值；获得的数据相加，为该词语的近义概率。

本发明还公开一种在网络上提取近义词的系统，包括锚文本获取模块、对比模块、去除模块、及组成模块：所述锚文本获取模块，用于获取网页上各反向链接的锚文本；所述对比模块，用于将所述锚文本两两对比；所述去除模块，用于分别去除重叠的词语；所述组成模块，用于将剩余的词语组成近义词集合。

优选的，还包括数据获取模块、近义概率计算模块、近义词模块：所述数据获取模块，用于获取上述剩余词语在所述锚文本中的出现频次，所述各反向链接父网页的Rank值，及该父网页所属主域的Rank值；所述近义概率计算模块，用于根据上述数值分别计算上述剩余词语中各个词语对的近义概率；所述近义词模块，用于选取近义概率超过预设阈值的词语对作为近义词。