[发明专利]信息抓取方法

权利要求书

1.一种信息抓取方法，其特征在于，包括：

爬虫程序获取与搜索主题相关的网页信息，并对所述网页信息进行分词处理，获得包含若干词和/或词组的分词处理结果信息；

根据预设时间内所述词和/或词组在所述网页信息中出现的频率，对所述词和/或词组进行聚类操作，并获取第一分类数据表；

根据语义库数据对所述第一分类数据表进行语义属性归类，获取第二分类数据表；

在所述第二分类数据表中获取所述词和/或词组的语义属性参数；

根据所述语义库数据在所述第二分类数据表中查询具有新语义属性参数的所述词和/或词组；

将所述词和/或词组与所述第二分类数据表中语义属性参数相同的其他词和/或词组进行相关性分析，获取所述词和/或词组的语义数据，并将所述语义数据添加至所述语义库；

分别基于所述语义库中同一语义属性参数对所述词和/或词组进行加权运算，得到所述网页信息的语义属性参数；

若所述网页信息的语义属性参数在预设的语义属性参数范围内，则将所述网页信息保存至抓取结果队列。

2.根据权利要求1所述的信息抓取方法，其特征在于，所述根据预设时间内所述词和/或词组在所述网页信息中出现的频率，对所述词和/或词组进行聚类操作，并获取第一分类数据表之前还包括：

根据所述语义库数据在所述词和/或词组中获取未知语义数据的词和/或词组以及已知语义数据的词和/或词组。

3.根据权利要求2所述的信息抓取方法，其特征在于，所述根据预设时间内所述词和/或词组在所述网页信息中出现的频率，对所述词和/或词组进行聚类操作，并获取第一分类数据表包括： 

根据预设时间内所述未知语义数据的词和/或词组和所述已知语义数据的词和/或词组在所述网页信息中出现的频率，对所述未知语义数据的词和/或词组与所述已知语义数据的词和/或词组进行聚类操作，并获取所述第一分类数据表。

4.根据权利要求3所述的信息抓取方法，其特征在于，所述在所述第二分类数据表中获取所述词和/或词组的语义属性参数包括：

在所述第二分类数据表中获取所述未知语义数据的词和/或词组的语义属性参数以及所述已知语义数据的词和/或词组的语义属性参数。

5.根据权利要求4所述的信息抓取方法，其特征在于，所述在所述第二分类数据表中获取所述未知语义数据的词和/或词组的语义属性参数以及所述已知语义数据的词和/或词组的语义属性参数之后还包括：

将所述未知语义数据的词和/或词组与所述第二分类数据表中语义属性参数相同的词和/或词组进行相关性分析，获取所述未知语义词和/或词组的语义数据，并将所述语义数据添加至所述语义库。

6.根据权利要求1所述的信息抓取方法，其特征在于，所述爬虫程序获取与搜索主题相关的网页信息，并对所述网页信息进行分词处理，获得包含若干词和/或词组的分词处理结果信息之前还包括：

爬虫程序根据网址中包含的网页标题的地址获取包含网页标题和/或正文的网页信息；

将获取到的所述网页信息进行格式转换，生成标准化数据。

7.根据权利要求6所述的信息抓取方法，其特征在于，所述爬虫程序获取与搜索主题相关的网页信息，并对所述网页信息进行分词处理，获得包含若干词和/或词组的分词处理结果信息包括：

对所述标准化数据进行相关信息提取，获取与搜索主题相关的数据信息；

根据所述语义库数据对所述与搜索主题相关的数据信息进行分词处理，获得包含若干词和/或词组的分词处理结果信息。