[发明专利]一种数据爬取的方法及其相关设备

权利要求书

1.一种数据爬取的方法，其特征在于，包括：

根据第一语义支撑词爬取互联网数据，得到第一目标文本，所述第一语义支撑词为用户输入的原始语义支撑词；

从所述第一目标文本中提取第二语义支撑词；

根据所述第二语义支撑词及预置的语义支撑词发现模型生成第三语义支撑词；

根据所述第三语义支撑词爬取所述互联网数据，得到第二目标文本；

所述根据所述第二语义支撑词及预置的语义支撑词发现模型生成第三语义支撑词包括：

根据所述第二语义支撑词所对应的向量对所述第二语义支撑词进行分区处理，得到支撑词分区；

根据所述支撑词分区及所述语义支撑词发现模型生成第三语义支撑词，所述语义支撑词发现模型按照每一个支撑词分区中的所有支撑词的向量中心点生成所述第三语义支撑词。

2.根据权利要求1所述的方法，其特征在于，所述根据第一语义支撑词爬取互联网数据，得到第一目标文本之后，所述方法还包括：

对所述第一目标文本进行分词处理，得到文本分词。

3.根据权利要求2所述的方法，其特征在于，所述从所述第一目标文本中提取第二语义支撑词包括：

判断所述第一目标文本的文本长度是否大于预设值；

若大于，则根据TF-IDF算法从所述文本分词中提取所述第二语义支撑词；

若不大于，则根据TextRank算法从所述文本分词中提取所述第二语义支撑词。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第三语义支撑词爬取所述互联网数据，得到第二目标文本之后，所述方法还包括：

根据xpath语法从所述第二目标文本中提取第三目标文本；

将所述第三目标文本存储至数据库中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述第三语义支撑词爬取所述互联网数据，得到第二目标文本包括：

根据所述第三语义支撑词及预置时间间隔定时爬取所述第二目标文本。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述语义支撑词发现模型为word2vec模型。

7.一种数据爬取装置，其特征在于，包括：

第一爬取单元，用于根据第一语义支撑词爬取互联网数据，得到第一目标文本，所述第一语义支撑词为用户输入的原始语义支撑词；

第一提取单元，用于从所述第一目标文本中提取第二语义支撑词；

生成单元，用于根据所述第二语义支撑词及预置的语义支撑词发现模型生成第三语义支撑词；

第二爬取单元，用于根据所述第三语义支撑词爬取所述互联网数据，得到第二目标文本；

所述生成单元包括：

分区子单元，用于根据所述第二语义支撑词所对应的向量对所述第二语义支撑词进行分区处理，得到支撑词分区；

生成子单元，用于根据所述支撑词分区及所述语义支撑词发现模型生成第三语义支撑词，所述语义支撑词发现模型按照每一个支撑词分区中的所有支撑词的向量中心点来生成所述第三语义支撑词。

8.根据权利要求7所述的数据爬取装置，其特征在于，所述数据爬取装置还包括：

分词单元，用于对所述第一目标文本进行分词处理，得到文本分词。

9.根据权利要求8所述的数据爬取装置，其特征在于，所述第一提取单元包括：

判断子单元，用于判断所述第一目标文本的文本长度是否大于预设值；

第一提取子单元，用于当所述第一目标文本的长度大于预设值时，根据TF-IDF算法从所述文本分词中提取所述第二语义支撑词；

第二提取子单元，用于当所述第一目标文本的长度不大于预设值时，根据TextRank算法从所述文本分词中提取所述第二语义支撑词。