[发明专利]一种农产品价格数据的提取方法、装置及设备

说明书

本发明公开了一种农产品价格数据的提取方法、装置、设备及计算机可读存储介质，该方法包括：由目标网页爬取得到对应文本，确定内容主题为农业主题的文本为目标文本，对目标文本分词处理得到对应目标词组；提取目标词组包含的农产品信息为目标农产品信息，判断目标农产品信息是否包含农产品价格，如果是，则确定数据提取完成，将目标农产品信息存入数据库，如果否，则由数据库中查找与目标农产品信息具有关联性的农产品信息，基于查找到的农产品信息与目标农产品信息的关联性确定目标农产品信息对应的农产品价格，将确定出的农产品价格加入目标农产品信息后保存至数据库。从而有效解决了现有技术提取的农产品价格数据不完整、缺失部分较多的问题。

技术领域

本发明涉及数据分析技术领域，更具体地说，涉及一种农产品价格数据的提取方法、装置、设备及计算机可读存储介质。

背景技术

随着信息技术的发展，大数据时代的到来，数据量急剧增大，数据已经渗透到各行各业，而如何在大量信息中获取有用信息是目前人们比较关注的问题，获取数据是首要解决问题，由于很多数据都不能直接在网上直接获取，所以需要用到网络爬虫，来爬取所需的数据。

中国是一个农业大国，农产品市场是中国市场经济体制中的一个极其重要的组成部分，而农产品价格则是农产品市场的核心。农产品价格不稳定，会给农产品市场从业者带来了额外风险，对整个农产品市场的稳定发展造成了巨大的危害。因此通常需要提取历史上农业产品的价格数据以实现相应分析，但是，目前在各个网站获取的农产品历史价格数据不完整，缺失部分较多，不利于在该数据提取有用的信息做进一步的研究。

综上所述，现有技术存在提取的农产品价格数据不完整、缺失部分较多的问题。

发明内容

本发明的目的是提供一种农产品价格数据的提取方法、装置、设备及计算机可读存储介质，能够解决现有技术存在的提取的农产品价格数据不完整、缺失部分较多的问题。

为了实现上述目的，本发明提供如下技术方案：

一种农产品价格数据的提取方法，包括：

由目标网页中爬取得到对应的文本，确定其内容主题为农业主题的文本为目标文本，并对所述目标文本进行分词处理得到对应的目标词组；

提取所述目标词组中包含的农产品信息为目标农产品信息，判断所述目标农产品信息中是否包含农产品价格，如果是，则确定数据提取完成，并将所述目标农产品信息存入至数据库中，如果否，则由所述数据库中查找与所述目标农产品信息具有关联性的农产品信息，基于查找到的农产品信息与所述目标农产品信息的关联性确定所述目标农产品信息对应的农产品价格，并将确定出的农产品价格加入所述目标农产品信息后保存至所述数据库。

优选的，确定所述目标农产品信息对应的农产品价格，包括：

由所述数据库中查找与所述目标农产品信息对应农产品价格具有比值关系的农产品价格所属农产品信息，并利用查找到的农产品信息中包含的农产品价格及对应比值关系确定所述目标农产品信息对应的农产品价格。

优选的，对所述目标文本进行分词处理得到对应的目标词组，包括：

将所述目标文本输入至预先创建的分词模型中，并确定所述分词模型输出的结果为目标词组；其中，所述分词模型为预先利用多个文本样本及每个文本样本对应的词组对BiLSTM-CRF模型进行训练得到的。

优选的，确定爬取得到的文本中内容主题为农业主题的文本为目标文本，包括：

将爬取得到的文本分别输入至预先创建的主题分类模型中，确定所述主题分类模型输出的结果中概率最大的内容主题为对应文本的内容主题，并确定内容主题为农业主题的文本为目标文本；其中，所述主题分类模型为预先利用多个文本样本及每个文本样本的内容主题对LDA模型进行训练得到的。

优选的，确定目标网页，包括：