[发明专利]一种基于多源异构数据的农产品销量预测系统

权利要求书

1.一种基于多源异构数据的农产品销量预测系统，其特征在于，包括数据采集端、数据预处理端和销量预测模型；

所述数据采集端用于采集预测区域内所有农产品销售网点的历史数据作为训练样本集；

所述数据预处理端将训练样本集中的数据进行预处理，并将预处理后的数据分为参考集和特征集；

所述特征集用于训练销量预测模型，训练销量预测模型的给出的预测结果通过参考集来验证预测精准度；

所述销量预测模型为基于XGBoost的预测模型，能通过输入参考集和特征集进行模型训练，并构造用于预测农产品销量的销量预测模型。

2.根据权利要求1所述的一种基于多源异构数据的农产品销量预测系统，其特征在于，所述训练样本集包括结构化数据和半结构化数据，所述结构化数据包括农产品种类数据、农产品价格数据、农产品库存数据、农产品销量数据、农产品转入数据、农产品转出数据工作人员信息和客户数据；所述半结构化数据包括销售网点位置数据、人员密度数据、消费水平数据、年龄组成数据，所述参考集中保存农产品销量数据，其余数据保存至特征集中。

3.根据权利要求2所述的一种基于多源异构数据的农产品销量预测系统，其特征在于，包括如下步骤：

S1采集预测区域内所有农产品销售网点的历史数据作为训练样本集；

S2对训练样本集进行进行数据预处理，数据预处理包括数据均一化和数据去冗余；

S3通过数据预处理后的训练样本集数据计算各农产品销售网点的市场因子§和市场相似度S；

S4提取训练样本集中的特征变量；

S5将市场因子§和特征变量共同组成特征集；

S6将农产品销售网点的农产品销量作为参考集；

S7通过关联分析对特征集进行关联度降维，并分别得到训练集和测试集；

S8通过训练集中的特征集和参考集对XGBoost模型进行训练并得到XGBoost销量预测模型；

S9通过测试集对XGBoost销量预测模型进行精度测试；

S10对未达到精度要求的XGBoost销量预测模型，重复S8与S9步骤，满足精度要求则执行下一步；

S11通过相似度S寻找与需进行销量预测农产品销售网点匹配的XGBoost销量预测模型；

S12通过销量预测农产品销售网点的历史销售数据对XGBoost销量预测模型的特征权重进行修正；

S13将经过特征权重修正的XGBoost销量预测模型作为最终的预测模型对需进行销量预测农产品销售网点进行未来的销量预测，并根据实际预测结果进行预测有效值评估。

4.根据权利要求3所述的一种基于多源异构数据的农产品销量预测系统，其特征在于，所述数据均一化包括如下步骤：

S21将训练样本集统一转化成半结构化数据；

S22通过分词器将数据进行分词处理；

S23将分词进行聚类分析；

S24将同一聚类下的分词进行均一化；

S25重复上述步骤直至每一个分词都进行同一聚类并均一化。

5.根据权利要求3所述的一种基于多源异构数据的农产品销量预测系统，其特征在于，数据去冗余包括如下步骤：

S31为训练样本集中每一个样本子集计算Hash值；

S32将Hash值作为Key元素，样本子集保存地址作为Value元素构建Key_Value对照表并保存至Redis数据库中；

S33读取Redis数据库的返回值，若为0则正常存储，样本子集未出现重复；若为1则未正常存储，样本子集出现重复；

S34对训练样本集中每一个样本子集进行如上步骤直至去除训练样本集中所有冗余的样本子集。

6.根据权利要求3所述的一种基于多源异构数据的农产品销量预测系统，其特征在于，所述市场因子§表示为：

其中，表示市场U在T时间段内农产品X的转入量；表示市场U在T时间段内农产品X的转出量，T表示单位时间段。