[发明专利]一种基于大数据平台的数据处理方法及装置

权利要求书

1.一种基于大数据平台的数据处理方法，其特征在于，包括如下步骤：

S1、根据数据分析目标生成数据采集规则集，并生成对应的数据分类模型；

S2、基于网络爬虫模块根据数据采集规则集在预设的网络基站上爬取对应的目标参数，生成目标参数集；

S3、基于目标参数集及对应的数据分析目标构建数据分析模型集，并构建各数据分析模型之间的关联关系；

S4、基于所述关联关系构建用于驱动各数据分析模型的运行脚本，实现数据分类模型及各数据分析模型的串联；

S5、基于完成串联的数据分类模型及各数据分析模型实现数据的处理。

2.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S1中，基于数据挖掘模块根据数据分析目标在大数据平台挖掘与其存在关联关系的数据，然后基于人工和机器学习相结合的方式生成数据采集规则集，最后基于各数据采集规则集对应的特征数据生成对应的数据分类模型。

3.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S1中，所述数据分类模型采用Bi-LSTM+Attention模型。

4.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S4中，通过运行脚本的运行实现数据分类模型以及各数据分析模型的唤醒，未唤醒的数据分类模型和数据分析模型处于休眠状态。

5.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S5中，数据经数据分类模型分类后自动输入对应的数据分析模型串，生成数据分析报表，数据分类模型的分类结果及每一个数据分析模型所得的数据分析结果均自动登记在分析报表内。

6.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于， 还包括基于深度学习的不完整数据填充算法实现数据填充的步骤。

7.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，每一个数据分析模型均配置一数据量监测模型，即用于实现当前待输入数据量的监测，当监测到的数据量达到预设的区间时，运行脚本运行驱动数据分析模型实现数据的自动输入和分析。

8.一种基于大数据平台的数据处理装置，其特征在于，采用如权利要求1-7任一项所述的方法实现数据的处理。