[发明专利]一种基于大数据平台的数据处理方法

权利要求书

1.一种基于大数据平台的数据处理方法，其特征在于，包括如下步骤：

S1、基于数据处理目标实现关联数据特征集、数据训练集、数据处理模型训练算法、及数据处理模型之间关联关系的爬取；

S2、基于数据处理模型训练算法分别训练对应的数据训练集生成对应的数据处理模型；

S3、基于数据处理模型的关联关系构建用于依次唤醒对应数据处理模型的驱动脚本；

S4、基于关联数据特征集实现目标数据的采集，并基于运行驱动脚本实现对应数据处理模型的唤醒，实现目标数据的处理分析。

2.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S1中，通过网络爬虫模块和/数据挖掘模块基于数据处理目标在预设的网络基站和/数据库实现关联数据特征、数据训练、数据处理模型训练算法、及数据处理模型之间关联关系的爬取和/挖掘，然后基于人工结合机器学习的方式实现关联数据特征集、数据训练集、数据处理模型训练算法、及数据处理模型之间关联关系的整理构建。

3.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述数据处理模型之间关联关系为数据处理模型处理结果与其他数据处理模型输入项之间的关联关系。

4.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，步骤S3中，首先根据数据处理模型的关联关系实现各数据处理模型运行顺序的排列，然后根据前一个数据处理模型与后一个数据处理模型之间的关联关系依次构建驱动脚本，所述驱动脚本用于将前一个数据处理模型的处理结果格式标准化后输送至后一个数据处理模型中。

5.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S4中，首先基于关联数据特征集训练构建对应的数据挖掘模型，基于数据挖掘模型在预设的数据库内和/基于数据采集终端实现目标数据的采集，并实现目标数据格式的标准化，然后运行驱动脚本实现对应数据处理模型的唤醒，实现目标数据的处理分析。

6.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，还包括：基于数据处理目标配置对应的数据处理分析报表模板，并基于数据处理分析报表模板实现数据处理分析报表编制的步骤。

7.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述步骤S2中，基于Hadoop分布式运行数据处理模型训练算法分别训练对应的数据训练集生成对应的数据处理模型。