[发明专利]一种基于大数据平台的数据处理方法

说明书

本发明涉及大数据处理领域，具体涉及一种基于大数据平台的数据处理方法，包括如下步骤：S1、基于数据处理目标实现关联数据特征集、数据训练集、数据处理模型训练算法、及数据处理模型之间关联关系的爬取；S2、基于数据处理模型训练算法分别训练对应的数据训练集生成对应的数据处理模型；S3、基于数据处理模型的关联关系构建用于依次唤醒对应数据处理模型的驱动脚本；S4、基于关联数据特征集实现目标数据的采集，并基于运行驱动脚本实现对应数据处理模型的唤醒，实现目标数据的处理分析。本发明基于大数据实现了各种数据处理模型的自主构建，在可以大大减轻人为工作量的同时，可以满足各种数据处理需求。

技术领域

本发明涉及大数据处理领域，具体涉及一种基于大数据平台的数据处理方法。

背景技术

大数据、云计算、“互联网+”已成为创新发展的新趋势，在大数据条件下，每个系统、电子设备都会产生成千上万的数据，为了快速从海量数据中获得真正的业务价值，大数据平台应运而生。

目前，现有的基于大数据平台的数据处理通常需要单独开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节都需要专业的人员参与，耗时长，工作量大且成本高。

发明内容

为解决上述问题，本发明提供了一种基于大数据平台的数据处理方法，基于大数据实现了各种数据处理模型的自主构建，在可以大大减轻人为工作量的同时，可以满足各种数据处理需求。

为实现上述目的，本发明采取的技术方案为：

一种基于大数据平台的数据处理方法，包括如下步骤：

S1、基于数据处理目标实现关联数据特征集、数据训练集、数据处理模型训练算法、及数据处理模型之间关联关系的爬取；

S2、基于数据处理模型训练算法分别训练对应的数据训练集生成对应的数据处理模型；

S3、基于数据处理模型的关联关系构建用于依次唤醒对应数据处理模型的驱动脚本；

S4、基于关联数据特征集实现目标数据的采集，并基于运行驱动脚本实现对应数据处理模型的唤醒，实现目标数据的处理分析。

进一步地，所述步骤S1中，通过网络爬虫模块和/数据挖掘模块基于数据处理目标在预设的网络基站和/数据库实现关联数据特征、数据训练、数据处理模型训练算法、及数据处理模型之间关联关系的爬取和/挖掘，然后基于人工结合机器学习的方式实现关联数据特征集、数据训练集、数据处理模型训练算法、及数据处理模型之间关联关系的整理构建。

进一步地，所述数据处理模型之间关联关系为数据处理模型处理结果与其他数据处理模型输入项之间的关联关系。

进一步地，步骤S3中， 首先根据数据处理模型的关联关系实现各数据处理模型运行顺序的排列，然后根据前一个数据处理模型与后一个数据处理模型之间的关联关系依次构建驱动脚本，所述驱动脚本用于将前一个数据处理模型的处理结果格式标准化后输送至后一个数据处理模型中。

进一步地，所述步骤S4中，首先基于关联数据特征集训练构建对应的数据挖掘模型，基于数据挖掘模型在预设的数据库内和/基于数据采集终端实现目标数据的采集，并实现目标数据格式的标准化，然后运行驱动脚本实现对应数据处理模型的唤醒，实现目标数据的处理分析。

进一步地，还包括：基于数据处理目标配置对应的数据处理分析报表模板，并基于数据处理分析报表模板实现数据处理分析报表编制的步骤。

进一步地，所述步骤S2中，基于Hadoop分布式运行数据处理模型训练算法分别训练对应的数据训练集生成对应的数据处理模型

本发明具有以下有益效果：

基于大数据实现了各种数据处理模型的自主构建，在可以大大减轻人为工作量的同时，可以满足各种数据处理需求。

数据处理的过程自动进行，基本脱离人工，可以大大提高数据处理效率的同时，可以避免由于人为操作所带来的数据处理漏洞。