[发明专利]一种基于大数据平台的数据处理方法及装置

摘要

本发明公开了一种基于大数据平台的数据处理方法及装置，该数据处理方法包括如下步骤：根据数据分析目标生成数据采集规则集，并生成对应的数据分类模型；基于网络爬虫模块根据数据采集规则集在预设的网络基站上爬取对应的目标参数，生成目标参数集；基于目标参数集及对应的数据分析目标构建数据分析模型集，并构建各数据分析模型之间的关联关系；基于所述关联关系构建用于驱动各数据分析模型的运行脚本，实现数据分类模型及各数据分析模型的串联；基于完成串联的数据分类模型及各数据分析模型实现数据的处理。本发明可以实现各数据分析模型的全程自动唤醒和休眠，从而实现各种目标数据的主动获取，大大提高数据分析效率和分析结果的准确率。