[发明专利]一种基于大数据分析算法

说明书

本发明公开的属于算法分析技术领域，具体为一种基于大数据分析算法，包括分类模块、数据模型、数据采集模块、数据统计模块、数据分析模块、数据处理模块和数据挖掘模块，首先建立分类模块，然后将不同的数据分类存储到分类模块中，然后根据数据采集模块对用户关注的数据进行定向采集，数据统计模块对采集到的数据进行统计，然后根据统计结果确定数据之间的关联性并绘制关联函数，然后以此关联函数构建数据模型，通过分类模块对数据进行分类，可以方便快速的找到对应的数据，从而减少大数据的运算从成本，将分类后的数据与数据模型相关联，可以方便对数据进行快速计算，从而减少大数据的运算时间。

技术领域

本发明涉及算法分析技术领域，具体为一种基于大数据分析算法。

背景技术

大数据具有数据量大、速度快、类型多、价值高、真实性强的特点。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。而大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，为了能对大数据进行处理，需要系统具有更强的决策力、洞察发现力和流程优化能力，因此大数据分析也应运而生。大数据分析可以对规模巨大的数据进行分析，进而方便系统处理海量、高增长率和多样化的信息资产。

在大数据上进行实验需要的成本比传统算法分析中的小规模数据要大很多，因此完成算法计算所需的资源和精度难以通过实验来得到，只能通过理论分析来求得所需的资源与输入规模之间的关系，这样就可以基于算法在小规模数据上的实验结果来推演出算法在大规模数据上需要的计算资源或者某种性质所能够达到的程度，从而判定算法是否可行。

发明内容

本发明的目的在于提供一种基于大数据分析算法，以解决上述背景技术中提出的现有的大数据分析算法运算时间长、成本高且精度低的问题。

为实现上述目的，本发明提供如下技术方案：一种基于大数据分析算法，包括分类模块、数据模型、数据采集模块、数据统计模块、数据分析模块、数据处理模块和数据挖掘模块，首先建立分类模块，然后将不同的数据分类存储到分类模块中，然后根据数据采集模块对用户关注的数据进行定向采集，数据统计模块对采集到的数据进行统计，然后根据统计结果确定数据之间的关联性并绘制关联函数，然后以此关联函数构建数据模型，当用户对分类模块中的数据进行关注时，数据统计模块记录该数据的关注次数，同时数据分析模块将该被关注数据带入数据模型，并从中选出与关注数据相关联的数据，然后将与关注数据相关联的数据推送给用户，当用户继续关注后续数据进行关注时，数据统计模块记录延续关注次数，当用户继续关注的数据是推送的数据时，数据统计模块记录准确推送次数，当用户继续关注的数据不是推送的数据时，数据统计模块记录错误推送次数及用户新关注的数据种类，当该类新数据被用户重复关注时记录重复关注次数，数据处理模块通过准确推送次数和延续关注次数比值计算推送关注率，数据处理模块通过重复关注次数与错误推送次数比值计算重复关注率，当推送关注率小于0.95且有重复关注率大于0.2的数据或推送关注率大于0.95且有重复关注率大于0.3的数据时，则将该重复关注率大于0.2或0.3的数据导入数据统计模块，数据统计模块将该数据与采集到的数据进行重新统计关联，然后绘制新的关联函数，并以此关联函数构建新数据模型，然后用该数据模型代替前一个数据模型。

优选的，所述数据模型在建立后，数据分析模块根据数据模型的关联函数对深层数据进行预测，随后数据挖掘模块对深层数据进行挖掘，然后数据处理模块将预测结果与实际结果进行对比，当预测结果与实际结果相符合，则该数据模型正式使用，当预测结果与实际结果不符时，则数据采集模块采集更多的数据，然后重新建立数据模型。

优选的，所述分类模块包括总模块，所述总模块包括分模块，当用户观注总模块数据时，数据分析模块推送其它总模块数据，当用户关注分模块数据时，数据分析模块推送该总模块中的其它分模块数据。