[发明专利]一种大数据数据颗粒算法系统

说明书

本发明公开了一种大数据数据颗粒算法系统，涉及数据深度挖掘技术领域，针对现有数据提取算法中由于数据量庞大对，会遗漏数据中的有效信息，造成资源的流失等问题，现提出如下方案，包括一层计算系统、二层计算系统和三层计算系统，所述一层计算系统包括数据提取模块，所述数据提取模块的输出端连接有过滤去除模块，所述过滤去除模块的输出端连接有数据获取模块，所述数据获取模块的输出端连接有检索计算模块，所述检索计算模块的输出端连接有备份传输模块。本发明该发明计算方法深层，将数据深层挖掘重组计算，获得大数据中隐藏信息，提高大数据有效信息获取率，避免资源流失，适合推广使用。

技术领域

本发明涉及数据深度挖掘技术领域，尤其涉及一种大数据数据颗粒算法系统。

背景技术

大数据IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有数据量大、速度快、类型多、价值高、真实性强的特点。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点，随着大数据的逐渐运用，大数据挖掘算法系统也应运而生，大数据挖掘将获取的海量信息进行搜索查找和删除，获得用户所需数据信息，但是在对大数据筛选提取中由于数据量庞大，因此会遗漏数据中的有效信息，造成资源的流失，为了深度将大数据中的有效信息提取，我们提出一种大数据数据颗粒算法系统。

发明内容

本发明提出的一种大数据数据颗粒算法系统，解决现有数据提取算法中由于数据量庞大对，会遗漏数据中的有效信息，造成资源的流失等问题。

为了实现上述目的，本发明采用了如下技术方案：

一种大数据数据颗粒算法系统，包括一层计算系统、二层计算系统和三层计算系统，所述一层计算系统包括数据提取模块，所述数据提取模块的输出端连接有过滤去除模块，所述过滤去除模块的输出端连接有数据获取模块，所述数据获取模块的输出端连接有检索计算模块，所述检索计算模块的输出端连接有备份传输模块，所述备份传输模块的输出端连接有检验查重模块，所述检验查重模块的输出端连接有结果显示模块，所述二层计算系统包括筛选获得模块、深度挖掘模块和定向传输模块，所述三层计算系统包括数据剥离模块、破解检索模块和筛选备份模块。

优选的，所述结果显示模块包括展示单元、列表单元、图表单元和分析单元，所述展示单元包括展示面板，所述列表单元用于将多层算法获得的大数据计算结果全部展示，所述图表单元用于将大数据计算结果通过图表化显示，所述分析单元用于对大数据计算结果对照分析，获得结果直接的差异。

优选的，所述一层计算系统与二层计算系统之间连接有数据传输模块，所述数据传输模块将过滤去除模块中删除的数据上传至二层计算系统进行深度计算。

优选的，所述二层计算系统和三层计算系统的输出端均与检验查重模块的输入端连接，所述检验查重模块用于对一层计算系统、二层计算系统和三层计算系统获得的数据结果进行合并后查重，并将重复结果删除保留一组数值。

优选的，所述数据提取模块用于需要计算的数组进行有效信息提取，有效信息用户自定义设置关键词查询，所述过滤去除模块将提取有效数据后的无效数据集中去除，并将无效数据上传至数据传输模块中，所述数据获取模块识别有效数据同步将信息上传至检索计算模块，所述检索计算模块对有效数据进行检索查找并将查找结果上传至备份传输模块，备份传输模块将检索结果备份后传输至检验查重模块。

优选的，所述检验查重模块具有暂停传输数据的功能，所述三层计算系统中的数据剥离模块用于将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，所述破解检索模块用于对重组数据进行再次查找检索，所述筛选备份模块筛选重组的有效数据，并将重组的有效数据备份后上传至检验查重模块。