[发明专利]一种有利于信息比对的大数据系统

说明书

本发明公开了一种有利于信息比对的大数据系统，包括：用于建立多层决策树的决策树模块；用于提取至少两个有对应关系的数据作为数据组的提取模块；所述提取模块提取数据直至大数据库中大于阈值数量的数据都使用过；用于对数据组进行聚类分析的聚类模块；用于以层级关系明确后的多层决策树对新加入的数据进行分析的分析模块。本发明一种有利于信息比对的大数据系统，通过建立决策树，并通过聚类的方法将决策树的层级关系进行明确，利用决策树和信息熵相结合的方法，使得大数据可以从多个层面上得到分析，提高了分析结果的准确度，并且对于新加入的数据，可以直接带入决策树中，分析速度大幅提高，进而的提高了政府的判断能力和运作效率。

技术领域

本发明涉及数据分析领域，具体涉及一种有利于信息比对的大数据系统。

背景技术

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点是数据量大、数据种类多、要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

目前为了了解民生情况，政府部门收集大量的大数据，但是只能从单一层面上对大数据进行分析，这种分析结果无法全面反映人民需求，同时对新加入的数据还需要重新进行全面分析才可以使用，严重影响了政府机构判断和运作效率。

发明内容

本发明所要解决的技术问题是为了了解民生情况，政府部门收集大量的大数据，但是只能从单一层面上对大数据进行分析，这种分析结果无法全面反映人民需求，同时对新加入的数据还需要重新进行全面分析才可以使用，严重影响了政府判断和运作效率，目的在于提供一种有利于信息比对的大数据系统，解决上述问题。

本发明通过下述技术方案实现：

一种有利于信息比对的大数据系统，包括：用于建立多层决策树的决策树模块；用于提取至少两个有对应关系的数据作为数据组，并提取数据组的信息熵的提取模块；所述提取模块提取数据直至大数据库中大于阈值数量的数据都使用过；用于对数据组进行聚类分析的聚类模块；所述聚类模块将同一类型的数据组划入决策树的同一层，使得多层决策树的层级关系明确；用于以层级关系明确后的多层决策树对新加入的数据进行分析的分析模块。

现有技术中，为了了解民生情况，政府部门收集大量的大数据，但是只能从单一层面上对大数据进行分析，这种分析结果无法全面反映人民需求，同时对新加入的数据还需要重新进行全面分析才可以使用，严重影响了政府判断和运作效率。本发明应用时，先建立多层决策树；再提取至少两个有对应关系的数据作为数据组，并提取数据组的信息熵；然后循环执行S2直至大数据库中大于阈值数量的数据都使用过；然后对数据组进行聚类分析，将同一类型的数据组划入决策树的同一层，使得多层决策树的层级关系明确；再然后以层级关系明确后的多层决策树对新加入的数据进行分析。本发明通过建立决策树，并通过聚类的方法将决策树的层级关系进行明确，利用决策树和信息熵相结合的方法，使得大数据可以从多个层面上得到分析，提高了分析结果的准确度，并且对于新加入的数据，可以直接带入决策树中，分析速度大幅提高，进而的提高了政府的判断能力和运作效率。

进一步的，所述聚类模块还用于设置聚类密度和聚类半径；所述聚类半径对应数据组的信息熵。

进一步的，所述多层决策树至少有三层。

进一步的，所述阈值数量为70％～80％。

进一步的，所述分析模块还用于将新加入的数据填入决策树的第一层，根据决策树的层级关系将数据映射入决策树的下一层，重复执行S52直至数据抵达决策树的最后一层，以决策树最后一层的结果作为数据分析的最终结果。

本发明与现有技术相比，具有如下的优点和有益效果：