[发明专利]一种大数据用数据剔除整合系统

说明书

本发明公开了一种大数据用数据剔除整合系统，包括客户端、统计保存终端；客户端为用户终端，用于客户录入用户数据信息，统计保存终端用于保存客户端所录入的数据，并对数据信息进行分类处理，统计保存终端还用于客户通过客户端访问统计保存终端所保存的数据，统计保存终端包括分类单元、重复数据剔除模块、存储分类模块、检索单元、反馈模块与综合存储单元，分类单元用于获取录入数据信息；本发明的有益效果是：在数据保存到存储模块之前可将重复的数据剔除出去，能够将整合前、整合后的数据分别进行保存，并将整合前、整合后的数据相关联，方便后期的调取还原，省份划分、城市划分、年份划分之间构成三级分类，方便用户筛选相关的信息。

技术领域

本发明涉及大数据系统，具体为一种大数据用数据剔除整合系统，属于大数据系统技术领域。

背景技术

大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分，大数据就是互联网发展到现今阶段的一种表象或特征，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值，其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开，第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线，在这里从大数据的特征定义理解行业对大数据的整体描绘和定性，从对大数据价值的探讨来深入解析大数据的珍贵所在，洞悉大数据的发展趋势，从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈，第二层面是技术，技术是大数据价值体现的手段和前进的基石，在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程，第三层面是实践，实践是大数据的最终价值体现，在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

现有的大数据系统，在整合时不能够对重复型数据、交叉重复型数据进行处理，并且没有对整合前的数据标记备份使其与整合后的数据相关联以方便后期的调取还原，没有对数据依次进行省份标记、城市标记、时间标记、简介词标记，使省份标记、城市标记、时间标记之间形成三级分类关系，没有更为细致的分类，不便于客户使用时的检索，需要进一步的完善与加强功能。

发明内容

本发明的目的就在于为了解决现有的大数据系统，在整合时不能够对重复型数据、交叉重复型数据进行处理，并且没有对整合前的数据标记备份使其与整合后的数据相关联以方便后期的调取还原，没有对数据依次进行省份标记、城市标记、时间标记、简介词标记，使省份标记、城市标记、时间标记之间形成三级菜单关系，没有更为细致的分类，不便于客户使用时的检索的问题，而提出一种大数据用数据剔除整合系统。

本发明的目的可以通过以下技术方案实现：一种大数据用数据剔除整合系统，包括客户端、统计保存终端；

所述客户端为用户终端，用于客户录入用户数据信息，所述统计保存终端用于保存客户端所录入的数据，并对数据信息进行分类处理，所述统计保存终端还用于客户通过客户端访问统计保存终端所保存的数据，所述统计保存终端包括分类单元、重复数据剔除模块、存储分类模块、检索单元、反馈模块与综合存储单元，所述分类单元用于获取录入数据信息，并对录入数据信息进行初步分类处理，处理步骤表现为

步骤一：提取数据信息中所包含的省份信息；

步骤二：根据省份的划分，将属于同一省份下相关联的数据信息归类在一个省份下，并对数据信息做省份标记，将标记后的数据传输给重复数据剔除模块；

所述重复数据剔除模块用于对数据进行比对验证，将出现重复性的数据进行整合处理，具体的整合处理步骤如下：

T01：传输中的两个数据段分别用A、B表示，两个数据段均由多个数据块组成，通过数据块内容对A、B的关系进行判定；