[发明专利]一种用于财税数据的清洗方法及系统

说明书

本发明公开了一种用于财税数据的清洗方法及系统，所述的一种用于财税数据的清洗系统，包括数据录入模块、数据检查模块、数据分类模块、深层处理模块、统计输出模块，本发明的有益效果是：本发明通过对财税数据进行清洗，将脏数据进行拼写检查以及符号检查并筛选出有效数据，然后将数据进行深层的去除无用重复数据、挖掘深层有效数据、检测部分数据真实性处理，确立了数据的可用性、真实性与有效性，并将处理完毕的数据根据按照时间轴线、财税种类、以及数据用途或来源来进行排布数据，并进行统计合并，使得客户更好的观察整体数据，并更加容易检索到自己想要寻找的具体数据，同时防止脏数据混淆有用数据，导致财税上报时数据不准。

技术领域

本发明涉及财税数据领域，具体为一种用于财税数据的清洗方法及系统。

背景技术

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。数据清洗(Data cleaning)–对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。对于财税数据的清洗也是一样，当需要对财税数据制作报表进行上报时，为了保证财税数据的真实性、有效性以及可用性，需要对过往的财税数据进行清洗，但是现有的财税数据在清洗整体时较为繁琐，难以有效整理脏数据，一旦脏数据混淆了有用数据，就有可能导致财税上报时数据不准，且统计完毕的数据也不观察检索，客户难以快速寻找到自己想要寻找的数据。

发明内容

本发明的目的在于提供一种用于财税数据的清洗方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种用于财税数据的清洗系统，包括数据录入模块、数据检查模块、数据分类模块、深层处理模块、统计输出模块；

所述数据录入模块用于将用户财税脏数据倒入至系统中；

所述数据检查模块用于将用户财税脏数据整体进行拼写检查以及符号检查；

所述数据分类模块用于将检查完毕的脏数据进行分类处理；

所述深层处理模块用于对脏数据进行深层检测；

所述统计输出模块用于将深层处理模块处理完毕后的满足财税统计用数据进行输出。

优选的，所述数据录入模块包括有第一储存硬盘，用于将用户的初数据、有用数据以及无用数据进行存档。

优选的，所述数据检查模块中的拼写检查包括错别字检查、错误词汇检查以及字符顺序检查。

优选的，所述数据分类模块用于将检查完毕的脏数据分类为有用数据以及无用数据，并将有用数据导入至深层处理模块中。

优选的，所述深层处理模块对数据分类模块分类后的有用数据进行去重、挖掘、检测处理。

优选的，所述统计输出模块包括有第二储存硬盘，用于将用户已经被清洗完毕的满足财税统计用的数据进行备份。

一种用于财税数据的清洗方法，包括以下步骤：