[发明专利]一种零散数据采集应用的方法

说明书

本发明公开了一种零散数据采集应用的方法，所述零散数据采集应用的方法包含有人机交付模块、模板表选择模块、数据填充模块、模板上传模块、解析清洗存储模块和数据应用模块，所述人机交付模块具体为数据采集人员打开web网页，展示数据种类以及种类下的模板表，所述模板表选择模块具体为数据采集人员选择类别以及模板表，表字段，根据选择类别，表名称、表字段自动生成excel。该零散数据采集应用的方法，可使得各单位各部门去采集数据时具有统一的模板标准，对采集来的数据字段、数据格式不同，在数据上报整合时具有统一的标准流程来处理，减少了人力物力的使用。

技术领域

本发明涉及数据采集技术领域，具体为一种零散数据采集应用的方法。

背景技术

随着信息化的不断建设和完善，信息化产品已经很好的支撑了的基础业务应用，在进行信息查询、统计、分析中需要各种类别数据来支撑，虽然一部分数据由业务系统来提供，但某些系统不能直接通过系统对接，需要导出为 excel，某些数据还是传统的world、excel格式，这些数据需要统一整合到数据中心供应用，但各单位各部门去采集数据时没有统一的模板标准，对采集来的数据字段、数据格式不同，在数据上报整合时没有统一的标准流程来处理，反而增加了人力物力数据却没有任何意义，因此需要一种标准的零散数据采集方法来处理。

发明内容

本发明的目的在于提供一种零散数据采集应用的方法，以解决上述背景技术提出各单位各部门去采集数据时没有统一的模板标准，对采集来的数据字段、数据格式不同，在数据上报整合时没有统一的标准流程来处理，反而增加了人力物力数据却没有任何意义的问题。

为实现上述目的，本发明提供如下技术方案：一种零散数据采集应用的方法，所述零散数据采集应用的方法包含有人机交付模块、模板表选择模块、数据填充模块、模板上传模块、解析清洗存储模块和数据应用模块；

所述人机交付模块具体为数据采集人员打开web网页，展示数据种类以及种类下的模板表；

所述模板表选择模块具体为数据采集人员选择类别以及模板表，表字段，根据选择类别，表名称、表字段自动生成excel；

所述数据填充模块具体为根据生成的excel，按表格信息进行采集数据并把采集的数据按相应的字段填充到excel；

所述模板上传模块具体为对数据填充的模板进行上传并验证表信息，例如后缀、数据量、表类别、表名称、字段等对验证不通过的直接返回人机交付模块进行信息提示；

所述解析清洗存储模块具体为对与上传验证通过的表进行解析、对数据进行按规则校验，并把数据信息返回人机交付模块(例如上传数据条数，符合数据条数，不符合条件等)，在人机交付模块中等工作人员进行信息查看，点击确定后并把上传的excel表进行封存归类、符合的数据存储数据库，处理过程记录为txt日志并保存；

所述数据应用模块具体为将数据提供给各业务应用系统以及上报给省厅。

优选的，所述人机交付模块中数据采集人员在浏览器中打开零散数据采集web页面，页面展示出零散数据种类(例如抚恤、低保、救助、婚姻)以及各种类下的数据表(例如:抚恤类别下抚恤信息，低保类别下低保家庭信息、低保人员信息，救助类别下救助信息、收容人员信息，婚姻类别下结婚登记信息、离婚登记信息、婚姻状况信息)。