[发明专利]一种基于模板文件的数据采集方法、设备、存储介质

说明书

本申请公开了一种基于模板文件的数据采集方法、设备、存储介质，该方法包括：确定待处理业务，并获取根据所述待处理业务对应的模板类型；所述模板类型是根据所述待处理业务进行分类得到的；根据所述模板类型确定相应的模板文件；将所述模板上传至文件服务器，以使数据采集员从所述文件服务器获取所述模板，并根据所述模板文件完成数据采集工作；根据数据采集工作获得数据文件，将所述数据文件上传至数据库中。

技术领域

本申请涉及数据采集领域，尤其涉及一种基于模板文件的数据采集方法、设 备、存储介质。

背景技术

在如今信息处理相当发达的社会，数据采集广泛的存在于各个领域中。传统 方式是大量的依靠人力和手工进行采集数据的情况。随着科技的发展，人们逐渐 使用了电子化工具，如电子表格软件等，但由于缺乏业务规划，数据格式不统一， 导致后期的数据汇总与处理异常困难。

特别是社区数据的采集工作，数据的形式与内容都具有多样性，需要采集、 整理、统计的数据非常繁多。目前社区仍然缺乏统一的数据采集系统，大部分情 况下使用电子表格软件。社区工作人员在长期的工作中已经养成了使用EXCEL、 WORD等办公软件的习惯，而且已经积累了一定数量的数据。这些以EXCEL、 TXT、CSV、DOC等形式存在的数据是不容忽视的，对于社区数据治理有着非常 重要的作用。

目前，社区治理工作中，对于任务下达、信息上报、走访排查等各项管理任 务，一般通过电话、即时通讯软件、桌面表格软件，甚至纸质文件完成，导致信 息格式多样化、存储地点分散化。因为缺乏有效信息管理系统的支持，社区工作 中存在数据反复采集的现象，而且人工采集、统计工作的效率低下、容易出错， 存放在各处的数据不一致，导致了不规则的多样化数据，无法提高社区工作效率。

发明内容

本申请提供了一种基于模板文件的数据采集方法、设备、存储介质，解决了 数据采集流程不规范、数据存储分散、数据处理速度效率不高的技术问题。

一种基于模板文件的数据采集方法，包括：

确定待处理业务，并获取根据所述待处理业务对应的模板类型；所述模板类 型是根据所述待处理业务进行分类得到的；

根据所述模板类型确定相应的模板文件；

将所述模板上传至文件服务器，以使数据采集员从所述文件服务器获取所述 模板，并根据所述模板文件完成数据采集工作；

根据数据采集工作获得数据文件，将所述数据文件上传至数据库中。

在本申请的一种实施例中，根据所述模板文件完成数据采集工作之后，所述 方法还包括：获取数字证书；接收数据采集员上传的数据文件；根据所述数字证 书对所述数据文件进行加密；将加密后的数据文件存储到文件服务器中。

在本申请的一种实施例中，将所述数据文件上传至数据库中，具体包括：从 第一数据库读取调度数据，所述调度数据至少包括以下一种：模板分类、更新方 式、数据周期、填报单位；根据所述数据周期将所述数据文件周期性的导入第二 数据库。

在本申请的一种实施例中，根据所述模板分类的目录、所述填报单位，将所 述数据文件分类存放；根据所述更新方式对第二数据库进行增量更新或全量更 新。

在本申请的一种实施例中，将所述数据文件上传至数据库中之前，所述方法 还包括：判断所述数据库中的所述数据文件对应的数据库表是否建立；若否，则 根据所述模板文件自动创建数据库表。

在本申请的一种实施例中，若要查找上传至所述数据库中的文件，所述方法 还包括：在所述数据库中，根据所述模板文件的类型对所述数据文件进行检索， 查找相应的数据文件发送至PC端。

在本申请的一种实施例中，所述方法还包括：根据所述模板文件自动创建数 据库表，将根据所述模板文件和所述模板元数据获得的数据文件存储到数据库表 中。