[发明专利]一种批量数据导入组件及其导入方法

说明书

技术领域

本发明属于数字化处理技术领域，具体涉及一种批量数据导入组件及其导入方法。

背景技术

伴随着计算机技术和网络时代的推进，批量导入技术已经得到了非常广泛的应用。特别在一些与传统行业结合的系统中，存在大量传统行业数据需要进行电子化存储，这时一般都会利用批量导入相关技术。

目前常用的方法，一般都是通过定制一个固定模板或使用已有数据文档为模板，针对该模板编写相关批量处理程序。这些方法的主要缺点如下：

一、复用性差，受限于文档存储格式及数据格式，一般一次编写的程序只能处理一种或有限的几种模板。

二、灵活性差，要求数据严格按模板要求填写，从而导致一些不符合模板要求的已有数据文档导入前需要相应的数据格式调整，增加了导入的工作量。

三、扩展性差，一般都没有提供相应扩展接口，使得系统升级工作量大，且操作复杂。

发明内容

本发明的目的在于针对现有技术存在的不足，提供一种可配置、灵活性高、易扩展的批量数据导入组件及其导入方法。

本发明的技术方案如下：一种批量数据导入组件，包括：

配置单元，用于提供组件的使用配置；

数据输入单元，用于从不同的数据源获取数据流；

数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；

解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；

中心处理单元，用于处理批量数据导入的流程调度。

进一步，如上所述的批量数据导入组件，其中，所述的配置单元的配置信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及基本验证信息；所述的基本验证信息包括数据项最大长度、是否必填。

进一步，如上所述的批量数据导入组件，其中，所述的配置单元支持的配置源包括properties、xml及数据库。

进一步，如上所述的批量数据导入组件，其中，所述的数据输入单元提供包括web上传、云平台资源下载多种数据文档输入方式。

进一步，如上所述的批量数据导入组件，其中，所述的数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。

进一步，如上所述的批量数据导入组件，其中，所述解析器单元解析数据流的过程包括：

解析数据流中包含的数据项标识信息；

根据数据项标识信息在数据流解析包含的数据；

按照验证规则对数据进行验证；

根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。

进一步，如上所述的批量数据导入组件，其中，所述的中心处理单元负责解析器选择、解析任务调度、解析生命周期管理、结果输出。

一种使用上述组件的批量数据导入方法，包括如下步骤：

(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；

(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；

(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；

(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；

(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。

进一步，如上所述的批量数据导入方法，步骤(S4)中所述的解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程中调用配置的基本验证规则对数据进行验证。

本发明的有益效果如下：采用本发明所述的组件，业务系统只需关注相应的业务数据处理，实现数据处理回调单元及增加相应适当的配置，就可提供风格统一，适应性强的批量数据导入功能。因为组件配置是支持多例的，使得系统很容易支持多种不同数据或数据源导入，大大降低了系统的编码开发工作量，提高了系统的稳定性。

附图说明

图1为本发明所提供的批量数据导入组件的结构组成示意图；

图2为本发明的实施案例流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的介绍。