[发明专利]一种数据处理方法及装置

说明书

本申请涉及一种数据处理方法及装置，包括：获取需要进行数据读取的数据源；确定所述数据源的数据类型；根据所述数据类型，确定适配的读取方式；根据所述适配的读取方式对所述数据源进行读取，得到读取数据；将所述读取数据转换为用于保存的待存储数据；将所述待存储数据写入数据库中。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：对各种类型的数据都能匹配得到对应的处理流程、读取方式以及转换方式；进而无需通过不同的方法对不同数据类型的数据源进行处理，有效简化实现读写方式；进而达到了统一实现针对不同数据源的数据归集，减少实现技术的多样性，降低维护成本的效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

对账系统需要在每日的日终将业务系统的交易数据归集到对账系统进行对账。由于与不同业务系统之间实现对账的方法各不相同，因此，对账系统需要支持通过监听MQ消息、直连数据库、解析csv文件等不同方式实现对账；此外，针对每种方式，开发人员都需要开发完成对应的实现。

针对不同数据源，分别通过MQ客户端、jdbc、opencsv三种不同技术方式，分别实现监听MQ消息、直连数据库、解析csv文件等不同方式来归集数据。

通过上述方法实现对账，存在如下诸多缺点：

1.针对每种方式开发人员需要通过不同的技术来实现，维护成本较高；

2.开发人员需要自行考虑数据过大分片处理、数据解析过滤、记录流程节点及相应的重试跳过策略等细节，实现起来较为复杂，成本较高；

3.随着业务的发展，当业务交易数据量越来越大时，系统处理起来越来越慢，难以满足后续的发展。

针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据处理方法及装置。

第一方面，本申请提供了一种数据处理方法，包括：

获取需要进行数据读取的数据源；

确定所述数据源的数据类型；

根据所述数据类型，确定适配的读取方式；

根据所述适配的读取方式对所述数据源进行读取，得到读取数据；

将所述读取数据转换为用于保存的待存储数据；

将所述待存储数据写入数据库中。

可选的，如前述的方法，所述根据所述数据类型，确定适配的读取方式，包括：

在所述数据类型为文件类型时，根据所述数据源中的分隔符，按照预设策略获取与所述分隔符对应的读取方式；

在所述数据类型为数据库文件时，确定用于对所述数据库文件进行分页读取的读取方式。

可选的，如前述的方法，在所述数据类型为文件类型时，所述根据所述适配的读取方式对所述数据源进行读取，得到读取数据，包括：

获取所述数据源的数据量；

在所述数据源的数据量在预设区间内，对所述数据源全部进行读取，得到所述读取数据；

在所述数据源的数据量不在所述预设区间内时，按照预设顺序对所述数据源进行多次的分块读取，直至对所述数据源全部进行读取后，得到与个数与所述分块读取次数一致的所述读取数据；其中，每次分块读取得到的所述读取数据的数据量大小在所述预设区间内，且所有所述读取数据的总和与所述数据源一致。

可选的，如前述的方法，所述将所述读取数据转换为用于保存的待存储数据，包括：