[发明专利]一种数据处理方法和装置

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法和装置。

背景技术

目前，出账计算作为业务运营支撑系统(Business Operation Support System，简称为BOSS)的核心部分，对用户的消费、余额以及开停机都起着重要的作用，所以，迫切需要高效、高稳定性和高准确率的出账计算的处理方法。

在现行的分发机制中，对于任意号码的话单文件中的每项数据，可能在任意一个进程的任意一个线程进行处理，那么，话单文件中的每项数据在同时处理的情况下，会导致大量的碰撞从而影响出账计算的准确性，为了避免同时处理的情况发生，必须针对每个用户的出账计算进行加锁，使得BOSS能够针对每个用户来进行出账计算，然而，BOSS在进行出账计算的过程中，会将每个流程处理节点所产生的断点数据存储在BOSS的本地磁盘当中，然而，本地磁盘的存储空间有限，并且将断点数据存储在本地磁盘需要耗费较多的本地I/O资源，当存在多个断点文件时，会由于较大的I/O开销导致BOSS的性能显著下降，从而降低了BOSS处理数据能力。

发明内容

有鉴于此，本发明实施例期望提供一种数据处理方法和装置，提高了BOSS处理数据能力，进而提高用户的体验度。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型；将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储。

进一步地，所述对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型，包括：在对入口文件进行业务处理的各个节点，分别生成与各所述节点对应的断点数据；根据各所述节点的类型，分别确定各所述断点数据的类型。

进一步地，所述将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储，包括：所述断点数据的类型为第一预设类型时，将所述断点数据发送至云服务器进行存储；所述断点数据的类型为第二预设类型时，将所述断点数据发送至本地磁盘进行存储。

进一步地，所述方法还包括：所述第一预设类型用于标识全局性高性能处理所需的断点数据时，将所述断点数据发送至分布式内存数据库进行存储；所述第一预设类型用于标识全局性普通共享断点数据时，将所述断点数据发送至分布式文件系统进行存储。

进一步地，所述方法还包括：BOSS发生中断，重新上电后，根据在对所述入口文件进行业务处理的节点的类型，确定所述节点对应的断点数据的类型；从所述断点数据的类型对应的存储系统中获取所述断点数据；根据所述断点数据继续进行业务处理。

第二方面，本发明实施例提供一种数据处理装置，包括：确定模块，用于对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型；存储模块，用于将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统中进行存储。

进一步地，所述确定模块，包括：生成子模块，用于在对入口文件进行业务处理的各个节点，分别生成与各所述节点对应的断点数据；确定子模块，用于根据各所述节点的类型，分别确定各所述断点数据的类型。

进一步地，所述存储模块，包括：第一存储子模块，用于所述断点数据的类型为第一预设类型时，将所述断点数据发送至云服务器进行存储；第二存储子模块，用于所述断点数据的类型为第二预设类型时，将所述断点数据发送至本地磁盘进行存储。

进一步地，所述第一存储子模块，具体用于：所述第一预设类型用于标识全局性高性能处理所需的断点数据时，将所述断点数据发送至分布式内存数据库进行存储；所述第一预设类型用于标识全局性普通共享断点数据时，将所述断点数据发送至分布式文件系统进行存储。

进一步地，所述装置还包括：接续模块，用于在BOSS发生中断，重新上电后，根据在对所述入口文件进行业务处理的节点的类型，确定所述节点对应的断点数据的类型；从所述断点数据的类型对应的存储系统中获取所述断点数据；根据所述断点数据继续进行业务处理。