[发明专利]一种数据批量操作方法

说明书

本发明公开了一种数据批量操作方法，属于数据处理技术领域；方法包括：步骤S1，采用一拦截器拦截于一个处理时段内持续获取的数据包，并判断处理时段内累积获取的数据包的数量是否达到预设的处理数量；若达到处理数量，则停止获取数据包，提前结束处理时段，并转至步骤S2；若未达到处理数量，则在处理时段结束时直接转至步骤S2；步骤S2，设置关联于下一个处理时段的第二拦截器，并返回步骤S1；同时将数据包放入数据操作队列中；步骤S3，对数据操作队列中的数据包进行数据库操作并释放拦截器，同时释放该数据操作队列。上述技术方案的有益效果是：大幅度缩短大数据量进行数据库入库操作的时间，从而提升数据库操作的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据批量操作方法。

背景技术

现有的面向交易的实时系统，通常要求数据处理的实时性和高效率。但是传统的实时系统中，仍然对每笔数据进行分开处理，因此造成数据处理较慢，反应给使用者就是数据处理延时，因此会对用户体验产生影响。

发明内容

根据现有技术中存在的问题，现提供一种数据批量操作方法，旨在解决现有技术中数据库入库操作比较耗时、处理效率较低的问题；

上述技术方案具体包括：

一种数据批量操作方法，其中，将全部数据操作时间划分为多个时长相等的处理时段，以及预设一处理数量；

对应每个所述处理时段设定一个相应的拦截器；

所述数据批量操作方法具体包括：

步骤S1，采用所述拦截器拦截于一个相应的所述处理时段内持续获取的数据包，并判断所述处理时段内累积获取的所述数据包的数量是否达到预设的所述处理数量；

若所述处理时段结束之前累积获取的所述数据包的数量达到所述处理数量，则停止获取所述数据包，并提前结束所述处理时段，转至步骤S2；

若所述处理时段结束之前累积获取的所述数据包的数量未达到所述处理数量，则在所述处理时段结束时转至步骤S2；

步骤S2，在当前的所述处理时段结束时设置关联于下一个所述处理时段的所述拦截器，并返回所述步骤S1；

所述步骤S2中，在当前的所述处理时段结束时，将所述处理时段内获取的所有所述数据包放入一数据操作队列中，并转向所述步骤S3：

步骤S3，对所述数据操作队列中包括的所有所述数据包进行统一的数据库操作，随后释放关联于所述数据操作队列中的所述数据包的所述拦截器，清空所述数据操作队列，以等待下一次对所述数据操作队列的操作。

优选的，该数据批量操作方法，其中，预设的所述处理时段为100ms。

优选的，该数据批量操作方法，其中，所述步骤S3中，所述数据库操作包括无序的数据库插入操作。

优选的，该数据批量操作方法，其中，所述步骤S3中，对所述数据操作队列中包括的所述数据包进行统一的数据库操作完毕后，释放所述数据操作队列，以等待放入下一个所述处理时段内拦截的所述数据包。

优选的，该数据批量操作方法，其中，预设的所述处理数量为100条。

优选的，该数据批量操作方法，其中，应用于面向交易的处理系统中。

上述技术方案的有益效果是：采用批量进行数据库入库操作的方式，能够大幅度缩短大数据量进行数据库入库操作的时间，从而提升数据库操作的效率。

附图说明

图1是本发明的较佳的实施例中，一种数据批量操作方法的流程示意图；

图2是本发明的较佳的实施例中，数据操作队列和拦截器应用的示意图。