[发明专利]数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置，其中，所述方法包括：获取待处理数据，分别将包含同一编号信息的待处理数据按照时间信息进行排序，获取所有待处理数据对应的编号信息中每个编号信息对应的最早和/或最晚的待处理数据；将所有待处理数据对应的编号信息中一编号信息作为第一编号信息，以第一编号信息对应的最早的待处理数据作为第一待处理数据，以存储表中所述第一编号信息对应的最早的已处理数据作为第一已处理数据，将所述第一待处理数据和所述第一已处理数据进行比对，若所述第一待处理数据更早，则将所述第一待处理数据存储至所述存储表。本发明提供的数据处理方法及装置，可以解决现有技术中查表效率不高的技术问题。

技术领域

本发明涉及数据处理的技术领域，尤其涉及数据处理方法及装置。

背景技术

现有的业务数据通常存储在单表，当需要查询相关报表时，速度较慢，由此产生查询效率低下的问题。其他系统在解决此类问题时，一般采用将表进行水平拆分或者垂直拆分的方法。其中，

水平拆分，即对数据表“行”的拆分，把一张表的数据拆分为多张表来存放。例如，有一张400W的扫描表scan，为提高查询效率，将其分成4张表scan1，scan2，scan3和scan4，通过id取模的方式将数据分散到四张表中。水平拆分的缺点是：拆分规则相对复杂，很难抽象出一个能够满足整个数据库的拆分规则；后期数据的维护难度有所增加，人为手工定位数据更加困难；应用系统各模块耦合度较高，可能会对后面数据的迁移拆分造成一定的困难。

垂直拆分，即对数据表“列”的拆分，把一张“列”比较多的表拆分为多张表。例如，有一张扫描表scan，包含30个字段，将其中不常用的几个字段放在一张表中，将比较大的几个字段放在另一张表中，将经常查询的几个字段放在又一张表中。垂直拆分的缺点是：部分表关联无法在数据库级别完成，需要在程序中完成；对于访问极其频繁并且数据量超大的表仍然存在性能瓶颈，不一定能满足要求；事务处理相对更为复杂；拆分达到一定程度之后，扩展性会遇到限制；过度拆分可能使系统更加复杂而难以维护。

此外，对于需要查询出表中最新或者最初的一条数据的业务场景中，使用上述水平拆分或者垂直拆分方法无法实现快速查询，仍需要对表进行大批量数据的排序查询操作。

发明内容

本发明的目的在于提供一种数据处理方法及装置，以解决现有技术中查表效率不高的技术问题。

本发明的目的采用以下技术方案实现：

本发明的第一方面提供一种数据处理方法，所述方法包括：

获取待处理数据，每条待处理数据包含编号信息和时间信息，同一编号信息包含于一条或者多条待处理数据；

分别将包含同一编号信息的待处理数据按照时间信息进行排序，获取所有待处理数据对应的编号信息中每个编号信息对应的最早和/或最晚的待处理数据；

将所有待处理数据对应的编号信息中一编号信息作为第一编号信息，以第一编号信息对应的最早的待处理数据作为第一待处理数据，以存储表中所述第一编号信息对应的最早的已处理数据作为第一已处理数据，将所述第一待处理数据和所述第一已处理数据进行比对，若所述第一待处理数据更早，则将所述第一待处理数据存储至所述存储表；和/或，以第一编号信息对应的最晚的待处理数据作为第二待处理数据，以存储表中所述第一编号信息对应的最晚的已处理数据作为第二已处理数据，将所述第二待处理数据和所述第二已处理数据进行比对，若所述第二待处理数据更晚，则将所述第二待处理数据存储至所述存储表。

根据本发明的第一方面提供的数据处理方法，对于同一编号信息对应的待处理数据，使其按照时间排序为最早或者最晚的待处理数据被存储至存储表，当同一编号信息对应的待处理数据在多个不同时间被重复录入时，以最早或者最晚录入的待处理数据作为最终的待处理数据，保证存储至存储表中的已处理数据的准确性，从而提高查询存储表效率。

可选地，所述方法还包括：