[实用新型]一种用于热表数据更新的异步处理系统

说明书

技术领域

本实用新型是关于计算机数据处理技术，特别是关于一种用于热表数据更新的异步处理系统。 

背景技术

联机数据处理按照数据处理的时效性可以分为实时更新和非实时更新两种。需要实时更新的数据是对时效性要求较高的数据，用户进行操作后要立刻在数据库中得到体现，后续用户操作必需基于前一次操作得出的结果，且与数据操作先后顺序有关；不需要实时更新的数据是对时效性要求不高的数据，用户进行操作后不需要立刻在数据表中体现，只需在一定的时间间隔内体现即可，后续各用户的操作不一定基于前一次操作的结果。 

在大型的商业银行系统中，由于业务处理量巨大，各种系统数据的更新时会争夺系统资源，并且数据的更新具有排他性，即在数据更新时必须对数据记录进行加锁阅读，造成了热表记录实时更新时出现瓶颈。例如：业务量统计数据，每天在业务高峰期8个小时内需要被更新100万次，即平均每秒钟需要被更新34次。若这种数据也采用实时更新的方式进行更新，由于数据的更新热度高，且数据更新具有排他性，会导致联机数据处理等待时间较长，系统运行时间较长影响用户操作和增加系统运行的开销。所以对于更新热度高且数据更新时效性要求不高的数据，可以采用非实时更新的数据更新方式，把这部分数据更新从实时数据更新中抽离出来进行异步操作，提高联机处理的整体运行速度。 

现有技术在对非实时更新数据进行异步处理时，会对待处理数据进行全 表扫描，以便找出处理状态为未处理的记录。一般需要异步处理的数据量巨大，每次处理都全量扫描待处理数据表找出未处理记录，会导致处理效率异常低下。针对这种情况，另外一种处理方式是先确定一个本次处理的时间范围，对在此时间范围内的未处理记录进行处理，下次再依次确定后续的时间范围，进行异步数据处理，以提高查找待处理数据的效率。 

但是这种确定时间范围的处理方式使得处于时间范围临界值的某些记录存在被漏处理的可能。产生漏处理的原因主要是因为数据记录的时间戳与数据记录真正出现在数据表上的时间点之间有一定的时间差。在数据记录生成的时候，系统依据当前时间为其登记了一个时间戳，但是该记录可能还会进行其它特殊操作后，记录才真正插入到数据表中。如图1所示，一笔待处理的a记录执行新增SQL时间戳为10:00，新增后还可能还会执行其它查询、新增、删除SQL，到10:01才对之前的操作统一做COMMIT(提交)处理真正写入到数据表中。这个时间差也许非常的微小，但是对计算机来说，本次扫描的时间截止到10：00时该条（或若干条）记录未出现在数据表中，下次扫描起始时间为“大于10：00”而该条记录的时间戳为10：00又不符合下一次扫描的时间要求，则导致该条（或若干条）记录会被漏处理。 

因此，需要一种解决方案，既能够解决热表记录实时更新的瓶颈问题，又能够避免在对非实时更新数据进行异步处理过程中出现待处理记录遗漏的情况。 

实用新型内容

本实用新型提供一种用于热表数据更新的异步处理系统，以解决热表记录实时更新的瓶颈问题，避免异步处理时出现待处理记录遗漏的情况。 

为了实现上述目的，本实用新型提供一种一种用于热表数据更新的异步处理系统，该系统包括：银行服务器，用户终端，异步处理装置及显示装置；所述银行服务器、用户终端及显示装置分别与所述的异步处理装置相连接； 所述的银行服务器中具有存储器，用于存储待更新数据；所述的异步处理装置包括：数据监测通信接口，与所述的存储器相连接，用于监测所述待更新数据是否为非实时更新数据；数据存储装置，与所述的数据监测通信接口相连接，用于存储所述数据监测通信接口筛选出的非实时更新数据、待处理记录、系统运行参数及系统运行过程中暂时生成的各时间值；异步处理模块，与所述的数据存储装置相连接，用于对所述数据存储装置中存储的非实时更新数据进行更新处理；异步监测接口，与所述的异步处理模块相连接，用于监测所述的异步处理模块是否正常运行，并根据所述的用户终端端的指令重启所述的异步处理模块；所述的显示装置与所述的异步处理模块相连接，用于显示数据更新结构、系统运行参数及系统运行过程中暂时生成的各时间值。 

进一步地，所述的数据存储装置包括：参数存储模块，用于存储包含回滚时间及自启动间隔时间参数系统运行参数；时间暂存模块，用于存储包含上次时间范围结束值、上次启动结束时间、运行监控时间的数据处理过程中的时间数值；待处理记录存储模块，用于存储包含数据信息、处理状态、时间戳的非实时更新数据。