[发明专利]数据撮合方法及装置

说明书

本申请实施例提供一种数据撮合方法及装置，方法包括：确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合；本申请既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

技术领域

本申请涉及数据处理领域，具体涉及一种数据撮合方法及装置。

背景技术

随着信息技术的发展，各行各业的数据量都是以指数级别迸发，在当前大数据的背景下，大型数据处理系统往往需要对两个有序无关的数据集做相关联的数据整合和分析处理。目前，现有技术中对多个不同类标空间的数据集的关联整合处理，往往是采用数据类集之间的触发因素，通过触发关联，搜索数据链，完成整合处理。例如，基于数据集A，要对数据集B做分类和聚类处理，当数据集A中某一数据记录r出现时，会触发一个信息处理进程，将该数据记录r与数据集B中的每一条数据做比较分析处理，找出与之相关联的数据记录s，完成数据记录s的分析处理，与此类似，当数据集A中同时出现多个数据记录时，会同步触发多个信息处理进程进行信息数据处理。

发明人发现，目前的数据处理系统多数是由单个数据集触发，基于单数据集触发的多线程触发处理模式。触发数据处理虽然处理模式简单快速有效，但却大大依赖于系统的并发处理，尽管当前大型主机事务处理中间件支持较高的并发数，但当数据集中数据记录过多，触发处理并发数高时，触发的线程数目往往大于中间件系统所支持的并发数，从而导致数据处理失败，甚至出现丢失数据等现象。同时，由于触发处理模式是基于单个数据记录维度，当前后出现的数据记录间隔较短时，会出现单个数据记录多笔线程同时触发，不仅会导致重复数据处理，致使数据记录处理失误，而且容易发生数据处理系统死锁等待的情况，致使排队的事务越来越多，部分进程被强制关掉，更严重的情况下会导致事务处理系统宕机，增加了系统的运行风险。

发明内容

针对现有技术中的问题，本申请提供一种数据撮合方法及装置，既能够保证快速准确有效处理不同标类数据，又能够降低事务处理系统的高并发量，减少对数据记录出现频率的依赖耦合，提高了事务处理系统的稳定性和可靠性。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种数据撮合方法，包括：

确定源数据集中的有效源数据和目标数据集中的有效目标数据，得到源数据缓冲队列和目标数据缓冲队列；

依次对所述目标数据缓冲队列中与所述源数据缓冲队列中的所述有效源数据对应的所述有效目标数据进行数据撮合。

进一步地，在所述确定源数据集中的有效源数据和目标数据集中的有效目标数据之前，包括：

对初始源数据和初始目标数据进行数据来源有效性判断，得到数据来源具有有效性的所述初始源数据和所述初始目标数据；

判断数据来源具有有效性的所述初始源数据和所述初始目标数据的数据构成是否满足预设数据录入条件；

若是，则根据满足预设数据录入条件的所述初始源数据和所述初始目标数据，得到所述源数据集和所述目标数据集。

进一步地，所述确定源数据集中的有效源数据，包括：

对所述源数据集中的源数据进行数据有效性判断，将数据有效性判断结果为有效的所述源数据设定为所述有效源数据。

进一步地，所述确定目标数据集中的有效目标数据，包括：

对所述目标数据集中的目标数据进行数据状态判断，得到数据状态为正常的所述目标数据；