[发明专利]数据处理方法及装置有效
申请号: | 201811201880.3 | 申请日: | 2018-10-16 |
公开(公告)号: | CN109388646B | 公开(公告)日: | 2021-03-02 |
发明(设计)人: | 郝向东 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 450000 河南省郑州市高新技*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
本公开涉及一种数据处理方法及装置,所述方法包括:接收数据读取请求,所述数据读取请求用于请求从数据库的多张表中读取数据;获取所述多张表中每张表的投票信息,所述投票信息为表中保存的数据的最新时间戳;根据获取的所述投票信息,确定从所述多张表中读取的数据的时间戳;从所述多张表中读取所确定的时间戳对应的数据。由此,能够降低读操作的等待时间,并且能够确保读取的数据的完整性。
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据处理方法及装置。
背景技术
在分析数据时,通常需要对多数据源的同一批次的数据进行关联以得到完整的原始数据样本。然而,由于数据采集的时间和数据写入的时间不同,因此读取的数据的批次可能不一致或读取的数据不完整,从而难以保证多数据源的同一批次的数据的一致性和完整性,由此导致分析结果不准确。
相关技术中,通过如下方式来保证多数据源的同一批次的数据的一致性:在执行写操作时,对数据库中的表上锁,其中在写操作期间禁止从上锁的表读取数据;在写操作完成后,释放锁并且从释放了锁的表读取数据。
然而,当同时对数据库中的大量的表执行写操作时,占用了较大的资源并且延长了读操作的等待时间,从而降低了用户体验。另外,在读操作的等待时间过长的情况下,读线程被杀死而无法返回数据,或者为了避免读线程被杀死,而仅能够从释放了锁的表读取数据,从而导致读取的数据不完整。
因此,上述保证多数据源的同一批次的数据的一致性的方式是不合适的。
发明内容
有鉴于此,本公开提出了一种数据处理方法及装置。
根据本公开的一方面,提供了一种数据处理方法,所述方法包括:
接收数据读取请求,所述数据读取请求用于请求从数据库的多张表中读取数据;
获取所述多张表中每张表的投票信息,所述投票信息为表中保存的数据的最新时间戳;
根据获取的所述投票信息,确定从所述多张表中读取的数据的时间戳;
从所述多张表中读取所确定的时间戳对应的数据。
根据本公开的另一方面,提供了一种数据处理装置,所述装置包括:
接收模块,用于接收数据读取请求,所述数据读取请求用于请求从数据库的多张表中读取数据;
获取模块,用于获取所述多张表中每张表的投票信息,所述投票信息为表中保存的数据的最新时间戳;
确定模块,用于根据获取的所述投票信息,确定从所述多张表中读取的数据的时间戳;
读取模块,用于从所述多张表中读取所确定的时间戳对应的数据。
本公开的实施例提供的技术方案可以包括以下有益效果:在接收到数据读取请求时,获取数据读取请求所请求的多张表中每张表的投票信息,并且根据获取的投票信息来确定从多张表中读取的数据的时间戳,再从多张表中读取所确定的时间戳对应的数据,由此,能够降低读操作的等待时间,并且能够确保读取的数据的完整性。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1是根据一示例性实施例示出的一种数据处理方法的流程图。
图2是根据一示例性实施例示出的一种数据处理装置的框图。
图3是根据一示例性实施例示出的一种数据处理装置的硬件结构框图。
具体实施方式
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811201880.3/2.html,转载请声明来源钻瓜专利网。