[发明专利]一种数据处理方法及装置在审
申请号: | 201910231649.7 | 申请日: | 2019-03-26 |
公开(公告)号: | CN109977339A | 公开(公告)日: | 2019-07-05 |
发明(设计)人: | 李成 | 申请(专利权)人: | 新华三信息安全技术有限公司 |
主分类号: | G06F16/958 | 分类号: | G06F16/958;G06F9/50 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 孟维娜;李欣 |
地址: | 230001 安徽省合肥市高新区*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据量 读取 待处理数据 数据处理 第一线 线程 数据处理过程 数据处理技术 第一数据 调用 申请 应用 | ||
本申请实施例提供了一种数据处理方法及装置,涉及数据处理技术领域,其中,上述方法包括:按照第一线程每次读取第一数据量的数据的规则,获取所述第一线程读取待处理数据的当前数据量;判断所述当前数据量是否大于第二数据量;在所述当前数据量大于第二数据量的情况下,判断所述待处理数据的数据量是否超出所述第一线程的处理能力,若是,则调用第二线程,以使所述第二线程读取待处理数据并处理所读取的数据。应用本申请实施例提供的方案进行数据处理时,能够增强数据处理过程的稳定性。
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据处理方法及装置。
背景技术
随着互联网技术的发展,适用于各种场景的业务不断出现。服务提供商为了更好的为用户提供服务,可能会收集用户在业务使用过程中产生的数据,并对所收集的数据进行及时处理,进而为用户提供高质量的服务。
然而,用户在一天中的各个时段使用业务的频繁程度不同,进而服务提供商在一天的不同时段所收集到数据的数据量也会有所差异。例如,一天中的某些时段所收集到数据的数据量较小,这样需要较少的处理资源即可完成及时处理,而有些时段所收集到数据的数据量较大,这样则需要较多的处理资源才能完成及时处理,这种情况下一旦进行数据处理的资源不足,易出现数据数据累积、资源长期被占用、及时性差的情况。鉴于上述情况,易导致数据处理过程稳定性差。
发明内容
本申请实施例的目的在于提供一种数据处理方法及装置,以提高数据处理过程的稳定性。具体技术方案如下:
第一方面,本申请实施例提供了一种数据处理方法,所述方法包括:
按照第一线程每次读取第一数据量的数据的规则,获取所述第一线程读取待处理数据的当前数据量;
判断所述当前数据量是否大于第二数据量;
在所述当前数据量大于第二数据量的情况下,判断所述待处理数据的数据量是否超出所述第一线程的处理能力,若是,则调用第二线程,以使所述第二线程读取待处理数据并处理所读取的数据。
第二方面,本申请实施例提供了一种数据处理方法,应用于第一线程,所述方法包括:
按照每次读取第一数量的数据的规则,获取读取待处理数据的当前数据量;
判断所述当前数据量是否大于第二数据量;
在所述当前数据量大于所述第二数据量的情况下,判断所述待处理数据的数据量是否超出所述第一线程自身的处理能力,若是,请求管理线程调用第二线程,以使得所述第二线程读取待处理数据并处理所读取的数据。
第三方面,本申请实施例提供了一种数据处理装置,所述装置包括:
第一数据量获取模块,用于按照第一线程每次读取第一数据量的数据的规则,获取所述第一线程读取待处理数据的当前数据量;
第一数据量判断模块,用于判断所述当前数据量是否大于第二数据量;
线程调用模块,用于在所述当前数据量大于第二数据量的情况下,判断所述待处理数据的数据量是否超出所述第一线程的处理能力,若是,则调用第二线程,以使所述第二线程读取待处理数据并处理所读取的数据。
第四方面,本申请实施例提供了一种数据处理装置,应用于第一线程,所述装置包括:
第二数据量获取模块,用于按照每次读取第一数量的数据的规则,获取读取待处理数据的当前数据量;
第三数据量判断模块,用于判断所述当前数据量是否大于第二数据量;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三信息安全技术有限公司,未经新华三信息安全技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910231649.7/2.html,转载请声明来源钻瓜专利网。