[发明专利]数据处理方法、数据处理装置和服务器有效
申请号: | 201711461712.3 | 申请日: | 2017-12-28 |
公开(公告)号: | CN109271097B | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 赵英超;饶云 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 450000 河南省郑州市郑州高新*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 服务器 | ||
1.一种数据处理方法,其特征在于,所述方法应用于HBase数据库的协处理器,所述方法包括:
接收已采集数据,并根据所述已采集数据的参数值计算所述已采集数据的数据摘要;
在第一数据表中插入所述已采集数据的行键、时间戳和数据摘要;
以所述已采集数据的数据摘要作为行键在第二数据表中查询;所述第二数据表中的行键为数据摘要,所述第二数据表包含一个用于存储计数值的计数列和至少一个用于存储所述已采集数据的参数值的参数列;
若在所述第二数据表中查询到所述已采集数据的数据摘要,则将对应的行数据中的所述计数值叠加固定值;
所述方法还包括:若在所述第二数据表中未查询到所述已采集数据的数据摘要,则在所述第二数据表中插入一行数据,该行数据的行键为所述已采集数据的数据摘要,该行数据对应的所述计数值为初始值,该行数据的各个参数列中记录对应的所述已采集数据的参数值。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取待删除数据的行键和时间戳;
在所述第一数据表中查询所述待删除数据的行键和时间戳;
若在所述第一数据表中查询到所述待删除数据的行键和时间戳,则将对应的第一行数据的数据摘要作为行键在所述第二数据表中查询;
若在所述第二数据表中查询到所述第一行数据的数据摘要,则判断对应的第二行数据中的所述计数值是大于所述初始值还是等于所述初始值;
若所述第二行数据中的所述计数值大于所述初始值,则将所述第二行数据中的所述计数值减少所述固定值。
3.根据权利要求2所述的方法,其特征在于,还包括:
若所述第二行数据中的所述计数值等于所述初始值,则在所述第一数据表中删除所述第一行数据,并且在所述第二数据表中删除所述第二行数据。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取待读取数据的行键和时间戳;
在所述第一数据表中查询所述待读取数据的行键和时间戳;
若在所述第一数据表中查询到所述待读取数据的行键和时间戳,则以对应的第三行数据的数据摘要作为行键在所述第二数据表中查询;
若在所述第二数据表中查询到所述第三行数据的数据摘要,则将对应的第四行数据中的参数列与所述第三行数据中的行键和时间戳确定为所述待读取数据并读取。
5.一种数据处理装置,其特征在于,所述装置应用于HBase数据库的协处理器,所述装置包括:
接收模块,用于接收已采集数据,并根据所述已采集数据的参数值计算所述已采集数据的数据摘要;
插入模块,用于在第一数据表中插入所述已采集数据的行键、时间戳和数据摘要;
查询模块,用于以所述已采集数据的数据摘要作为行键在第二数据表中查询;所述第二数据表中的行键为数据摘要,所述第二数据表包含一个用于存储计数值的计数列和至少一个用于存储所述已采集数据的参数值的参数列;
处理模块,用于若在所述第二数据表中查询到所述已采集数据的数据摘要,则将对应的行数据中的所述计数值叠加固定值;
所述插入模块还用于:
若在所述第二数据表中未查询到所述已采集数据的数据摘要,则在所述第二数据表中插入一行数据,该行数据的行键为所述已采集数据的数据摘要,该行数据对应的所述计数值为初始值,该行数据的各个参数列中记录对应的所述已采集数据的参数值。
6.根据权利要求5所述的装置,其特征在于,还包括获取模块和判断模块,
所述获取模块用于:获取待删除数据的行键和时间戳;
所述查询模块还用于:在所述第一数据表中查询所述待删除数据的行键和时间戳;若在所述第一数据表中查询到所述待删除数据的行键和时间戳,则将对应的第一行数据的数据摘要作为行键在所述第二数据表中查询;
所述判断模块用于:若在所述第二数据表中查询到所述第一行数据的数据摘要,则判断对应的第二行数据中的所述计数值是大于所述初始值还是等于所述初始值;
所述处理模块还用于:若所述第二行数据中的所述计数值大于所述初始值,则将所述第二行数据中的所述计数值减少所述固定值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711461712.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:NVME存储扩展系统
- 下一篇:一种数据迁移方法及装置