[发明专利]数据处理方法及装置、电子设备和可读存储介质有效
申请号: | 201910390733.3 | 申请日: | 2019-05-10 |
公开(公告)号: | CN110162672B | 公开(公告)日: | 2021-07-27 |
发明(设计)人: | 谢超;郭人通;易小萌;陈婉琴 | 申请(专利权)人: | 上海赜睿信息科技有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903 |
代理公司: | 北京睿派知识产权代理事务所(普通合伙) 11597 | 代理人: | 刘锋 |
地址: | 200030 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
确定第一数据集合,所述第一数据集合由数据表中不包含的值构成,所述数据表为数据量饱和的数据集或数据集的数据分片;
确定数据表中的数据特殊状态的种类集合;
响应于所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目,设定所述第一数据集合与种类集合的映射关系,使每种数据特殊状态对应至少一个值;
将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值;
响应于所述第一数据集合中包含的元素数目小于所述种类集合中包含的元素数目,将所述种类集合分为第一种类集合和第二种类集合,所述第一种类集合中包含的元素数目与所述第一数据集合中包含的元素数目相等;
设定所述第一数据集合和所述第一种类集合的映射关系,使所述第一种类集合中的每种数据特殊状态对应一个值;
为所述第二种类集合中的每种数据特殊状态建立一个位图索引。
2.如权利要求1所述的方法,其特征在于,所述确定第一数据集合包括:
确定由所述数据表中包含值组成的第二数据集合和所述数据表的数据类型;
确定所述数据类型的取值范围;
在所述取值范围中减去所述第二数据集合中包含的值,确定第一数据集合。
3.如权利要求1所述的方法,其特征在于,所述数据特殊状态包括空值、被删除的状态、无效值。
4.如权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
响应于接收到在所述数据表中删除数据的指令,确定数据被删除的状态对应的值;
用所述被删除状态对应的值替换所述数据表中删除的数据。
5.如权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
接收到对所述数据表进行修改的指令,所述修改指令包括修改后的值;
响应于修改后的值与数据特殊状态有对应关系,将所述修改后的值从第一数据集合中移除;
响应于所述第一数据集合中包含与数据特殊状态无对应关系的值,为所述与修改后的值对应的数据特殊状态重新设定一个对应的值,用所述重新设定的值替换所述数据表中的修改后的值;
根据所述修改指令进行数据修改。
6.如权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
接收到对所述数据表中数据进行查询的指令;
响应于根据所述查询指令查询到的数据值有对应的数据特殊状态,根据所述数据值对应的数据特殊状态返回值。
7.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-6任一项所述的方法。
8.一种数据处理装置,其特征在于,包括:
第一统计模块,用于确定第一数据集合,所述第一数据集合由数据表中不包含的值构成,所述数据表为数据量饱和的数据集或数据集的数据分片;
第二统计模块,用于确定数据表中的数据特殊状态的种类集合;
数据处理模块,用于在所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目时,设定所述第一数据集合与种类集合的映射关系,使每种数据特殊状态对应至少一个值;
控制模块,用于将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值;
所述数据处理模块,还用于:
响应于所述第一数据集合中包含的元素数目小于所述种类集合中包含的元素数目,将所述种类集合分为第一种类集合和第二种类集合,所述第一种类集合中包含的元素数目与所述第一数据集合中包含的元素数目相等;
设定所述第一数据集合和所述第一种类集合的映射关系,使所述第一种类集合中的每种数据特殊状态对应一个值;
为所述第二种类集合中的每种数据特殊状态建立一个位图索引。
9.一种计算机可读存储介质,用于存储计算机程序指令,其特征在于,所述计算机程序指令在被处理器执行时实现如权利要求1-6中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海赜睿信息科技有限公司,未经上海赜睿信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910390733.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:通过音乐情感识别视频广告的方法
- 下一篇:信息变动监控系统、方法及装置