[发明专利]一种KV引擎的数据处理方法及装置

说明书

本发明实施例公开了一种KV引擎的数据处理方法及装置，方法包括：获取情报源数据，对所述情报源数据进行预处理，得到待入库数据；对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的键KEY将所述待入库数据存入键值KV引擎库；若接收到数据查询的触发操作，则对所述KV引擎库中的每个主键进行遍历后，返回至少一个KEY对应的数据。本发明实施例通过对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的键KEY将所述待入库数据存入KV引擎库，在保证情报数据安全的前提下，通过不同的KEY存储，能够提高数据的处理性能。

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种KV引擎的数据处理方法及装置。

背景技术

随着计算机技术和网络应用的迅速发展，网络信息数据量越来越大，海量数据的存储变得越来越重要。当今社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生的数据，往往能够产生千万级、亿级甚至十亿、百亿级的海量小文件，在很多场景下，这些小文件一般都是非常小的碎片化数据，传统的存储在处理此类海量小文件写入时效率非常低下，这是因为海量小文件往往会带来大量的随机写入，本地写入时会因磁盘频繁寻址极大地降低性能，时下越来越流行的分布式存储由于存在先天的网络延时、多副本设置和元数据写入会使性能降得更低。

在实现本发明实施例的过程中，发明人发现现有的数据处理方法采用Redis或其他Innodb方式进行处理，但处理性能无法满足要求。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种KV引擎的数据处理方法及装置。

第一方面，本发明实施例提出一种KV引擎的数据处理方法，包括：

获取情报源数据，对所述情报源数据进行预处理，得到待入库数据；

对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的键KEY将所述待入库数据存入键值KV引擎库；

若接收到数据查询的触发操作，则对所述KV引擎库中的每个主键进行遍历后，返回至少一个KEY对应的数据。

可选地，所述获取情报源数据，对所述情报源数据进行预处理，得到待入库数据，具体包括：

获取情报源数据，若判断获知所述情报源数据为加密数据，则进行解密处理；待确定所述情报源数据的结构完整且内容字段为可入库字段格式后，对所述情报源数据进行唯一性校验，并对不满足唯一性校验的情报源数据进程去重合并处理，得到待入库数据。

可选地，所述对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的键KEY将所述待入库数据存入键值KV引擎库，具体包括：

对所述待入库数据进行检验，若通过检验，则将所述待入库数据转换成预设格式的对象标记JSON串，根据情报入侵指标的数据存储方式，采用不同的键KEY将所述JSON串批量存入键值KV引擎库。

可选地，所述对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的键KEY将所述待入库数据存入键值KV引擎库，具体包括：

对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的KEY将所述待入库数据追加存入KV引擎库；

若判断获知所述待入库数据的KEY与KV引擎库中的目标数据的KEY相同，则将所述待入库数据存入所述KV引擎库并覆盖所述目标数据。

可选地，所述对所述待入库数据进行检验，若通过检验，则根据情报入侵指标的数据存储方式，采用不同的键KEY将所述待入库数据存入键值KV引擎库，具体包括：