[发明专利]数据结构异常检测方法及装置、存储介质、计算机设备

说明书

本申请公开了一种数据结构异常检测方法及装置、存储介质、计算机设备，该方法包括：获取内存数据库对应的持久化数据；解析所述持久化数据，得到所述持久化数据对应的数据结构类型以及键值对存储数据key‑value；根据所述数据结构类型以及所述key‑value，计算所述持久化数据对应的内存大小以及元素数量；依据所述内存大小以及所述元素数量，识别异常的持久化数据。本申请与现有技术中通过线上操作获取数据的元素数量从而利用元素数量进行异常数据识别的方式相比，利用内存数据库的持久化数据作为异常识别的依据，无需线上操作，并且基于持久化数据计算数据的内存大小从而结合内存大小与元素数量综合进行异常数据的识别，提高了识别准确性。

技术领域

本申请涉及互联网技术领域，尤其是涉及到一种数据结构异常检测方法及装置、存储介质、计算机设备。

背景技术

Redis是一个内存数据库，所谓内存数据库，就是将数据库中的内容保存在内存中，这与传统的MySQL，Oracle等关系型数据库直接将内容保存到硬盘中相比，内存数据库Redis的读写效率比传统数据库要快的多(内存的读写效率远远大于硬盘的读写效率)。目前，很多互联网软件公司会使用Redis做缓存系统，以便提高数据的读取访问性能，但是redis是一种典型的单线程key-value缓存型数据库，所有的读写操作都是在一条主线程中完成。由于redis是单线程运行的，在数据结构使用不合理的情况下会造成主线程阻塞，一旦发生阻塞，业务后续所有的操作都会有请求异常或延时的问题，极大的影响到业务应用。如果一次操作的value很大会对整个redis的响应时间造成负面影响。如何发现redis数据库中的结构异常数据，即发现redis中的大key，已成为本领域的热点问题。

目前发现redis中的大key一般是使用scan命令去遍历所有的键，对每个键根据其类型执行STRLEN，LLEN，SCARD，HLEN，ZCARD这些命令获取其长度或者元素个数。该方法有两个缺点：1.虽然scan命令通过游标遍历建空间并且在生产上可以通过对从服务执行该命令，但毕竟是一个线上操作，会对Redis数据库的使用产生影响；2.只能获取数据的元素数量，对于特定类型的数据例如String数据类型，元素数量为1，此时若根据元素数量来进行大key识别，就会漏识别出内存占用较大的String数据，导致对大key的识别准确性不高。

发明内容

有鉴于此，本申请提供了一种数据结构异常检测方法及装置、存储介质、计算机设备，利用Redis数据库的持久化RDB数据作为异常识别的依据，无需线上操作，并且基于持久化RDB数据计算数据的内存大小从而结合内存大小与元素数量综合进行异常数据的识别，提高了异常数据识别准确性。

根据本申请的一个方面，提供了一种数据结构异常检测方法，包括：

获取内存数据库对应的持久化数据；

解析所述持久化数据，得到所述持久化数据对应的数据结构类型以及键值对存储数据key-value；

根据所述数据结构类型以及所述key-value，计算所述持久化数据对应的内存大小以及元素数量；

依据所述内存大小以及所述元素数量，识别异常的持久化数据。

具体地，所述内存数据库包括Redis数据库，所述持久化数据包括持久化RDB(Redis database)数据。

具体地，所述根据所述键值对存储数据，计算所述持久化数据对应的内存大小以及元素数量，具体包括：

按照所述数据结构类型对应的编码规则，计算所述key-value在Redis数据库内存中的大小；

根据所述数据结构类型，计算所述key-value的元素数量。

具体地，所述数据结构类型包括但不限于string、hash、list、set、zset中任意一种；