[发明专利]一种异常检测方法、系统及装置

说明书

本说明书公开了一种异常检测方法、系统及装置，根据从服务器节点获取到的信息处理设备的地址，向信息处理设备发送查询请求，以根据信息处理设备返回的查询结果中的信息处理设备本地存储的未标记的信息处理记录和已标记的信息处理记录，确定是否存在异常信息处理记录，若存在异常信息处理记录，则发送用于提示信息处理设备获取的信息的分区发生变化的提示信息。根据获取到的信息处理记录确定是否存在异常信息处理记录，能够实现对于信息处理设备对应的分区变化情况的实时监控，当知道信息处理设备对应的分区发生变化时，可以通过调整信息处理速度减少信息处理设备的压力。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种异常检测方法、系统及装置。

背景技术

目前，随着计算机技术的发展，人们对于信息的需求量越来越大，同样的，海量数据对于信息系统的要求也逐渐提高。尤其是在大数据处理领域，由于需要对海量的数据和信息进行处理，因此对信息分发系统的要求更高。

在现有技术中，Kafka作为一种高吞吐量的分布式发布订阅消息系统，通常用在大数据实时处理领域中。

一般的，Kafka系统作为连接信息生产者和信息信息处理设备之间的平台，接收生产者发送的信息，供信息处理设备获取，如图1所示。Kafka的基础架构主要由服务器节点、生产者、信息处理设备三部分组成。生产者是生产信息的一方，并将信息发送至服务器节点，服务器节点也称为broker，用于接收并缓存生产者发送的信息，以及将信息按照策略发送给信息处理设备，或者由信息处理设备从服务器节点中抓取信息，信息处理设备就是处理信息的一方。

Kafka系统为了提高信息吞吐量，通常按照信息的类型，将不同类型的信息分开存储，每个类型下还设置有不同的分区，将同一类型的信息分别存储在不同分区中，而同一个信息处理方，为了提高获取信息的能力，通常也可设置由多个信息处理设备构成的信息处理组，每个信息处理设备都可用于获取信息，因此信息处理方可通过多个设备获取信息。并且，为了避免信息重复获取，一个分区的信息不能由同一信息处理组中的多个信息处理设备获取。而为了确定信息处理组中的每个信息处理设备，具体获取那个分区的信息，Kafka系统还提供了再平衡策略，用于确定分区和信息处理设备的对应关系。

发明内容

本说明书提供了异常检测方法、系统及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供的异常检测方法，包括：

从服务器节点获取信息处理组中每个信息处理设备的地址；

针对所述信息处理组中的每个信息处理设备，根据该信息处理设备的地址，向该信息处理设备发送查询请求；

接收该信息处理设备根据所述查询请求返回的查询结果，所述查询结果包括：该信息处理设备本地存储的未标记的信息处理记录以及已标记的信息处理记录，所述信息处理记录是该信息处理设备根据从所述服务器节点获取的信息确定并存储的；

根据所述未标记的信息处理记录以及所述已标记的信息处理记录，判断是否存在异常信息处理记录；

若是，则发送提示信息，所述提示信息用于提示该信息处理设备获取的信息的分区出现变化，以及向该信息处理设备发送标记请求，所述标记请求用于使该信息处理设备将根据所述查询请求返回的所述未标记的信息处理记录标记为已标记的信息处理记录。

可选地，所述未标记的信息处理记录为，当所述信息处理设备从服务器节点获取的信息的特征和所述信息处理设备存储的已标记的信息处理记录对应的信息的特征不同时，确定并存储的；

其中，所述信息处理记录至少包括生成信息处理记录的时间和分区标识。

可选地，所述方法还包括：