[发明专利]数据处理方法、处理器、装置及存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于数据服务平台，所述数据处理方法包括：

获取针对每个数据接口配置的接口监控规则，并将所述接口监控规则保存至redis中；

实时获取每个数据接口的日志数据，并将所述日志数据存储至消息队列；

实时采用flink对所述消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流；

实时消费所述redis中存储的接口监控规则，以得到每个数据接口的监控规则数据流；

融合每个数据接口的日志数据流和监控规则数据流，以得到每个数据接口的融合数据流；

根据所述融合数据流中包含的监控规则数据流对所述融合数据流进行分析，以得到每个数据接口的监控分析数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述接口监控规则包括监控时间周期，所述数据处理方法还包括：

在获取针对每个数据接口配置的接口监控规则后，根据每个数据接口的监控时间周期确定所有数据接口的监控时间周期的最大公约数；

将所述最大公约数确定为针对所述日志数据的检测窗口的检测时间长度；

其中，在通过所述检测窗口对所述融合数据流中的日志数据流进行分析时，按照所述检测时间长度将所述日志数据流切分成多个子日志数据流，并得到与每个子日志数据流的日志检测结果。

3.根据权利要求2所述的数据处理方法，其特征在于，所述实时采用flink对所述消息队列中的日志数据进行消费，以得到每个数据接口的每条日志数据的日志数据流包括：

对每个数据接口的日志数据进行检测，以确定任意一个数据接口在所述检测时间长度内是否发生真实日志数据缺失的情况；

在发生真实日志数据缺失的情况下，生成预设数量的模拟日志数据，以对缺失真实日志数据的数据接口的日志数据进行补充，从而得到每个数据接口的每条日志数据的日志数据流。

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述融合数据流中包含的监控规则数据流确定针对所述融合数据流的分析规则，以得到每个数据接口的监控分析数据包括：

将所述融合数据流传输至检测窗口，以确定每个子日志数据流的数据传输成功率，并将所述数据传输成功率存储至环形队列；

根据所述融合数据流中包含的监控规则数据流确定每个数据接口的监控时间周期；

针对每个数据接口，确定达到所述数据接口的监控时间周期所需的所述检测时间长度的第一数量；

针对每个数据接口，从所述环形队列中按照时间的先后顺序选取所述数据接口对应的所述第一数量的子日志数据流的数据传输成功率；

针对每个数据接口，根据所述第一数量的子日志数据流的数据传输成功率确定所述数据接口的监控分析数据。

5.根据权利要求4所述的数据处理方法，其特征在于，所述接口监控规则包括在每个监控时间周期的成功率范围，所述针对每个数据接口，根据所述第一数量的子日志数据流的数据传输成功率确定所述数据接口的监控分析数据包括：

确定所述第一数量的子日志数据流的数据传输成功率的平均值；

在所述平均值处于所述成功率范围内的情况下，确定所述数据接口对应的日志数据流符合所述数据接口的接口监控规则；

在所述平均值未处于所述成功率范围内的情况下，确定所述数据接口对应的日志数据流不符合所述数据接口的接口监控规则。

6.根据权利要求5所述的数据处理方法，其特征在于，所述数据处理方法还包括：

在确定所述数据接口对应的日志数据流符合所述数据接口的接口监控规则情况下，获取针对所述数据接口的反馈信息；

在所述反馈信息为传输异常的情况下，确定所述接口监控规则待修改；

在所述反馈信息为传输正常的情况下，确定所述数据接口的数据传输正常。