[发明专利]数据监控方法、装置和计算机存储介质

说明书

技术领域

本发明涉及大数据处理领域，尤其涉及一种数据监控方法、装置和计算机存储介质。

背景技术

唯品会是一个以抢购和折扣为运营模式的电商网站，目前注册会员超过2亿。其根据用户的爱好和习惯，给用户推送合适的商品，因此，需要快速、稳定的超大规模实时数据运算技术来支撑。然而实时数据的运算转瞬即逝，数据处理的正确性及延迟性等问题引起了程序开发者的高度重视，通过数据监控技术监控实时数据，可在数据处理出现错误或者延迟时，给运维人员以警告，以便快速及时处理此类问题。

现有的数据监控技术一般包括传统的数据库触发器、各类实时计算自带的监控及记录分布式日志。但是，在数据处理发生异常时，实时追踪定位的难度系数较大，而且数据处理的延迟性比较高。

发明内容

本发明的主要目的在于提供一种数据监控方法、装置和计算机存储介质，旨在解决传统的数据处理出现异常时，实时追踪定位的难度系数较大以及数据处理的延迟性比较高的技术问题。

为实现上述目的，本发明提供一种数据监控方法，所述数据监控方法包括步骤：

在接收到数据请求时，分布式存储处理所述数据请求的时长；

获取存储的预设数量的所述时长；

分别计算获取的所述时长的平均值和标准差；

在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。

优选地，所述分别计算获取的所述时长的平均值和标准差的步骤之后，所述数据监控方法还包括：

在所述标准差小于所述平均值的第一预设倍数且大于或等于所述平均值的第二预设倍数时，输出第二告警信息。

优选地，所述分别计算获取的所述时长的平均值和标准差的步骤之后，所述数据监控方法还包括：

在所述标准差小于所述平均值的第二预设倍数时，输出系统正常运行信息并输出系统运行的各项参数信息。

优选地，所述数据监控方法还包括：

在接收到数据请求时，分布式存储所述数据请求对应的数据；

获取存储的所述数据中待用户处理的数据；

获取所述待用户处理的数据未被处理的时长；

在所述时长大于预设时长时，获取所述待用户处理的数据对应的用户信息，并根据所述用户信息输出提醒信息。

优选地，所述在接收到数据请求时，分布式存储所述数据请求对应的数据的步骤之后，所述数据监控方法还包括：

获取存储的所述数据中的用户信息及对应的历史数据；

根据所述用户信息及对应的历史数据生成推荐信息，并向用户推送所述推荐信息。

优选地，所述获取存储的预设数量的所述时长的步骤包括：

从存储的所述时长中抽取预设百分数的时长。

优选地，所述获取存储的预设数量的所述时长的步骤包括：

从存储的所述时长中获取预设时间段或者预设日期的时长。

此外，为实现上述目的，本发明还提供一种数据监控装置，所述数据监控装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如以上所述的数据监控方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据监控程序，所述数据监控程序被处理器执行时实现如以上所述的数据监控方法的步骤。

本发明提出的数据监控方法、装置和计算机存储介质，通过在接收到数据请求时，分布式存储处理数据请求的时长，然后获取存储的预设数量的时长，再分别计算获取的时长的平均值和标准差，在标准差大于或等于平均值的第一预设倍数时，输出第一告警信息。本发明通过对存储的处理数据请求的时长进行分析，实现在接收到大规模数据请求时，监控处理数据请求的时长是否出现延迟。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明数据监控方法第一实施例的流程示意图；

图3为本发明数据监控方法第二实施例的流程示意图；

图4为本发明数据监控方法第三实施例的流程示意图；

图5为本发明数据监控方法第四实施例的流程示意图；

图6为本发明数据监控方法第五实施例的流程示意图；

图7为本发明数据监控方法第六实施例的流程示意图；

图8为本发明数据监控方法第七实施例的流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式