[发明专利]数据异常的报警方法和装置、存储介质、电子装置

说明书

本申请公开了一种数据异常的报警方法和装置、存储介质、电子装置。其中，该方法包括：在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。本申请解决了相关技术中不能对数据异常进行监控的技术问题。

技术领域

本申请涉及数据监控领域，具体而言，涉及一种数据异常的报警方法和装置、存储介质、电子装置。

背景技术

目前业内对于数据质量监控的方案可参考的案例少之又少，尤其是推荐系统类的数据监控，几乎接近匮乏，对于我们的系统来说急需要一个可以做全方位数据监控的措施，对于我们解决问题和定位问题所在起着至关重要的作用。基于此种情况我们研发了这套监控系统。

随着电商的崛起，其中商品推荐又是其中非常重要的一环，系统可以根据用户的行为进行个性化的商品推荐从而达到千人千面的推荐效果，但是随之而来的是更加重要的数据链路的监控，即从数据产生到数据处理再到算法推荐以及最后的商品信息展示过程中任何环节出现问题都是致命的，所以推荐系统的数据质量监控显得十分的重要，而目前并没有能够监控数据异常的方案。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据异常的报警方法和装置、存储介质、电子装置，以至少解决相关技术中不能对数据异常进行监控的技术问题。

根据本申请实施例的一个方面，提供了一种数据异常的报警方法，包括：在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。

可选地，在对所述目标数据进行异常监控时，获取所述目标数据在多个维度上的监控指标；按照所述多个维度上的监控指标对所述目标数据进行异常监控。

可选地，在获取所述目标数据在多个维度上的监控指标时，获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。

可选地，在推送所述目标数据发生异常的报警信息时，根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息。

可选地，在根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息时，在所述目标数据的异常类型属于第一异常等级的情况下，按照第一时间间隔推送报警信息；在所述目标数据的异常类型属于第二异常等级的情况下，按照第二时间间隔推送报警信息，其中，所述第二异常等级高于所述第一异常等级，所述第二时间间隔短于所述第一时间间隔。

可选地，在推送所述目标数据发生异常的报警信息之后，继续监控所述目标数据是否发生异常；在所述目标数据再次发生相同故障的情况下，重新制定监控指标。

可选地，在所述目标数据发生异常的情况下，保存发生异常的所述目标数据和所述目标数据的故障类型。

根据本申请实施例的另一方面，还提供了一种信息异常的报警装置，包括：监控单元，用于在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；报警单元，用于在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。