[发明专利]一种流数据序列质量检测方法、装置、设备和存储介质

说明书

本发明涉及数据处理技术领域，提供一种流数据序列质量检测方法、装置、设备和存储介质。该流数据序列质量检测方法，包括：响应配置操作，生成监控规则；与数据源建立连接，实时获取所述数据源发布的流数据序列；根据所述监控规则和流数据序列，获得所述流数据序列的检测结果；基于所述检测结果，发出对应的告警信息；根据所述检测结果，在前端对所述流数据序列的质量状况进行可视化展示。本流数据序列质量检测方法，能够在大数据场景同时对流数据序列的质量进行多维度的细粒度监控分析，提高流数据的分析粒度，避免错判流数据传输时的质量情况，进而高效且准确的监控获取的流数据序列。

技术领域

本申请涉及数据处理技术领域，具体涉及一种流数据序列质量检测方法、装置、设备和存储介质。

背景技术

实时流数据的应用场景越来越多且比重日益增长，车联网、风控、标签系统精准营销、实时数据仓库、实时报表和特征工程等系统对实时流数据的应用。

所谓流数据是指由数千个数据源持续生成的数据，通常也同时以数据或消息记录的形式发送，单条数据或消息规模较小(约几千字节)。流数据包括多种数据，如车联网状态信号数据、客户使用移动或Web应用程序生成的日志文件、网购数据、埋点数据以及来自可穿戴设备数据等，一般是半结构化、非结构化数据类型。

实时流数据具有响应快，延迟低的优势。大约几秒或几毫秒的低延迟，可对滚动时间窗口内的数据或仅对最近的数据记录进行查询或处理。对实时流数据的采集、处理和应用的好处是显而易见的。但是流数据传输和执行过程中也会出现与普通数据相同的质量问题，例如，如消息数丢失、内容缺失的不完整问题；重复、逻辑异常的不准确问题；重复数据的不唯一问题；超出合理数据内容长度、数值范围、内容格式、枚举值异常等数据无效问题等等。

面对上述列举一系列流数据质量问题，对实时流数据质量进行检测及管理的需求日益增强。而现有技术对于流数据的质量监控方法，无法在大数据场景对流数据进行多维度的监控分析，在监控过程容易错判流数据传输时的质量情况，无法检测出流数据潜在的质量问题，其监控性能和可靠性存在问题。因此，需要提供一种流数据序列质量检测方法、装置、设备和存储介质，能够在多个维度上对流数据质量进行高效准确的分析，以解决上述问题。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种流数据序列质量检测方法、装置、设备和存储介质，以解决现有技术中质量监控方法无法在大数据场景对流数据进行多维度的监控分析，在监控过程容易错判流数据传输时的质量情况，无法检测出流数据潜在的质量问题的技术问题。

本发明提供的流数据序列质量检测方法，包括：

响应配置操作，生成监控规则；

与数据源建立连接，实时获取所述数据源发布的流数据序列；

根据所述监控规则和流数据序列，获得所述流数据序列的检测结果；

基于所述检测结果，发出对应的告警信息；

根据所述检测结果，在前端对所述流数据序列的质量状况进行可视化展示。

于本发明的一实施例中，所述响应配置操作，生成监控规则，包括：

响应检测类型配置操作，生成针对流数据序列的检测项目；

响应检测指标配置操作，为所述检测项目设定检测指标，生成对应所述检测项目的检测规则；

汇总所述检测项目的检测规则，生成监控规则。

于本发明的一实施例中，所述根据所述监控规则和流数据序列，获得所述流数据序列的检测结果，包括：

根据所述监控规则中各个检测规则，判断所述流数据序列中数据单元在各个所述检测项目上的异常情况，以确定所述流数据序列中的异常数据单元，并获取所述异常数据单元的明细信息；