[发明专利]一种数值型金融数据质量监控系统及方法

摘要

本发明公开一种数值型金融数据质量监控系统及方法，所述系统包括：待监控数据读取配置模块、数据读取与标准化模块、监控模型配置模块、数据监控规则自生成与更新模块、数据监控规则人工配置模块、调度模块、数据监控计算模块、消息推送模块、反馈模块。本发明提供的数值型金融数据质量监控系统及方法采用机器学习对监控规则进行自学习，并将人工设定的数据质量监控规则与机器自学习的监控规则相结合，提高了数据质量监控的质量、效率及覆盖面，同时降低了人力成本。

主权项

1.一种数值型金融数据质量监控系统，其特征在于，所述系统包括：待监控数据读取配置模块、数据读取与标准化模块、监控模型配置模块、数据监控规则自生成与更新模块、数据监控规则人工配置模块、调度模块、数据监控计算模块、消息推送模块、反馈模块，其中，所述待监控数据读取配置模块用于对待监控数据进行读取配置，所述待监控数据读取配置模块与所述数据读取与标准化模块相连接；所述数据读取与标准化模块用于根据所述待监控数据读取配置模块的数据读取配置，从数据库中读取待监控数值型数据，并把数据标准化成后续模块处理约定的格式，所述数据读取与标准化模块分别与所述待监控数据读取配置模块、所述数据监控规则自生成与更新模块、数据监控规则人工配置模块以及所述数据监控计算模块相连接；所述监控模型配置模块用于对系统中通过自学习生成监控规则的模型超参数进行配置，所述监控模型配置模块与所述数据监控规则自生成与更新模块相连接；所述数据监控规则自生成与更新模块用于根据机器学习监控模型和所述监控模型配置模块设置的自定义模型，以及所述数据读取与标准化模块标准化后的待监控历史数据对监控规则进行自学习，或者根据待监控数据的更新数据对监控规则进行自动更新来适应数据模型的动态变化，所述数据监控规则自生成与更新模块分别与所述数据读取与标准化模块、监控模型配置模块以及反馈模块相连接；所述数据监控规则人工配置模块用于支持人工对所述数据监控规则自生成与更新模块自生成的模型参数进行修改和调整，完善监控规则，或者由人工自主定义新的监控规则，所述数据监控规则人工配置模块分别与所述数据读取与标准化模块以及所述数据监控规则自生成与更新模块相连接；所述调度模块用于完成系统中各个功能模块的统一调度和执行，所述调度模块分别与所述消息推送模块以及数据监控计算模块相连接；所述数据监控计算模块用于根据所述数据监控规则自生成与更新模块自生成的数据监控规则并综合所述数据监控规则人工配置模块的人工自定义规则对所述数据读取与标准化模块标准化后的新增待监控数据进行计算，并判断该新增数据是否触发数据异常报警；所述数据监控计算模块分别与所述数据读取与标准化模块、消息推送模块以及调度模块相连接；所述消息推送模块根据数据监控计算模块的计算结果向数据运维人员发出相关报警；所述消息推送模块分别与所述数据监控计算模块、调度模块以及所述反馈模块相连接；所述反馈模块用于接收数据运维人员对数据监控报警的反馈信息，并将该反馈信息反馈给所述数据监控规则自生成与更新模块根据人工反馈对模型进行调整和优化，所述反馈模块分别与所述数据监控规则自生成与更新模块以及所述消息推送模块相连接。