[发明专利]一种文本类数据质量监控系统

摘要

本发明公开了一种文本类数据质量监控方法，其包括如下步骤：1)对待监控文本的读取设置；2)读取待监控文本，并约定标准格式；3)设置监控模型超参数；4)对监控规则进行自学习，和自动更新监控规则；5)人工对自生成的文本监控规则进行修改和调整；6)计算，并判断该新增数据是否触发数据异常报警；7)推送监控报警信息；8)接收反馈信息；其还公开了一种文本类数据质量监控系统；本发明提供的方法提高数据质量监控的质量、效率及覆盖面；系统支持人工设定监控规则，还能利用机器学习技术从文本中提取特征，利用待监控历史文本数据进行建模，人工可以接受自学习的默认规则也可以修改参数、添加手动规则，人机结合提供规则的可靠性。

主权项

1.一种文本类数据质量监控方法，其特征在于，其包括如下步骤：(1)对待监控文本的读取设置；(2)根据步骤(1)的读取配置，从数据库中读取待监控数据，并把数据标准化成约定的格式；(3)对智能监控规则模型及超参数，或自定义的文本监控模型超参数进行设置；(4)根据智能监控规则模型和步骤(3)设置的自定义模型以及步骤(2)提取的历史文本特征对监控规则进行自学习，和根据待监控文本的更新特征对监控规则进行自动更新来适应文本特征的动态变化；(5)人工对自生成的文本监控规则进行修改和调整，完善监控规则，或者由人工自主定义新的监控规则；(6)根据步骤(4)自生成的数据监控规则综合步骤(5)人工自定义规则对新增待监控数据进行计算，并判断该新增数据是否触发数据异常报警；(7)将输出的监控报警信息，包括触发报警的数据基本信息及报警级别等，利用消息推送系统推送给客户；(8)接收运维人员对监控报警的反馈信息，并将该反馈信息反馈给数据监控规则更新模块根据人工反馈对监控规则进行调整和优化。