[发明专利]一种文本类数据质量监控系统

权利要求书

1.一种文本类数据质量监控系统，包括待监控文本读取配置模块、文本特征提取模块、监控模型配置模块、文本监控规则自生成与更新模块、文本监控规则人工配置模块、调度模块、文本监控计算模块、消息推送模块、反馈模块，其特征在于：

待监控文本读取配置模块：该模块进行待监控文本的读取设置，同时也支持用户直接输入数据读取源代码脚本，所述待监控文本读取配置模块与文本特征提取模块电连接；

文本特征提取模块：该模块根据待监控文本读取配置模块的文本读取配置，从数据库或前端API接口中读取待监控文本，并从文本中提取特征，所述文本特征提取模块分别与文本监控规则自生成与更新模块、文本监控规则人工配置模块、文本监控计算模块电连接；

监控模型配置模块：该模块对智能监控规则模型，或自定义的文本监控模型超参数进行配置，所述监控模型配置模块与文本监控规则自生成与更新模块电连接；

文本监控规则自生成与更新模块：该模块根据智能监控规则模型和监控模型配置模块设置的自定义模型，以及文本特征提取模块提取的历史文本特征对监控规则进行自学习，和根据待监控文本的更新特征对监控规则进行自动更新来适应文本特征的动态变化，所述文本监控规则自生成与更新模块分别与监控模型配置模块、反馈模块电连接；

文本监控规则人工配置模块：该模块支持人工对文本监控规则自生成与更新模块自生成的模型参数进行修改和调整，完善监控规则，或者由人工自主定义新的监控规则，所述文本监控规则人工配置模块与文本特征提取模块电连接；

调度模块：该模块完成系统中各个功能模块的统一调度和执行，所述调度模块分别与监控模型配置模块、消息推送模块电连接；

文本监控计算模块：该模块根据文本监控规则自生成与更新模块自生成的文本监控规则综合文本监控规则人工配置模块的人工自定义规则对新增待监控数据进行计算，并判断该新增数据是否触发数据异常报警，所述文本监控计算模块与消息推送模块电连接；

消息推送模块：该模块根据文本监控计算模块的计算结果向数据运维人员发出相关报警，所述消息推送模块与反馈模块电连接；

反馈模块：该模块接收数据运维人员对监控报警的反馈信息，并将该反馈信息反馈给文本监控规则更新模块根据人工反馈对模型进行调整和优化，所述反馈模块与文本监控规则自生成与更新模块电连接。

2.根据权利要求1所述的一种文本类数据质量监控系统，其特征在于：

所述文本特征提取模块包括待监控文本读取模块和文本数据向量化模块，所述的待监控文本读取模块根据待监控文本读取配置模块所设置好的文本读取方式对待监控文本和文本的历史正常数据进行读取；所述的文本数据向量化模块将待监控文本读取模块读取的文本数据映射到向量空间。

3.根据权利要求2所述的一种文本类数据质量监控系统，其特征在于：

所述待监控文本读取模块通过计算服务单元来完成，所述的计算服务单元采用分布式计算引擎实现。