[发明专利]批量异常事件的监控方法、装置、电子设备及存储介质

权利要求书

1.一种批量异常事件的监控方法，其特征在于，所述方法包括：

获取历史投诉样本集，并利用所述历史投诉样本集对预构建的语言分析模型进行训练，得到训练完成的投诉分析模型；

获取投诉工单集，利用所述投诉分析模型对所述投诉工单集进行异常事件分析，得到所述投诉工单集中每个投诉工单的分析结果，得到所述投诉工单集的分析结果集；

根据预设的规则以及所述分析结果集，从所述投诉工单集中提取异常举报，并对所述异常举报按照相关度进行分组并将所述分组进行排列，得到异常事件重要级排表；

利用预构建的Web端，绘制所述异常事件重要级排表，得到可视化的异常投诉监控图；

其中，所述利用所述历史投诉样本集对预构建的语言分析模型进行训练，得到训练完成的投诉分析模型，包括：将所述历史投诉样本集进行量化及清洗操作，得到量化数据；利用所述语言分析模型中的相关度算法分析所述量化数据中的异常数据；利用所述异常数据对所述语言分析模型进行训练，得到所述投诉分析模型；

所述利用所述异常数据对所述语言分析模型进行训练，得到所述投诉分析模型，包括：根据所述异常数据，对所述语言分析模型进行K折交叉验证训练，得到初级投诉分析模型；对所述初级投诉分析模型进行性能评估，得到评估分数，当所述评估分数大于预设性能阈值时，对所述初级投诉分析模型进行参数调整，直到所述评估分数小于或者等于预设性能阈值时，得到训练完成的投诉分析模型；

所述对所述初级投诉分析模型进行性能评估，得到评估分数，包括：根据下述的双重指标加权的策略对所述初级投诉分析模型进行性能测试，得到评估分数F：

其中，表示拒识率；表示误识率；TP为测试结果普通，实际普通；FP为测试结果普通，实际异常；FN为测试结果异常，实际异常；TN为测试结果异常，实际普通。

2.如权利要求1所述的批量异常事件的监控方法，其特征在于，所述利用所述历史投诉样本集对预构建的语言分析模型进行训练之前，所述方法还包括：

对从预设数据库或网络中获取的样本数据进行特殊符号删除；

根据预设关键字，对所述样本数据进行分词处理，查询脏数据，并对所述脏数据进行清除处理，得到所述历史投诉样本集。

3.如权利要求1所述的批量异常事件的监控方法，其特征在于，所述利用所述投诉分析模型对所述投诉工单集进行异常事件分析，得到所述投诉工单集中每个投诉工单的分析结果，得到所述投诉工单集的分析结果集，包括：

将所述投诉工单集中每个投诉工单内的工单内容字段，进行映射，得到工单内容数据；

利用所述投诉分析模型对所述工单内容数据进行异常事件分析，得到所述投诉工单为异常举报的概率；

当所述概率小于预设异常事件概率值时，判定所述投诉工单为普通举报；

当所述概率大于预设异常事件概率值时，判定所述投诉工单为所述异常举报。

4.如权利要求1所述的批量异常事件的监控方法，其特征在于，所述获取投诉工单集之前，所述方法还包括：

将所述投诉分析模型与预构建的召回引擎进行连接；

利用所述召回引擎实时接收所述投诉工单集。

5.一种批量异常事件的监控装置，用于实现如权利要求1至4中任一项所述的批量异常事件的监控方法，其特征在于，所述装置包括：

模型构造模块，用于获取历史投诉样本集，并利用所述历史投诉样本集对预构建的语言分析模型进行训练，得到训练完成的投诉分析模型；

数据处理模块，用于获取投诉工单集，利用所述投诉分析模型对所述投诉工单集进行异常事件分析，得到所述投诉工单集中每个投诉工单的分析结果，得到所述投诉工单集的分析结果集；

排表模块，用于根据预设的规则以及所述分析结果集，从所述投诉工单集中提取异常举报，并对所述异常举报按照相关度进行分组并将所述分组进行排列，得到异常事件重要级排表；

监控模块，用于利用预构建的Web端，绘制所述异常事件重要级排表，得到可视化的异常投诉监控图。