[发明专利]基于人工智能的日志审核方法、装置、设备及介质

权利要求书

1.基于人工智能的日志审核方法，其特征在于，包括如下步骤：

步骤1，获取日志文本并进行预处理；

步骤2，构建本行业的错误混淆集，并通过日志文本查错模型和错误混淆集对预处理后的日志人本进行错误检查和纠正；

步骤3，构建TextRank模型，迭代计算词汇或句子权重，选取权重值最高的若干个词汇或句子集合构成日志摘要；

步骤4，将日志摘要发送至相关人员。

2.根据权利要求1所述的基于人工智能的日志审核方法，其特征在于，所述预处理包括剔除无关数据、删除重复数据、噪声内容清洗、类别特征编码、中文分词和删除停用词。

3.根据权利要求2所述的基于人工智能的日志审核方法，其特征在于，所述类别型特征编码包括one-hot编码方式或频率编码方式。

4.根据权利要求1所述的基于人工智能的日志审核方法，其特征在于，所述构建本行业的错误混淆集，具体包括如下步骤：

步骤210，输入汉语词典和汉语拼音表，建立拼音-汉字索引结构；

步骤211，获取人工总结的本行业易混淆词表C₁；

步骤212，对预处理后日志文本的每个字或词进行遍历，若所述字或词的拼音指向汉语，则将该词及其拼音存入同音索引表中，完成遍历后得到本行业日志的同音词表C₂；

步骤213，对日志文本的每个词进行遍历，计算在所有日志文本中编辑距离为1的词，创建替换混淆词表C₃；

步骤214，合并本行业易混淆词表C₁、本行业日志的同音词表C₂和替换混淆词表C₃，创建错误混淆集。

5.根据权利要求1所述的基于人工智能的日志审核方法，其特征在于，所述通过日志文本查错模型和错误混淆集对预处理后的日志人本进行错误检查和纠正，具体包括如下步骤：

步骤220，使用滑动窗口和训练好的日志文本查错模型对输入的日志进行评估，计算PPL困惑度得分，判断PPL困惑度得分是否超过预设阈值，若是，则转至步骤221，进行纠错处理；若否，则判定为通顺；

步骤221，通过错误混淆集来对疑似错误中的字词进行字音字形义形的替换，获得纠错候选序列；

步骤222，将纠错候选序列中的字词替换到原文中，依次重新计算PPL困惑度得分，选取PPL困惑度得分最小的纠错候选词，进行替换。

6.根据权利要求1或5所述的基于人工智能的日志审核方法，其特征在于，所述日志文本查错模型为N-gram模型。

7.根据权利要求1所述的基于人工智能的日志审核方法，其特征在于，所述步骤3，具体包括如下步骤：

步骤310，利用BERT预训练模型生成句向量，然后再计算两个句向量夹角的余弦值即可得出相似度；

步骤311，将日志文本中的句子或者词汇为节点、相似度值为边构建带权的无向网络图，迭代计算句子TextRank权重，在计算的过程中结合句子位置、线索词、句子长度等因素对权重进行优化处理；

步骤312，选取权重值最高的若干个词汇或句子集合构成日志摘要。

8.基于人工智能的日志审核装置，其特征在于，包括文本处理单元、智能纠错单元、摘要提取单元和反馈单元，其中，

所述文本处理单元，用于获取日志文本并进行预处理；

所述智能纠错单元，用于构建本行业的错误混淆集，并通过日志文本查错模型和错误混淆集对预处理后的日志人本进行错误检查和纠正；

所述摘要提取单元，用于构建TextRank模型，迭代计算词汇或句子权重，选取权重值最高的若干个词汇或句子集合构成日志摘要；

所述反馈单元，用于将日志摘要信息发送至相关人员。