[发明专利]一种文本质量检测方法

权利要求书

1.一种文本质量检测方法，所述方法包括：

获取待检测的文本序列；

将所述文本序列通过固定长度的滑动窗口处理为若干文本片段，其中，滑动窗口每次移动预定义长度，将每次移动后滑动窗口内的文本内容确定为一个文本片段；

将所获得的若干文本片段输入预先训练的文本质量检测模型，根据输出结果确定所述若干文本片段的预测损失值，根据所述预测损失值确定对应文本片段的质量评分，其中，所述预先训练的文本质量检测模型为通过已确定质量的文本序列样本训练的RNN模型；

利用预设算法计算所述不同文本片段的质量评分的综合值，将计算结果确定为所述待检测文本序列的质量检测结果。

2.根据权利要求1所述的方法，所述利用预设算法计算所述不同文本片段的质量评分的综合值，将计算结果确定为所述待检测文本序列的质量检测结果，包括：

计算所述不同文本片段的质量评分的平均值，将计算结果确定为所述待检测文本序列的质量检测结果。

3.根据权利要求1所述的方法，所述根据输出结果确定所述若干文本片段的预测损失值，根据所述预测损失值确定对应文本片段的质量评分，包括：

根据输出结果计算所述若干文本片段的交叉熵，将计算结果确定为对应文本片段的质量评分。

4.根据权利要求1所述的方法，所述文本质量检测模型的训练方法，包括：

批量获取已确定质量的文本序列样本，将不同样本进行语句首尾拼接；

将拼接后的样本语句按照预定义的切分长度均匀切分为多个等长片段；

将所述等长片段处理为词向量，将每个词向量作为一个训练数据输入RNN模型，以训练用于检测文本质量的语言模型。

5.根据权利要求4所述的方法，所述将不同样本进行语句首尾拼接后，包括：在不同样本语句的拼接位置插入拼接标识。

6.根据权利要求4所述的方法，所述将拼接后的样本语句按照预定义的切分长度均匀切分为多个等长片段，包括：

将拼接后的样本语句按照预定义的切分长度均匀切分为多个等长片段，并丢弃切分后的最后一个小于预定义切分长度的片段。

7.根据权利要求4所述的方法，所述将所述等长片段处理为词向量，包括：

将所述等长片段使用Word2vec工具进行预训练，以获取对应的词向量。

8.一种文本质量检测装置，所述装置包括：

文本获取模块：用于获取待检测的文本序列；

文本处理模块：用于将所述文本序列通过固定长度的滑动窗口处理为若干文本片段，其中，滑动窗口每次移动预定义长度，将每次移动后滑动窗口内的文本内容确定为一个文本片段；

文本检测模块：用于将所获得的若干文本片段输入预先训练的文本质量检测模型，根据输出结果确定所述若干文本片段的预测损失值，根据所述预测损失值确定对应文本片段的质量评分，其中，所述预先训练的文本质量检测模型为通过已确定质量的文本序列样本训练的RNN模型；

结果计算模块：用于利用预设算法计算所述不同文本片段的质量评分的综合值，将计算结果确定为所述待检测文本序列的质量检测结果。

9.根据权利要求8所述的装置，所述利用预设算法计算所述不同文本片段的质量评分的综合值，将计算结果确定为所述待检测文本序列的质量检测结果，包括：

计算所述不同文本片段的质量评分的平均值，将计算结果确定为所述待检测文本序列的质量检测结果。

10.根据权利要求8所述的装置，所述根据输出结果确定所述若干文本片段的预测损失值，根据所述预测损失值确定对应文本片段的质量评分，包括：

根据输出结果计算所述若干文本片段的交叉熵，将计算结果确定为对应文本片段的质量评分。