[发明专利]文本难度分级及训练方法、装置、电子设备及存储介质

说明书

文本难度分级及训练方法、装置、电子设备、存储介质，其中，文本难度分级训练方法包括：获取已标注的第一目标文本集，其包含各文本对应的难度真实值的标签数据；对第一目标文本集中的各文本进行预处理，得到第一训练文本集中各文本对应的特征集；根据第一训练文本集中各文本对应的特征集和预先设置的权重系数，建立难度分级评估模型；获取未标注的第二目标文本集，计算未标注的第二目标文本集中各文本对应的难度伪标签值，得到已标注的第二目标文本集；将第一训练文本集、已标注的第二目标文本集输入至预设的预训练模型，得到文本难度分级模型。采用上述方案，在对文本的阅读难度进行分级时，能够提高文本难度分级的准确性。

技术领域

本说明书实施例涉及自然语言处理技术领域，尤其涉及一种文本难度分级及训练方法、装置、电子设备、存储介质。

背景技术

在信息大爆炸的时代，文本(例如课文、杂志、报纸等读物)的数量和种类呈现指数式增长，为了能够在浩如烟海的文本中挑选适合不同年龄段或阅读水平用户的文本，需要对文本的阅读难度进行分级。

目前，在对文本的阅读难度进行分级，得到文本对应的难度分级值时，由于缺乏公开的难度分级标准和包含各种难度级别的语料，导致采用现有模型得到的难度分级值的准确度低。

发明内容

有鉴于此，本说明书实施例提供一种文本难度分级及训练方法、装置、电子设备、存储介质，在对文本的阅读难度进行分级时，能够提高文本难度分级的准确性。

首先，本说明书实施例提供一种文本难度分级训练方法，包括：

获取已标注的第一目标文本集，所述第一目标文本集包含各文本对应的难度真实值的标签数据，其中，所述第一目标文本集包括第一训练文本集；

对所述第一目标文本集中的各文本进行预处理，得到所述第一训练文本集中各文本对应的特征集；

根据所述第一训练文本集中各文本对应的特征集和预先设置的权重系数，建立难度分级评估模型；

获取未标注的第二目标文本集，并根据所述难度分级评估模型，计算所述未标注的第二目标文本集中各文本对应的难度伪标签值，得到已标注的第二目标文本集；

将所述第一训练文本集、所述已标注的第二目标文本集作为第二训练文本集输入至预设的预训练模型，对所述预训练模型进行训练，得到文本难度分级模型。

可选地，所述根据所述第一训练文本集中各文本对应的特征集，建立难度分级评估模型，包括：

获取参考文本集；

提取所述参考文本集的特征，构建语典库，并计算所述语典库中各特征对应的难度值；

在所述语典库中，对所述第一训练文本集中各文本对应的特征集中的各特征进行检索，所述提取所述参考文本集的特征，构建语典库，并计算所述语典库中各特征对应的难度值，包括：

提取所述参考文本中集各文本的特征，按照特征类型统计各特征出现的频次，并按照所述各特征出现的频次进行排序，得到所述语典库，其中，所述语典库包括字典库和词典库；

分别根据所述字典库和所述词典库相应特征类型的排序结果，确定所述字典库中各字对应的难度值和所述词典库中各特征对应的难度值，并分别将得到的难度值进行归一化处理。

可选地，所述对所述第一目标文本集中的各文本进行预处理，得到所述第一训练文本集中各文本对应的特征集，包括：

对所述第一目标文本集中的各文本进行拆分处理，得到所述第一训练文本集中各文本对应的特征集，所述特征集中的特征类型包括以下至少一种：字、词。

可选地，所述在所述语典库中，对所述第一训练文本集中各文本对应的特征集中的各特征进行检索，并根据所述预先设置的权重系数，建立所述难度分级评估模型，包括：