[发明专利]一种信息处理方法、装置、设备及介质

权利要求书

1.一种信息处理方法，所述方法包括：

获取与知识增强的语义表示ERNIE模型对应的训练样本集；

针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

2.根据权利要求1所述的方法，其中，针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对ERNIE模型进行精调，包括：

通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集；

通过所述ERNIE模型，针对所述目标样本特征集中包括的各目标样本特征进行两次随机遗漏处理，得到第一特征集以及第二特征集；

通过所述ERNIE模型，采用预设的分类算法对所述第一特征集以及第二特征集进行处理，得到第一分布函数和第二分布函数；

通过所述ERNIE模型，根据所述第一分布函数和所述第二分布函数，计算与所述目标训练样本对应的相对熵；

根据所述相对熵，对模型参数进行调整。

3.根据权利要求2所述的方法，其中，所述训练样本中包括：意图信息、输入信息以及所述输入信息是否与所述意图信息相匹配的标注结果。

4.根据权利要求3所述的方法，其中，通过所述ERNIE模型，对当前输入的目标训练样本进行特征编码，得到与所述目标训练样本对应的目标样本特征集，包括：

通过所述ERNIE模型，对所述目标训练样本中的目标输入信息进行特征编码，得到与所述目标训练样本对应的目标样本特征集。

5.根据权利要求3所述的方法，其中，获取与ERNIE模型对应的训练样本集，包括：

采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集。

6.根据权利要求5所述的方法，其中，采用数据增强算法，对第一数据规模的标准样本集进行样本扩充，形成第二数据规模的所述训练样本集，包括下述至少一项：

对标准样本中的文本字符进行随机遮掩处理，形成新的样本；

从标准样本中随机去除至少一个字符，形成新的样本；

对标准样本中的至少一个分词进行词向量近义词替换，形成新的样本；以及

将包含遮掩标识的标准样本输入至所述ERNIE模型中，获取所述ERNIE模型对所述遮掩标识的预测字符后，使用所述预测字符替换标准样本中的遮掩标识，形成新的样本。

7.根据权利要求5所述的方法，其中，在采用数据增强算法，对第一数据规模的标准样本集进行样本扩充之前，还包括：

获取多个原始信息；

对各原始信息进行以下至少一项处理，得到用于生成标准样本的输入信息：

删除无效的信息；

删除信息中的内容无关字符。

8.根据权利要求7所述的方法，其中，所述无效的信息包括：目标语言字符的占比小于或等于预设门限值的消息。

9.根据权利要求7所述的方法，其中，所述删除信息中的内容无关字符，包括以下至少一项：

按照预设的正则匹配规则，删除信息中包括的统一资源定位符、存储路径以及存储目录中的至少一项；

在检测到所述信息中包括机器名时，将所述机器名使用预设的截短字符串替代。

10.一种信息处理装置，所述装置包括：

样本获取模块，用于获取与知识增强的语义表示ERNIE模型对应的训练样本集；

模型调整模块，用于针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。