[发明专利]一种信息处理方法、装置、设备及介质

说明书

本公开提供了一种信息处理方法、装置、设备及介质，涉及人工智能技术领域，尤其涉及深度学习技术领域，包括：获取与知识增强的语义表示ERNIE模型对应的训练样本集；针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。本公开实施例的技术方案，可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习技术领域，具体涉及一种信息处理方法、装置、设备及介质。

背景技术

预训练模型ERNIE作为一种语义模型，是在BERT模型思想的基础上，对BERT模型预训练时的逻辑进行了改进，同时预训练的数据大量采用了中文数据集，因此ERNIE模型更加符合中文文本任务的使用需求。

相关技术在对ERNIE模型进行训练时，通常是根据ERNIE模型针对训练样本的输出结果，与预先标定的正确结果之间的差异，对ERNIE模型的参数进行调整。

然而，相关技术中仅通过结果差异对ERNIE模型进行调整，容易导致ERNIE模型的训练结果较差，语义理解准确性较低。

发明内容

本公开提供了一种信息处理方法、装置、设备及介质。

根据本公开的一方面，提供了一种信息处理方法，所述方法包括：

获取与知识增强的语义表示ERNIE模型对应的训练样本集；

针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

根据本公开的另一方面，提供了一种信息处理装置，所述装置包括：

样本获取模块，用于获取与知识增强的语义表示ERNIE模型对应的训练样本集；

模型调整模块，用于针对训练样本集中的各训练样本，采用二次随机遗漏处理结合计算相对熵的方式，对所述ERNIE模型进行精调，得到与模型训练任务对应的调整后模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开中任一实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一实施例所述的方法。

本公开实施例的技术方案可以简化ERNIE模型的训练复杂度，在提高ERNIE模型的训练效率的同时，保证ERNIE模型输出结果的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

图1是根据本公开实施例的一种信息处理方法的示意图；

图2是根据本公开实施例的又一种信息处理方法的示意图；

图3a是根据本公开实施例的又一种信息处理方法的示意图；

图3b是根据本公开实施例的一种ERNIE模型的结构示意图；