[发明专利]文本处理方法及装置

权利要求书

1.一种文本处理方法，包括：

在初始词表中确定初始文本的初始词语；

基于预设处理规则对所述初始文本进行处理，获得处理后的初始文本的候选词语；

将所述初始词语与所述候选词语进行比对，将与所述初始词语不匹配的候选词语作为目标词语；

基于预设表征生成规则计算所述目标词语的词表征。

2.根据权利要求1所述的文本处理方法，所述基于预设表征生成规则计算所述目标词语的词表征之后，还包括：

确定所述初始词语的词表征；

基于所述初始词语、所述初始词语的词表征、所述目标词语以及所述目标词语的词表征训练目标文本处理模型。

3.根据权利要求1所述的文本处理方法，所述基于预设表征生成规则计算所述目标词语的词表征之后，还包括：

基于场景需求从所述初始词表中确定备选词语，并基于所述备选词语和/或所述目标词语形成目标词表；或

将所述目标词语添加至所述初始词表，获得目标词表。

4.根据权利要求2所述的文本处理方法，所述基于所述初始词语、所述初始词语的词表征、所述目标词语以及所述目标词语的词表征训练目标文本处理模型，包括：

基于所述初始词语、所述初始词语的词表征训练初始文本处理模型；

将所述目标词语以及所述目标词语的词表征输入至所述初始文本处理模型，对所述初始文本处理模型进行训练，获得目标文本处理模型。

5.根据权利要求1所述的文本处理方法，所述基于预设处理规则对所述初始文本进行处理，获得处理后的初始文本的候选词语，包括：

基于预设处理规则对所述初始文本中的词语进行拆分和/或合并，获得所述初始文本的候选词语。

6.根据权利要求1-5任意一项所述的文本处理方法，所述基于预设表征生成规则计算所述目标词语的词表征之前，还包括：

确定第一目标词语中每个分词的词表征，并基于所述每个分词的词表征确定第一表征均值；和/或

确定与第二目标词语具有关联关系的初始词语的词表征，并基于与所述第二目标词语具有关联关系的初始词语的词表征确定第二表征均值。

7.根据权利要求6所述的文本处理方法，所述基于预设表征生成规则计算所述目标词语的词表征，包括：

基于所述第一表征均值计算所述第一目标词语的词表征；和/或

基于所述第二表征均值计算所述第二目标词语的词表征。

8.根据权利要求6所述的文本处理方法，所述基于预设表征生成规则计算所述目标词语的词表征，包括：

基于语义信息确定第一目标词语中每个分词的第一权重值，并基于所述第一表征均值以及所述每个分词的第一权重值计算所述第一目标词语的词表征；和/或

基于语义信息确定与第二目标词语具有关联关系的初始词语的第二权重值，基于所述第二表征均值以及所述第二权重值计算所述第二目标词语的词表征。

9.根据权利要求6所述的文本处理方法，所述基于预设表征生成规则计算所述目标词语的词表征，包括：

确定第一目标词语中每个分词的位置信息，基于所述位置信息以及语义信息确定所述第一目标词语中每个分词的第一权重值，并基于所述第一表征均值以及所述每个分词的第一权重值计算所述第一目标词语的词表征；和/或

确定第二目标词语在与所述第二目标词语具有关联关系的初始词语中的位置信息，基于所述位置信息以及语义信息确定与所述第二目标词语具有关联关系的初始词语的第二权重值，并基于所述第二表征均值以及所述第二权重值计算所述第二目标词语的词表征。