[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，包括：

获取第一语料，其中，所述第一语料是至少依据原始语料中目标类别的实体而得到的；

利用文本分类模型对所述第一语料进行处理，得到所述第一语料的概率值，其中，所述概率值用于表征所述第一语料和所述原始语料的匹配程度；

在所述概率值大于等于预设概率值的情况下，确定所述第一语料作为训练语料。

2.根据权利要求1所述的方法，其中，所述方法还包括：

利用语言模型对所述第一语料进行处理，得到所述第一语料包含的每个语料的通顺度；

将所述第一语料中通顺度小于预设通顺度的语料删除，得到处理后的第一语料；

利用所述文本分类模型对所述处理后的第一语料进行处理，得到所述概率值。

3.根据权利要求2所述的方法，其中，所述方法还包括：

获取互联网中的文本语料；

对所述文本语料进行分词处理，得到处理后的文本语料；

利用所述处理后的文本语料对语言模型进行训练，得到所述语言模型。

4.根据权利要求1所述的方法，其中，所述方法还包括：

获取实体集合，其中，所述实体集合包括：不同目标类别的多个实体，所述多个实体与所述原始语料中的实体不同；

利用所述实体集合中的实体对所述原始语料中相同类别的实体进行替换，得到第二语料，其中，所述第二语料的数量是所述原始语料的数量和预设值之积；

利用所述原始语料、所述第二语料对文本分类模型进行训练，得到所述文本分类模型，其中，所述文本分类模型的嵌入层与语言模型的嵌入层拼接。

5.根据权利要求1所述的方法，其中，获取第一语料包括：

获取实体集合，其中，所述实体集合包括：目标类别的多个实体，所述多个实体与所述原始语料中的实体不同；

利用所述实体集合中的实体对所述原始语料中相同类别的部分或全部实体进行替换，得到所述第一语料。

6.根据权利要求1所述的方法，其中，所述文本分类模型包括：依次连接的嵌入层、卷积池化层、全连接层和输出层，其中，

所述嵌入层用于获取输入的语料中每个词语对应的词向量；

所述卷积池化层用于基于所述每个词语对应的词向量，得到所述每个词语对应的特征信息；

所述全连接层用于基于所述输入的语料中每个词语对应的特征信息，得到所述输入的语料的特征向量；

所述输出层用于基于所述输入的语料的特征向量，得到所述输入的语料的概率值。

7.根据权利要求2所述的方法，其中，所述语言模型采用Bi-Gram模型。

8.根据权利要求1所述的方法，其中，所述目标类别包括如下至少之一：人名、地名、组织名。

9.一种数据处理方法，包括：

获取原始语料和实体集合，其中，所述实体集合包括：目标类别的多个实体，所述多个实体与所述原始语料中的实体不同；

利用所述实体集合中的实体对所述原始语料中相同类别的实体进行替换，得到第一语料；

利用文本分类模型对所述第一语料进行处理，得到所述第一语料的概率值，其中，所述概率值用于表征所述第一语料和所述原始语料的匹配程度；

在所述概率值大于等于预设概率值的情况下，确定所述第一语料作为训练语料。

10.根据权利要求9所述的方法，其中，所述方法还包括：

利用语言模型对所述第一语料进行处理，得到所述第一语料包含的每个语料的通顺度；

将所述第一语料中通顺度小于预设通顺度的语料删除，得到处理后的第一语料；

利用所述文本分类模型对所述处理后的第一语料进行处理，得到所述概率值。