[发明专利]文本数据处理方法和装置

说明书

本发明公开了一种文本数据处理方法和装置，涉及数据处理领域。其中的文本数据处理方法包括：将文本中待识别的短语按字进行切分；从待识别的短语中提取n‑gram特征；根据提取的n‑gram特征确定n‑gram特征的向量特征；将提取的n‑gram特征和n‑gram特征的向量特征输入到命名实体识别模型；根据命名实体识别模型的输出结果确定待识别的短语是否为目标命名实体。本发明通过提取按字切分后的待识别的短语中的n‑gram特征以及n‑gram特征的向量特征，能够反映待识别的短语中相邻的字之间的相关性，并能够通过n‑gram特征以及n‑gram特征的向量特征体现待识别的短语的字面特征和泛化特征，从而能够提升命名实体识别的准确率。

技术领域

本发明涉及数据处理领域，特别涉及一种文本数据处理方法和装置。

背景技术

命名实体是指以名称为标识的实体，例如人名、机构名、地名等等。通过识别命名实体，可以获取用户的搜索意图、提取文本的属性等等，从而有助于提升搜索效率、实现对用户的准确推送。

目前，命名实体识别技术主要是通过规则的方法，通过按照预设的规则识别出短语中的固定部分和可变部分。例如，对于数量词类型的命名实体，现有的识别方法是将数词和量词分开，通过匹配文本中的数字识别数词，包括基础词(例如10万)、序数词(第1)、纯数字(1.5)、百分数(50％)等等，通过建立词表识别量词，例如kg、千克、公斤、g、克、p、匹等等。

由于用户输入和文本内容的不确定性，命名实体的格式多样化。例如500ml还可以表示成500ML、500毫升、五百毫升、大约500ML、500ML左右、500ML+，下午2点还可以表示成14:00、下午2:00、下午两点、2:00PM等等。由于命名实体形式多样化，因此规则识别的方法准确率较低。

发明内容

本发明实施例所要解决的一个技术问题是：如何提高命名实体识别的准确率。

根据本发明实施例的一个方面，提供一种文本数据处理方法，包括：将文本中待识别的短语按字进行切分；从待识别的短语中提取n-gram特征；根据提取的n-gram特征确定n-gram特征的向量特征；将提取的n-gram特征进行数量化编码；将进行编码后的n-gram特征和n-gram特征的向量特征输入到命名实体识别模型；根据命名实体识别模型的输出结果确定待识别的短语是否为目标命名实体。

在一个实施例中，方法还包括：根据待识别的短语中各个字的字向量确定待识别的短语的句子向量特征；将提取的n-gram特征和n-gram特征的向量特征输入到命名实体识别模型包括：将提取的n-gram特征、n-gram特征的向量特征和句子向量特征输入到命名实体识别模型。

在一个实施例中，还包括：通过训练数据对命名实体识别模型进行训练；其中，训练数据包括训练样本中的目标命名实体短语和非目标命名实体的n-gram特征和从训练样本的短语中提取的n-gram特征的向量特征，或者，训练数据包括训练样本中的目标命名实体短语和非目标命名实体的n-gram特征、从训练样本的短语中提取的n-gram特征的向量特征和训练样本中的短语的句子向量特征。

在一个实施例中，获取训练样本包括：标记训练数据中的目标命名实体；将训练数据中的目标命名实体中的部分字替换为其他字得到非目标命名实体并进行标记；将标记后的目标命名实体和非目标命名实体作为训练样本。

在一个实施例中，根据提取的n-gram特征确定n-gram特征的向量特征包括：在除uni-gram之外的n-gram特征中，根据n-gram特征中各个字的字向量确定n-gram特征的向量特征。

在一个实施例中，采用以下方法获得字的字向量：获得包含目标命名实体的字向量训练语料；将字向量训练语料按字符进行切分；将按字进行切分后的字向量训练语料输入到word2vec算法中进行训练；获得word2vec算法输出的各个字的字向量。