[发明专利]文本处理方法、装置、存储介质和处理器

说明书

本发明公开了一种文本处理方法、装置、存储介质和处理器。其中，该方法包括：对目标文本进行分词处理，得到多个目标文本词；通过每个目标文本词获取对应的实体词集合；在实体词集合中，确定每个目标文本词的目标实体词，其中，目标实体词为实体词集合中，与每个目标文本词在目标文本中的匹配度最高的实体词。本发明解决了现有技术对文本进行处理的效率低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种文本处理方法、装置、存储介质和处理器。

背景技术

目前，在对文本进行处理时，通常是根据实体词典查找实体，并生成标签向量，将标签向量与词向量进行拼接输入到识别网络模型中，从而得到待识别文本中各个分词词条分别对应各个标签的分值，进而根据分值识别出实体，但并未为每一个文本词找出它在此文本中对应的最合适的实体词，导致对文本进行处理的效率低的技术问题。

针对上述现有技术中对文本进行处理的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文本处理方法、装置、存储介质和处理器，以至少解决现有技术对文本进行处理的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种文本处理方法。该方法可以包括：对目标文本进行分词处理，得到多个目标文本词；通过每个目标文本词获取对应的实体词集合；在实体词集合中，确定每个目标文本词的目标实体词，其中，目标实体词为实体词集合中，与每个目标文本词在目标文本中的匹配度最高的实体词。

可选地，在实体词集合中，确定每个目标文本词的目标实体词，包括：从多个目标文本词中获取至少一对文本词对，其中，每对文本词对中包括多个目标文本词中的任意两个目标文本词；确定每对文本词对的至少一对实体词对，其中，每对实体词对中包括两个实体词，两个实体词中的第一实体词至少来自每对文本词对中的第一目标文本词的实体词集合，两个实体词中的第二实体词至少来自每对文本词对中的第二目标文本词的实体词集合；基于至少一对实体词对确定目标实体词。

可选地，实体词集合中的每个实体词具有对应的值，基于至少一对实体词对确定目标实体词，包括：获取每对实体词对中的两个实体词之间的相似度，得到至少一个相似度；在至少一个相似度中的最大相似度大于第一阈值的情况下，分别增加最大相似度对应的两个实体词对应的值；将实体词集合中的最大值对应的实体词，确定为目标实体词。

可选地，该方法还包括：对实体词对应的目标实体的百科词条进行分词处理，得到多个分词；通过多个分词构建目标实体的第一级特征向量；通过多个分词获取第一实体集合，并根据第一级特征向量，分别计算第一实体集合中的多个实体与目标实体之间的余弦相似度，得到多个余弦相似度；基于多个余弦相似度确定目标实体的第二级特征向量；将第二级特征向量确定为目标实体的特征向量。

可选地，基于多个余弦相似度确定目标实体的第二级特征向量，包括：从多个余弦相似度中获取大于第二阈值的至少一个余弦相似度；通过至少一个余弦相似度对应的至少一个实体和目标实体确定第二实体集合；在第二实体集合对应的百科词条中，选取词频最高的目标数量的词；通过目标数量的词构建目标实体的第二级特征向量。

可选地，通过每个目标文本词获取对应的实体词集合，包括：通过倒排索引获取每个目标文本词对应的至少一个实体词，其中，倒排索引用于指示文本词到实体词之间的对应关系；通过至少一个实体词构成实体词集合。

可选地，该方法还包括：从实体对应的百科词条中获取实体的多个文本词；通过每个文本词和实体对应的实体词构建倒排索引。

可选地，倒排索引为键为文本词，值为至少一个实体词的表。