[发明专利]一种考虑文本语义信息的实体识别方法及系统

权利要求书

1.一种考虑文本语义信息的实体识别方法，其特征在于，对于待识别的记录集合A与B，所述考虑文本语义信息的实体识别方法包括以下步骤：

步骤一，数据读取与预处理：分别读取记录集合A、B的内容，对记录中包含的数据进行切词、拼写纠正、词性还原和去停用词预处理操作，生成由单词组成的记录的集合A*与B*；

步骤二，创建倒排索引：对A*中的单词内容去重生成单词词典，以词典中单词作为索引词创建记录集合A的倒排索引；

步骤三，加载SBERT模型：将在网络训练好的SBERT模型加载至方法备用；

步骤四，计算IDF值：计算记录集合B*中每条记录中的每个单词在记录集A中的IDF值，选取IDF得分最高的前三个词组成关键词集合代表该词语所属记录；

步骤五，生成待匹配记录对：将关键词集合与所有索引词进行精确匹配，对于匹配相符结果，将关键词所代表的记录与索引词所链接的所有记录依次组成两个一组的待匹配记录对；

步骤六，计算记录相似性：将待匹配记录对中记录输入SBERT模型中生成包含语义信息的句向量，利用余弦相似度方法计算两向量的相似程度；

步骤七，处理对应记录：将超过阈值的相似记录判定为描述同一实体的记录，做好对应与链接，对未超过阈值的记录对判定为描述不同实体的记录；

步骤八，在步骤七完成后，检测记录集合B中记录是否已完全匹配过；若没有则对未识别记录跳转至步骤四如此往复直到识别完记录集合B中的所有记录，实现记录集合A与B的实体识别过程。

2.如权利要求1所述的考虑文本语义信息的实体识别方法，其特征在于，步骤二中，所述倒排索引构建，包括：

(1)取得关键词，生成单词词典；

从待识别记录集合中取得关键词，将这些关键词组成单词词典在具体的实践过程中，一条记录即为一个字符串；先找出字符串中所有单词，进行分词操作，英文记录由空格进行分隔，中文记录借助现有的分词工具进行特殊的分词处理；获得分词结果后进行去停用词处理，对结果中没有实际意义的词以及各类标点符号进行剔除，对单词中的大小写、时态、语态和复数内容进行规范化处理，统一转化为小写、一般现在时和单数的形式；

(2)建立倒排索引；

获得关键词后建立倒排索引，将记录中所有关键词与记录号通过链表进行链接；在倒排索引的实现过程中，将索引词、记录集合两部分分别作为词典文件、位置文件进行保存；其中，词典文件不仅保存有记录中出现的每个词，还保留指向位置文件的指针，通过指针找到关键词对应记录的位置信息。

3.如权利要求2所述的考虑文本语义信息的实体识别方法，其特征在于，步骤(1)中，所述结果中没有实际意义的虚词包括the、in和at。

4.如权利要求1所述的考虑文本语义信息的实体识别方法，其特征在于，步骤四中，所述对于词汇t的IDF值的计算方法如下式所示：

其中|D|指记录集中包含的总记录数量，{d|d∈Dt∈d}指包含目标词语t的记录数指包含目标词语t的记录数，如果该词语不在记录集合中，为避免出现分母为0的情况，统一在公式分母处加1。

5.如权利要求4所述的考虑文本语义信息的实体识别方法，其特征在于，所述IDF的主要思想是：如果包含该词的记录数越少，即词越不常出现，则IDF值越大，说明词条具有很好的类别区分能力。

6.如权利要求1所述的考虑文本语义信息的实体识别方法，其特征在于，步骤六中，所述计算记录相似性，将待匹配的记录对输入预加载完成的SBERT模型中，SBERT在BERT的基础上引入孪生神经网络；其中，所述孪生神经网络通过两个共享权值的神经网络将输入内容映射到新空间中获得样本对，通过计算样本对的余弦夹角大小衡量样本的相似性。