[发明专利]一种基于LCS和TF-IDF的相似字符串确定方法及装置

说明书

本申请提供了一种基于LCS和TF‑IDF的相似字符串确定方法及装置，其中，该方法包括：计算同义词字典中各同义词的TF‑IDF值；从同义词字典中查找待归一的字符串对应的标准写法信息；若未查找到，则计算该字符串与相应同义词的最长公共子序列长度和距离以及非公共子序列中包含的所有字符的TF‑IDF值总和；对相应同义词按照最长公共子序列长度降序排列得到第一排序结果，对第一排序结果按照最长公共子序列距离和TF‑IDF值总和的和升序排列得到第二排序结果，返回第二排序结果中第一个字符串对应的目标标准写法信息；基于待归一的字符串和目标标准写法信息，确定待归一的字符串的相似字符串，可对结构化数据进行归一推理，取得了较好的结果，有利于下一步数据分析、挖掘。

技术领域

本申请涉及数据处理技术领域，尤其是涉及一种基于LCS和TF-IDF的相似字符串确定方法及装置。

背景技术

大部分医疗数据是自由文本构成的非结构化数据，其中不仅包括大段的文字描述，也包括包含表格样式的文字描述。为有效处理和利用这些文本信息，需要将文本信息结构化。文本结构化由早期基于字典、规则的方法，到基于HMM、CRF等传统机器学习方法，再到基于BiLSTM-CRF、BiLSTM-CNN-CRF等深度学习方法，直到当下基于注意力机制、图神经网络等方法，已经取得了较好的效果。但结构化数据存在预测结果不准确、不完整的问题，为解决这个问题，可结合专业人士整理的相关归一推理文件，使用字符串相似度算法对预测结果归一推理，便于后期数据分析。

目前关于字符串相似度计算的算法主要有：编辑距离(Levenshtein)、最长公共子序列(Longest Common Subsequence，LCS)、余弦相似度(Cosine similarity)、Jaccard相似度。这些传统的字符相似度计算算法都基于当前字符本身进行推理，而对于字符中真正关键的语义很难捕捉。例如‘小细胞肺癌’和‘非小细胞肺癌’，不论上述哪一种算法，都是认为是非常相似的字符串。但是实际结果却截然相反。这是因为字符串中的每一个字符的重要程度并不相同。也就是说，‘非’字在这个例子中应该被给予更多的关注。

申请人在研究中发现，现有技术中使用以上算法返回结果并不十分理想。

发明内容

有鉴于此，本申请的目的在于提供一种基于LCS和TF-IDF的相似字符串确定方法及装置，既考虑了字符串之间的最长公共子序列长度和字符串之间的距离，也考虑了对应同义词中每个字符串中字符对该字符串的重要程度，可对结构化数据进行归一推理，取得了较好的结果有利于下一步数据分析、挖掘。

第一方面，本申请实施例提供了一种基于LCS和TF-IDF的相似字符串确定方法，包括：

计算同义词字典中各同义词的TF-IDF值；

从所述同义词字典中查找待归一的字符串对应的标准写法信息；

若未查找到待归一的字符串对应的标准写法信息，则计算该字符串与相应同义词的最长公共子序列长度和距离；

计算待归一的字符串与相应同义词的非公共子序列中包含的所有字符的TF-IDF值的总和，得到TF-IDF值总和；

对待归一的字符串的相应同义词按照最长公共子序列长度进行降序排列，得到第一排序结果，对所述第一排序结果按照最长公共子序列距离和TF-IDF值总和的和进行升序排列，得到第二排序结果，返回所述第二排序结果中第一个字符串对应的目标标准写法信息；

基于待归一的字符串和目标标准写法信息，确定归一后的字符串，从而得到待归一的字符串的相似字符串。

在一种可能的实施方式中，通过以下步骤获取同义词字典：

获取归一推理文件，所述归一推理文件包括同义词和相关父子类关系文件；