[发明专利]一种字符串处理方法及装置

说明书

本申请公开了一种字符串处理方法，包括：获取待识别字符串；将所述待识别字符串进行分词，得到各待识别字符子串；确定各待识别字符子串的语义权重；依据各待识别字符子串，查找目标字符串；将所述目标字符串进行分词，得到各目标字符子串；确定各目标字符子串的语义权重；依据各待识别字符子串和各目标字符子串的语义权重，确定待识别字符串与目标字符串之间的语义编辑距离；依据所述语义编辑距离，确定所述待识别字符串与目标字符串之间的相似度。本申请采用带语义权重的字符子串确定语义编辑距离，大大提升了字符串相似度识别的准确性，解决了现有字符串识别准确性较差的问题。本申请还公开了另一种字符串处理装置。

本申请是申请日为2015年03月09日、名称为一种字符串处理方法及装置、申请号为 201510103200.4的专利申请的分案申请。

技术领域

本申请涉及计算机技术领域，尤其涉及一种字符串编处理方法及装置。

背景技术

当前，互联网对人们日常生活的影响日益加强，造成互联网数据大爆炸，对于各种数据的存储识别成为日益重要的问题。在某些应用场景中，需要对诸如地址、黑名单、问题名称等进行识别归类，这就涉及到对所述庞大的数据库内的字符串进行相似度计算的问题。

在互联网领域，服务商数据库中会存储有庞大的商品服务、用户数据，包括用户地址、公司名称、商品名称等，若这类表示地址、公司名称的字符串直接来源于用户填写的信息，形式上就会多种多样，比如某公司全称上海XXX股份有限公司，则该公司员工自行填写的公司名称可能有XXX、XXX公司、上海XXX等多种字符串形式。这种情况下若想将XXX、XXX公司、上海XXX匹配识别为该公司全称上海XXX股份有限公司，往往比较困难。

目前，在数据库中计算字符串相似度的算法有编辑距离（Levenshtein Distance）算法，编辑距离就是用来计算从原串S转换到目标串T所需要的最少的插入，删除和替换的数目。字符串相似度计算公式：字符串(S, T)相似度 = 1–(编辑距离/(MAX(length(s),length(t)))，但普通编辑距离算法仅仅机械地依据构成字符串的单个字符集合来计算，依据该种方法计算出来的相似度结果不够准确，如字符串“ABC信息技术有限公司”和“ABC”利用该相似度计算方法得到的结果可能是27.27%，而“ABC信息技术有限公司”和“XYZ信息技术有限公司”利用该相似度计算结果可能是72.73%，得出的相似度结果与实际结果差异较大、准确度较低，导致识别归类等后续处理准确性较差。

发明内容

本申请实施例提供一种字符串处理方法，用以解决现有技术对名单、地址等字符串识别采用单个字符集合成的字符子串进行编辑距离算法，得出准确度较低的字符串相似度，导致识别归类等后续处理准确性较差的问题。

本申请实施例还提供一种字符串处理装置，用以解决现有技术对名单、地址等字符串识别采用单个字符集合成的字符子串进行编辑距离算法，得出准确度较低的字符串相似度，导致识别归类等后续处理准确性较差的问题。

本申请实施例采用下述技术方案：

一种字符串处理方法，包括：

获取待识别字符串；

将所述待识别字符串进行分词，得到各待识别字符子串；

确定各待识别字符子串的语义权重；

依据各待识别字符子串，查找目标字符串；

将所述目标字符串进行分词，得到各目标字符子串；

确定各目标字符子串的语义权重；

依据各待识别字符子串和各目标字符子串的语义权重，确定待识别字符串与目标字符串之间的语义编辑距离；

依据所述语义编辑距离，确定所述待识别字符串与目标字符串之间的相似度；