[发明专利]一种商品的匹配与识别方法、装置、设备和介质

权利要求书

1.一种商品的匹配与识别方法，其特征在于：包括下述步骤：

S1、对电子商城中的商品数据进行治理；

S2、分别利用第一匹配算法和第二匹配算法对商品的相似度进行匹配，得到第一匹配结果和第二匹配结果；

S3、对所述第一匹配结果和所述第二匹配结果进行交叉验证，提取匹配差别较大的部分，根据人工检测结果判别所述第一匹配算法和所述第二匹配算法中哪种算法更准确；

S4、当所述第一匹配算法更为准确时，则调整所述第二匹配算法中的参数，或当所述第二匹配算法更为准确时，则调整所述第一匹配算法中的参数，回到步骤S2，直到所述第一匹配算法和所述第二匹配算法都达到预期准确度；

所述第一匹配算法为基于关键特征加权匹配算法，包括下述步骤：

S11、关键字抽取，即对治理后的商品品名和特征值数据合并后进行分词；对商品词汇表中的词集合进行过滤和转换，所述过滤是根据停用词表去除停用词，所述转换是根据近义词表把近义词统一转换为标准词；提取经过滤和转换后的词集合longKeys中仅由英文字母和数字组成的序列存放于规格向量shortKeys中，形成由longKeys和shortKeys两组向量构成的商品关键字对象；过滤处理所述商品关键字对象，得到最终关键字对象；按下述公式计算最终关键字对象中各词的TF-IDF值：

TF-IDF＝TF*IDF；

其中，词频TF＝某词在所有商品中出现的次数/所有商品的总词数；

逆商品词频IDF＝log(语料库的总商品数/(包含该词的商品数+1))；

再把TF-IDF值高的词或按配置的规则得到的词从longKeys补充到shortKeys；

S12、双余弦相似度计算，即设定两个相似度比较的商品分别为left和right，计算left和right的shortKeys的包含关系，该包含关系为left包含right、right包含left、相等、相似或互不包含；

计算商品品名相似度：shortKeys(关键词相似度*关键词权重)+longKeys(全词相似度*全词权重)，所述关键词权重与所述全词权重的和为1；

用余弦相似度计算left和right两个商品的shortKeys的相似度；

用余弦相似度计算left和right两个商品的longKeys的相似度；

如商品价格有效，则计算left和right的价格相似度，价差越小越相似；

S13、商品匹配判断，即根据上一步骤计算所得的各个相似度，判断商品left和商品right是否匹配，若判断为不匹配，使用如下缺省判断规则：

(1)如商品中的词存在于全局关键字集合中，则这些词必须全部匹配，否则返回“不匹配”；

(2)如商品的shortKeys包含关系为“互不包含”，则返回“不匹配”；

(3)特征权重计算，根据shortKeys的长度动态获取关键特征权重Ws，该关键特征权重Ws等于所述关键词权重，采用分级加权策略，即shortKeys向量越长则关键特征权重Ws就越大；

(4)得到shortKeys关键特征权重Ws后，计算longKeys的全词特征权重Wl＝1–Ws，所述全词特征权重Wl等于所述全词权重；

(5)最终商品特征的相似度为：

sim＝shortKeys相似度*Ws+longKeys相似度*Wl；

sim为一个在[0,1]区间的值，越大则越相似；

(6)如价格大于0时有效，则还需判断价格相似度，其公式为：

如价格为0时无效，则忽略；

(7)当商品特征相似度和价格相似度均大于等于各自的阈值时则判断为匹配；

S14、匹配结果确认，即在计算出匹配结果后，展示该匹配结果给人工确认是否正确，并接收人工标准的确认匹配结果；

S15、调整特征参数，利用线性回归进行建模，把人工标准的确认匹配结果作为因变量y，值为1和0；把“shortKeys相似度*关键特征权重Ws”作为自变量x，b是线性回归中的值，公式为：

y＝w*x+b

通过拟合找到最佳拟合系数b以反映相似度与真实匹配之间的线性关系，如果有如下两种情形，则检验过程是否正确，并调整特征权重值或阈值：

第一种，相似度明显低于阈值但是人工标注匹配的；

第二种，相似度明显高于阈值但是人工标注不匹配的；

为核验拟合效果，通过欧氏距离作为损失函数进行判断拟合系数b的值：

如果Loss计算的值误差较大，则使用极大似然估计方法重新调整特征权重值；

所述第二匹配算法为基于语义相似度匹配算法，包括下述步骤：

S21、通过word2vec模型转换为词向量；

S22、将所述word2vec模型转换的词向量作为输入的参数，使用局部敏感哈希快速近似查找，得到LSH近似查找结果；

S23、将所述LSH近似查找结果作为输入的参数，计算欧氏距离，欧氏距离最短的几组商品即为匹配商品。