[发明专利]一种文本相似度匹配及计算方法、系统和装置

权利要求书

1.一种文本相似度匹配及计算方法，其特征在于，包括：

采集待处理文本数据T，对所述文本数据T进行向量化处理，得到所述文本数据T对应的特征向量数组P；

对所述特征向量数组P分类储存，建立所述文本数据T与所述特征向量之间的对应关系；

获取待处理文本数据T1，对所述文本数据T1进行分词，获取所述文本数据T1的特征词及权重数据；

对分词结果进行降维处理，获取所述文本数据T1对应的n位特征值S；

将所述特征值S均分为k等分，得到数组P1=[p1，p2，p3……pk]，并将所述特征向量数组P1逐一与所述特征向量数组P对比，根据匹配命中的特征值召回原文本内容T2；

将所述文本数据T1与所述匹配命中特征值对应文本内容T2进行分词处理，分别获取所述文本数据T1和所述文本数据T2的分词和权重结果；

对分词结果进行向量化处理，分别获取所述文本 数据T1的特征向量V1和所述文本 数据T2的特征向量V2；

计算所述特征向量V1和所述特征向量V2的余弦值，根据所述余弦值得到所述文本 数据T1与所述被匹配文本数据T2的相似度值；

其中，所述对分词结果进行降维处理，获取所述文本数据T1对应的n位特征值S包括：

获取所述分词结果的特征向量，为每一个所述特征向量设置1到5等5个级别的权重；

通过hash函数计算所述各个特征向量的hash值，所述hash值为二进制数01组成的n-bit签名；

在所述hash值的基础上，给所述所有特征向量进行加权；

将所述各个特征向量和所述加权结果累加，获取序列串；

对所述序列串进行降维，若大于0则置1，若小于0则置0，从而获取所述文本 数据T1对应的n位特征值S。

2.根据权利要求1所述的方法，其特征在于，所述将所述特征向量数组P1逐一与所述特征向量数组P对比包括：

将所述特征向量数组P1逐一与所述特征向量P对比；

若无匹配数据，则对所述文本 数据T1进行加权处理，以提高关键词权重；

对所述加权处理过后的文本数据T1进行降维，并再次逐一与所述特征向量数组P对比。

3.根据权利要求1所述的方法，其特征在于，当将所述特征值S均分为k等分，得到数组P1=[p1，p2，p3……pk]时，所述方法还包括：

将所述数组P1按照文本标识分类储存，以填充数据库中的文本内容。

4.一种文本相似度匹配及计算系统，其特征在于，包括：

采集装置，采集待处理文本数据T，对所述文本数据T进行向量化处理，得到所述文本数据T对应的特征向量数组P；

储存装置，对所述特征向量数组P分类储存，建立所述文本数据T与所述特征向量之间的对应关系；

第一获取装置，获取待处理文本数据T1，对所述文本数据T1进行分词，获取所述文本数据T1的特征词及权重数据；

降维装置，对分词结果进行降维处理，获取所述文本数据T1对应的n位特征值S；

匹配装置，将所述特征值S均分为k等分，得到数组P1=[p1，p2，p3……pk],将所述特征向量数组P1逐一与所述特征向量数组P对比，根据匹配命中的特征值召回原文本内容T2；

第二获取装置，将所述文本数据T1与所述匹配命中特征值对应文本内容T2进行分词处理，分别获取所述文本数据T1和所述文本数据T2的分词和权重结果；

第三获取装置，对分词结果进行向量化处理，分别获取所述文本 数据T1的特征向量V1和所述文本 数据T2的特征向量V2；

计算装置，计算所述特征向量V1和所述特征向量V2的余弦值，根据所述余弦值得到所述文本 数据T1与所述被匹配文本数据T2的相似度值；

其中，所述降维装置具体用于：

获取所述分词结果的特征向量，为每一个所述特征向量设置1到5等5个级别的权重；

通过hash函数计算所述各个特征向量的hash值，所述hash值为二进制数01组成的n-bit签名；

在所述hash值的基础上，给所述所有特征向量进行加权；

将所述各个特征向量和所述加权结果累加，获取序列串；

对所述序列串进行降维，若大于0则置1，若小于0则置0，从而获取所述文本 数据T1对应的n位特征值S。