[发明专利]一种对海量数据进行快速匹配的算法

权利要求书

1.一种对海量数据进行快速匹配的算法，其特征在于，包括以下步骤：

S1、HubbleDotNet将全文搜索和关系数据库整合到一起，通过SQL语句对数据库中的数据进行全文和关系查询；

S2、在TF-IDF算法的基础上增加了位置函数fp(t,d,q)：

S3、通过HubbleDotNet得到精确的数据后，系统采用编辑距离算法的的基础上，结合自身特定的递归算法，对数据进行匹配运算。

2.根据权利要求1所述的一种对海量数据进行快速匹配的算法，其特征在于，HubbleDotNet组件本身负责对全文数据进行倒排索引，并将索引存储到表所指定的目录下，数据的存储则由和Hubble.net关联的关系数据库完成。

3.根据权利要求1所述的一种对海量数据进行快速匹配的算法，其特征在于，HubbleDotNet的基础得分算法公式如下：

FieldRank为字段权值；

Rank(t,q)为单词分量(term)的在查询字符串中的权值；

Rank(t,d)为单词分量(term)所在文档的权值，默认为1，如果要指定文档权值，需要在表中增加一个rank int untokenized字段；

TF(t,d):为单文本词汇频率，要查询的单词分量(term)在文档中的出现的次数除以文档所有单词分量出现的次数；

IDF(t)为逆文本频率指数。

4.根据权利要求1所述的一种对海量数据进行快速匹配的算法，其特征在于，步骤三中匹配运算的运算规则为：

(1)找出两个字符串中相同部分最长的一段；

(2)再用同样的方法在剩下的两段中分别找出相同部分最长的一段，以此类推，直到没有任何相同部分；

(3)相似度＝相同部分的长度/两个字符串中最长字符串的长度。