[发明专利]网页文本高亮显示方法及系统

说明书

技术领域

本发明涉及文本搜索技术领域，特别涉及一种网页文本高亮显示方法及系统。

背景技术

传统的文本高亮的做法一般是完全匹配和基于分词查找的方法。完全匹配是用户输入的关键词序列在网页文本中查找与关键词序列完全相同的文本串，并高亮显示。若网页文本中不存在与关键词序列完全相同的文本串，则无法高亮显示，即使网页文本存在关键词序列的某些子串（子串可以是关键词序列的一部分或全部），这些子串也能反映用户想要查找的内容，也不会将子串高亮显示，这对用户输入关键词序列的准确性要求较高，用户体验不好。

分词方法主要分为两种：基于规则的分词方法和基于统计的分词方法。基于规则的分词方法的缺点在于无法有效地解决歧义切分和未登录词识别的问题。统计方法的缺点在于计算复杂性太高，导致切分效率降低，再加上受制于有限的训练语料库，分词精度提升比较困难。因此，基于分词的文本高亮算法最大的依赖是分词词典的优劣，对于一个新词，在词典更新之前，是不能进行正常分词，就无法实现文本高亮。

发明内容

本发明要解决的技术问题是：现有的基于分词的高亮显示方法中不能进行正常分词时就无法实现文本高亮的问题。

为解决上述技术问题，本发明提供了一种网页文本高亮显示系统，包括：

文本获取模块，适于获取关键词序列，选取需要标识关键词的网页文本；

查找标记模块，适于在所述网页文本中采用基于最大公共子串的方式查找并标记所述关键词序列的子串；

高亮显示模块，适于在所述网页文本中高亮显示被标记的子串。

其中，查找标记模块包括：

矩阵建立模块，适于分别以所述网页文本的长度和所述关键词序列的长度为行数和列数建立矩阵M；

矩阵初始化模块，适于初始化所述矩阵，若所述网页文本的第i个字符与所述关键词序列的第j个字符相同，则矩阵中的元素M[i][j]=1，否则为0；

子串标记模块，适于遍历所述矩阵的每个元素，标记元素为1的字符在所述网页文本中的位置。

其中，所述子串标记模块还适于遍历所述矩阵时，分别从每个第一行和第一列的元素开始，沿矩阵中对角线方向遍历所述矩阵的元素，当连续为1的元素个数为k，k大于等于2，则只标记元素连续为1的位置对应的长度为k的子串在所述网页文本中的位置。

其中，所述子串标记模块还适于在遍历所述矩阵时，沿矩阵对角线方向元素连续为1的个数n大于等于预定阈值时，则只标记矩阵中n个连续1的位置对应的长度为n的子串在所述网页文本中的位置。

其中，查找标记模块包括：

矩阵建立模块，适于分别以所述网页文本的长度和所述关键词序列的长度为行数和列数建立矩阵M；

矩阵初始化模块，适于初始化所述矩阵，判断所述网页文本的第i个字符与所述关键词序列的第j个字符是否相同，若相同，则判断元素M[i-1][j-1]的值m是否为0，若不为0，则矩阵中的元素M[i][j]=m+1，否则M[i][j]=0；

子串标记模块，适于遍历所述矩阵的每个元素，标记元素不为0的字符在所述网页文本中的位置。

其中，所述子串标记模块还适于遍历所述矩阵时，分别从每个第一行和第一列的元素开始，沿矩阵对角线方向遍历所述矩阵的元素，当连续不为0的元素个数为k，k大于等于2，则只标记元素连续不为0的位置对应的长度为k的字串在所述网页文本中的位置。

其中，所述子串标记模块还适于在遍历所述矩阵时，元素值p大于等于预定阈值时，则只标记从该元素起沿对角线方向的反方向长度为p的子串在所述网页文本中的位置。

其中，还包括：西文字符处理模块，适于所述关键词序列包括英文或数字时，以非英文或数字字符为边界，将所述英文或数字作为一个字符处理。

本发明还提供了一种网页文本高亮显示方法，包括以下步骤：

获取关键词序列，选取需要标识关键词的网页文本；

在所述网页文本中采用基于最大公共子串的方式查找并标记所述关键词序列的子串；

在所述网页文本中高亮显示被标记的子串。

其中，所述在网页文本中采用基于最大公共子串的方式查找并标记所述关键词序列的子串的步骤具体包括：

分别以所述网页文本的长度和所述关键词序列的长度为行数和列数建立矩阵M；

初始化所述矩阵，若所述网页文本的第i个字符与所述关键词序列的 j个字符相同，则矩阵中的元素M[i][j]=1，否则为0；