[发明专利]一种英文重复文本检测方法、系统、终端及存储介质

权利要求书

1.一种基于自编码器的英文重复文本检测方法，其特征在于包括以下步骤：

选取待对比的至少两段英文文本，将文本按字符顺序转化为两组ASCII码值；

对每个字符利用周围字符的ASCII码值表示其特征；

利用自编码器对每个字符点的特征进行降维处理；

对降维后的特征利用Jaccard相似度系数计算两段文本间的相似性，根据相似度判定文本是否重复。

2.根据权利要求1所述的一种基于自编码器的英文重复文本检测方法，其特征还在于：将文本按字符顺序转化为两组ASCII码值具体采用如下方式：

对于每一段英文文本将所有字符、包括字母、标点、空格都逐个转化为其对应的ASCII码值并分别储存在两个向量中。

3.根据权利要求1所述的一种基于自编码器的英文重复文本检测方法，其特征还在于：对每个字符利用周围字符的ASCII码值表示其特征具体采用如下方式：

按照输入顺序，将每个字符都看作一个特征点，将每个点的特征存储在一个(N×2-1)×N矩阵中，从矩阵的第一行至最后一行依次以N-1，N-2，……，1为半径、选取其前后半径大小范围内字母的ASCII码值，按照位置顺序从矩阵的第N列依次向第一列和最后一列存放，其余位置以0补齐，其中N为当前字符的局部特征控制参数。

4.根据权利要求3所述的一种基于自编码器的文本相似度方法，其特征还在于：利用自编码器对每个特征点大小为(N×2-1)×N的特征进行降维得到大小的特征，其中N和K为大于1的正整数、并且N大于K。

5.根据权利要求1所述的一种基于自编码器的文本相似度方法，其特征还在于：根据相似度判定文本是否重复时：将每段文本中所有特征点的集合作为文本的特征，按照Jaccard相似度系数公式计算两段文本间的相似度，公式如下：

其中，A和B分别代表两段文本的特征集合；

设定相似度阈值，将计算出的相似度与相似度阈值进行比较，将大于设定阈值的文本判定为重复、小于设定阈值的文本判定为不重复。

6.一种英文重复文本检测系统，其特征在于包括：

采集单元，用于获取待对比的至少两段英文文本信息、并将文本按字符顺序转化为两组ASCII码值；

提取单元，用于对每个字符利用周围字符的ASCII码值进行其特征表示；

编码单元，用于对每个字符点的特征进行降维处理；

分析单元，用于对降维后的特征利用Jaccard相似度系数计算两段文本间的相似性、根据相似度判定文本是否重复。

7.一种终端，其特征在于：包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器中存储的计算机程序；

所述计算机程序由处理器执行如权利要求1-5任一项所述的英文重复文本检测方法。

8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序；所述计算机程序用于执行如权利要求1-5任一项所述的英文重复文本检测方法。