[发明专利]一种节省内存的LCS算法

说明书

技术领域

本发明涉及两个序列的比较算法，具体说是一种节省内存的LCS算法。所述LCS是指最大共同子序列(最长公共子序列)，LongestCommon Subsequence。可广泛应用于文本比较、图形相似处理、计算生物学等领域。

背景技术

LCS(Longest Common Subsequence)算法是计算机科学领域比较经典的算法，用来比较序列的相似程度，具体说是用来寻找多个序列(一般是两个)最长公共子序列的一种算法。

LCS算法本申请不做详细介绍(可参考http://www.ics.uci.edu/～eppstein/161/960229.html)。这种算法消耗内存的多少跟序列的长度有关，如图7所示，是其算法的一部分。由图7中带下划线的文字部分可见，LCS算法会用一个二维数组C来存储两个序列在比较过程中的状态。以字符串这种典型的序列为例，两个字符串NemAtode kNOwledge，empty bottle，它们的公共序列是“emtole”，如图1所示。

LCS算法会用二维数组来记录状态，如图2所示。显然，如果第一个字符串长度为m，第二个字符串长度为n，这里二维数组需要内存为sizeof(int)*(m+1)*(n+1)。如果m和n为2万，这里需要耗费的内存将近1600MB，如果为10万，需要耗费的内存将近40GB。

在实际应用中，我们想比较两个源代码文件(这里把行看作一个序列节点)，几万行的文件也比较常见，用目前的这种耗费巨大内存算法不太现实(IBM的Java IDE开发环境Eclipse默认的比较文件的大小上限为1MB)。所以，必须要想办法来减少这个二维数组的内存。

实际上，如图2所示，该数组有好多地方存的数字都是一样的，后来有人改进了这个算法，数组里面的数字只有两种：0和1，1表示数字跟前面的不同，0表示跟前面的相同。这样，数组可以声明为bool(布尔)类型的二维数组，需要的内存为sizeof(bool)*(m+1)*(n+1)，只有之前的1/4。所述改进后将数组声明为bool(布尔)类型的LCS算法流程图如图3.a、3.b所示。

图3.a为整个LCS算法的流程，图3.b为图3.a所示LCS算法中“m*n嵌套循环给arrCon各个数据位赋值”这个步骤的细化。改进之后通过增加代码复杂度达到了减少内存占用的目的。图3.a、3.b所示算法的核心思想是通过一个二维布尔数组arrCon[m，n]作为临时变量存储序列比较过程中的状态，然后通过循环遍历得出两个序列的公共子序列。

随着计算量的增加，LCS算法中布尔值的存取也出现了消耗内存大的问题。为进一步减少内存的占用，此种改进算法有必要进一步优化。

还能不能进一步减少这个二维布尔数组arrCon[m，n]的内存呢？表面上看，bool类型只占一个字节，不能再减少了。实际上，我们知道计算机是用0和1来存储数据的，一个字节(Byte)有8位(bit)。用一个字节也就是8个位来存储一个0或者1似乎有些浪费。如果语言能提供位(bit)这种数据类型就好了，用这种类型定义的数组，理论上这个数组所消耗的内存只有最初int数组的1/32。

以C/C++为例，C/C++本身没有提供位(bit)这种数据类型，不过我们可以定义结构体sbyte来访问位。如图4所示。用sizeof(sbyte)检查一下，运算结果确实是1。

假设我们原来要定义一个m行n列的bool数组，现在以结构体sbyte为基础，就可以只用定义m*n/8的一维整形数组sbyte[]arMatrix(参见图5所示的C/C++位直接存储)。由于新数组arMatrix是对位进行存取，即数组上每个元素可以存储8个布尔值，所以整个数组arMatrix仍可以存储m*n个布尔值。

目前市面上有多种文本比较工具(如VDiff和Compare It！)就是利用这一特性。不过这种做法有它的局限性，即这种结构体其他语言有可能无法实现，如C#、Java等。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种节省内存的LCS算法，同样可以使内存消耗只有原来的1/32，而且同时适用于绝大部分编程语言。

为达到以上目的，本发明采取的技术方案是：

一种节省内存的LCS算法，其特征在于：用一个一维整形数组存储两个序列在比较过程中的比较状态数据；