[发明专利]一种基于压缩感知理论的文本数据流抽样方法

权利要求书

1.一种基于压缩感知理论的文本数据流抽样方法，其特征在于，包括以下步骤：

步骤1：将文本数据流分割成固定大小的文本片段并通过向量空间模型表示成矩阵；

步骤2：使用压缩感知理论对文本数据流进行空间降维抽样；

步骤3：计算降维后每个文本的信息熵；

步骤4：基于文本的信息熵通过对数倾斜时间LTT模型压缩存储抽样文本。

2.根据权利要求1所述的基于压缩感知理论的文本数据流抽样方法，其特征在于：步骤1中所述的固定大小的文本片段由TF或TF-IDF模型表示成矩阵其中P表示固定大小文本片段中文本的数量，n为向量空间的维数，L是当前文本数据流片段的数量。

3.根据权利要求2所述的基于压缩感知理论的文本数据流抽样方法，其特征在于：步骤2的具体实现过程是，对于给定的文本片段使用高斯随机矩阵作为测量矩阵Ф，使用压缩理论中的公式对X_l进行投影得到测量值实现空间降维，其中m≤n，计算如公式1所示：

Y_l＝ΦX_l (公式1)。

4.根据权利要求3所述的基于压缩感知理论的文本数据流抽样方法，其特征在于：步骤3的具体实现过程是，对于降维后每个文本，第l个文本片段中的第i个文本的内容质量由信息熵E(i,l)来衡量，其计算如公式2所示：

E(i,l)＝-Σp(t_j,l)logp(t_j,l) (公式2)；

其中p(t_j,l)是第i个文本中第j项在第l个片段中出现的频率，t_j,l∈Y_iⁱ。

5.根据权利要求4所述的基于压缩感知理论的文本数据流抽样方法，其特征在于：步骤4的具体实现包括以下子步骤：

步骤4.1：首先，设LTT模型中的每个单元空间为2*P，对于目前第q个单元，检查是否还有空间可以分配给新到达的抽样文本片段；如果存在空闲空间P+1～2*P，则将已存放在目前第q个单元中1～P位置的文本片段移至P+1～2*P；否则，分配一个容量为2*P的新单元作为存储最近到达的文本片段的单元；

步骤4.2：其次，为空出第一个单元的1～P的位置给新到达的文本片段，则需要通过舍弃在第w(1≤w≤q-1)个单元中的文本片段Y_w1和Y_w2中信息熵最低的文本，然后将Y_w1和Y_w2进行合并并移入第(w+1)单元的1～P的位置；

步骤4.3：最后，将新到达的文本片放在第一个单元的1～P的位置；

步骤4.4：将上述步骤4.1至步骤4.3三个步骤一直循环执行，直到不再有新的文本到达，最终得到抽样文本。