[发明专利]一种基于E2LSH算法的文本数据流分类方法及装置

权利要求书

1.一种基于E2LSH算法的文本数据流分类方法，其特征在于，包括以下步骤：

获取数据集；

将所述数据集中的数据进行文本向量化处理，得到每条数据的概念表征；所述文本向量化处理包括：将数据集进行文本预处理，得到预处理数据；采用TF-IDF算法和LDA算法对预处理数据进行向量化处理，以得到每条数据的概念表征，包括：采用TF-IDF算法对预处理数据进行向量化处理，得到文本向量数据，预处理数据是经过中分文词和去停用词后的数据，再经过TF-IDF算法进行向量化处理得到文本向量，上述向量化处理是指首先计算出各个词频TF，然后计算出逆文档频率IDF，最后计算出TF-IDF；采用LDA算法对文本向量数据进行计算处理，得到文本主题矩阵数据；上述计算处理是指将文本向量数据转化为文档主题矩阵，每一条文本对应了一个主题向量，将文本主题矩阵数据中每条文本对应的主题向量作为该条数据的概念表征；

获取并根据数据特征对所述数据集中的数据进行分类，得到多个不同类别的数据块；

将各个数据块中每条数据的概念表征进行平均处理，以得到各个数据块的概念表征；

采用E2LSH算法对各个数据块的概念表征进行计算处理，得到计算结果，并将所述计算结果与预置的概念表征桶匹配，以得到各个数据块的概念表征所对应的概念表征桶；

根据所述对应的概念表征桶对所述数据集中的数据进行分类，得到分类结果。

2.根据权利要求1所述的基于E2LSH算法的文本数据流分类方法，其特征在于，所述采用E2LSH算法对各个数据块的概念表征进行计算处理，得到计算结果，并将所述计算结果与预置的概念表征桶匹配，以得到各个数据块的概念表征所对应的概念表征桶的步骤包括以下步骤：

采用E2LSH算法对所述数据块的概念表征进行计算处理，得到所述数据块的概念表征的指纹值；

将所述概念表征的指纹值与预置的概念表征桶内的指纹值匹配，得到所述概念表征的指纹值所对应的概念表征桶。

3.根据权利要求1所述的基于E2LSH算法的文本数据流分类方法，其特征在于，还包括以下步骤：

获取样本数据集；

将所述样本数据集中的数据进行文本向量化处理，得到每条样本数据的概念表征；

获取并根据数据特征对所述样本数据集中数据进行分类，得到数据特征箱体的样本数据块；

将各个样本数据块中每条样本数据的概念表征进行平均处理，得到多个样本数据块的概念表征；

采用E2LSH算法对各个样本数据块的概念表征进行计算，以得到概念表征桶。

4.根据权利要求1所述的基于E2LSH算法的文本数据流分类方法，其特征在于，所述根据所述对应的概念表征桶对所述数据集中的数据进行分类，得到分类结果的步骤包括以下步骤：

提取所述对应的概念表征桶内的数据块的文本向量；

根据所述文本向量利用预置的贝叶斯增量分类器对所述数据块的数据进行分类，得到分类结果。

5.根据权利要求4所述的基于E2LSH算法的文本数据流分类方法，其特征在于，还包括以下步骤：

根据所述文本向量对预置的贝叶斯增量分类器进行训练，得到新的贝叶斯增量分类器。