[发明专利]一种基于文本内容的长词识别方法及系统

摘要

本发明公开了一种基于文本内容的长词识别方法及系统，该方法包括以下步骤：对先验文档进行预处理，从中提取需要识别的文本内容；提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词；以选择出的所述特征长词为基准，获得特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率向量构成T‑D矩阵；计算所述向量间的距离，根据LSA的方法确定文档类别，对所述文档类别进行标记；选择出能代表所述文档的特征长词；用选择出的所述特征长词重新构造文档向量，将训练好的分类器判定新接收文档的类别。通过该发明的方案，提高了分档分类的效率和准确性，保证了文档的安全。

主权项

1.一种基于企业内部文档的文本内容的长词识别方法，包括以下步骤：1)对多个先验文档进行预处理，从中提取需要识别的文本内容；2)提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词，从而得到一组特征长词组；3)以选择出的所述特征长词组为基准，获得所述特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率特征向量构成T‑D矩阵；对所述T‑D矩阵进行奇异值分解SVD实现降维；4)根据对所述T‑D矩阵分解后的结果，计算所述特征长词频率向量间的距离，根据潜在语义分析LSA的方法确定文档类别，对所述文档类别进行标记；5)对所述特征长词按照词长进行排序，依次计算所述特征长词的权重值，按照特征词选择规则，选择出能代表所述先验文档的特征长词；6)用选择出的所述特征长词重新构造文档向量，根据人工神经网络ANN或者支持向量机SVM方法训练分类器，确定分类器系数，将训练好的分类器判定新接收文档的类别；在所述步骤2)中对超过长度阈值的词语识别为特征长词之后还包括：判断所述特征长词是否可以继续切分，如果不能切分，并且该特征长词在所述先验文档中出现的频率大于某个阈值，选中该特征长词为最终的特征长词；如果能够切分，计算该特征长词在所述先验文档中出现的概率f1以及切分后的短词在所述先验文档中出现的概率f2，如果f1>f2，选中该特征长词为最终的特征长词；所述步骤5)中按照以下公式计算第k个特征长词的权重值：其中，Length表示特征长词的长度，tf_k，tf_i表示词频，即第k，i个特征长词在当前先验文档中出现的次数，df_i表示文档频率，即第i个特征长词一共在多少个先验文档出现。