[发明专利]基于电力词典的文本处理方法

摘要

本发明提供了一种基于电力词典的文本处理方法，包括以下步骤：步骤S100，获取电力系统使用的包括文本数据的文件，对该文件进行数据清理，从而获得清理后的文本数据；步骤S200，根据通用词典和所述电力词典，对所述文本数据进行分词处理，获得分词向量；步骤S300，根据电力词汇分词向量和通用词汇分词向量，计算电力文本标志，形成文本元数据。通过使用电力词典进行分词及后续处理，本发明能够获得有效的元数据，从而为文本相似计算、文档分类、聚类、文本检索等提供支撑。本发明还提供了一种文本检索方法。

主权项

1.一种基于电力词典的文本处理方法，其特征在于，包括以下步骤：步骤S100，获取电力系统使用的包括文本数据的文件，对该文件进行数据清理，从而获得清理后的文本数据；步骤S200，根据通用词典和所述电力词典，对所述文本数据进行分词处理，获得分词向量；其中所述分词向量包括电力词汇分词向量EW和通用词汇分词向量UW；步骤S300，根据电力词汇分词向量EW和通用词汇分词向量UW，计算电力文本标志EF，形成文本元数据；所述文本元数据包括EW、UW和EF；所述步骤S200进一步包括：步骤S210，根据标点符号，将清理后的所述文本数据划分为长句；步骤S220，判断长句中是否存在电力词典中的电力词汇，如存在，则从长句中提取电力词汇，形成所述电力词汇分词向量EW，并根据电力词汇将长句划分为短句；步骤S230，根据通用词典，对短句进行分词，去除停用词，形成通用词汇分词向量UW；所述电力词汇分词向量EW和通用词汇分词向量UW分别为：EW＝{(Ew1,P1),(Ew2,P2),……(Ewi,Pi),……(Ewn,Pn)}UW＝{(Uw1,Q1),(Uw2,Q2),……(Uwj,Qj),……(Uwm,Qm)}其中，Ewi为文本数据中的第i个电力词汇分词，Pi为所述文本数据中Ewi出现的次数，n为文本数据中电力词汇分词的数量，i的取值范围为1..n；Uwi为文本数据中的第j个通用词汇分词，m为文本数据中通用词汇分词的数量，j的取值范围为1..m；Qj＝QTFj*QIDFj；QIDFj＝lg(TN/nj)，其中QTFj为所述文本数据中Uwj出现的次数，TN为所有文本数据的数量，nj为所有文本数据中含有Uwj的文本数据的数量。