[发明专利]基于电力词典的文本处理方法

权利要求书

1.一种基于电力词典的文本处理方法，其特征在于，包括以下步骤：

步骤S100，获取电力系统使用的包括文本数据的文件，对该文件进行数据清理，从而获得清理后的文本数据；

步骤S200，根据通用词典和所述电力词典，对所述文本数据进行分词处理，获得分词向量；其中所述分词向量包括电力词汇分词向量EW和通用词汇分词向量UW；

步骤S300，根据电力词汇分词向量EW和通用词汇分词向量UW，计算电力文本标志EF，形成文本元数据；所述文本元数据包括EW、UW和EF；

所述步骤S200进一步包括：

步骤S210，根据标点符号，将清理后的所述文本数据划分为长句；

步骤S220，判断长句中是否存在电力词典中的电力词汇，如存在，则从长句中提取电力词汇，形成所述电力词汇分词向量EW，并根据电力词汇将长句划分为短句；

步骤S230，根据通用词典，对短句进行分词，去除停用词，形成通用词汇分词向量UW；

所述电力词汇分词向量EW和通用词汇分词向量UW分别为：

EW＝{(Ew1,P1),(Ew2,P2),……(Ewi,Pi),……(Ewn,Pn)}

UW＝{(Uw1,Q1),(Uw2,Q2),……(Uwj,Qj),……(Uwm,Qm)}

其中，Ewi为文本数据中的第i个电力词汇分词，Pi为所述文本数据中Ewi出现的次数，n为文本数据中电力词汇分词的数量，i的取值范围为1..n；

Uwi为文本数据中的第j个通用词汇分词，m为文本数据中通用词汇分词的数量，j的取值范围为1..m；Qj＝QTFj*QIDFj；QIDFj＝lg(TN/nj)，其中QTFj为所述文本数据中Uwj出现的次数，TN为所有文本数据的数量，nj为所有文本数据中含有Uwj的文本数据的数量。

2.根据权利要求1所述的文本处理方法，其特征在于，所述电力文本标志EF的计算方式如下：

3.根据权利要求1所述的文本处理方法，其特征在于，所述电力文本标志EF的计算方式如下：

4.一种文本检索方法，应用于文本检索引擎，所述文本检索引擎存储有多个文本数据，所述多个文本数据中的每一个均包括文本内容和第二元数据，其特征在于，所述方法包括以下步骤：

步骤S500，获得待检索文件，根据权利要求2或3所述的文本处理方法对待检索文件进行处理，获得第一元数据；所述第一元数据为所述待检索文件的文本元数据，所述第一元数据包括第一电力词汇分词向量EW1、第一通用词汇分词向量UW1和第一电力文本标志EF1；

步骤S600，提取第二文本数据中的第二元数据；所述第二元数据包括第二电力词汇分词向量EW2、第二通用词汇分词向量UW2和第二电力文本标志EF2；

步骤S700，计算第一元数据和第二元数据的相关度sim，如果sim大于特定阈值D，则将第二元数据对应的文本数据作为检索结果；

步骤S800，在文本检索引擎中，根据相关度sim排序显示检索结果。

5.根据权利要求4所述的文本检索方法，其特征在于，所述步骤S700中相关度sim的计算包括：

步骤S710，如果EF1>＝D1，那么

步骤S720，如果EF1<D2，那么

步骤S730，如果D1>EF1>＝D2，那么sim＝λ1*Esim+λ2*Usim；

其中，Esim为第一电力词汇分词向量EW1和第二电力词汇分词向量EW2的相似度，Usim为第一通用词汇向量UW1和第二通用词汇分词向量UW2的相似度；N为EW1和EW2中相同分词的分词数量，M为UW1和UW2中相同分词的分词数量；P1_k、P2_k分别为EW1、EW2中第k个相同分词的权重，Q1_k、Q2_k分别为UW1、UW2中第k个相同分词的权重；

所述D1的取值范围为0.55-0.7；D2的取值范围为不超过0.1；且λ1+λ2＝1。

6.根据权利要求5所述的文本检索方法，其特征在于：λ1的取值不小于0.7；λ2的取值不超过0.3。