[发明专利]基于神经网络语言模型向量化的文本处理方法

权利要求书

1.基于神经网络语言模型向量化的文本处理方法，其特征在于，所述文本处理方法，包括：

从电网文本文件中提取文本信息，使用词向量算法在相似度距离维度对文本信息进行分类；

对表征相似度距离的分类结果进行编码处理得到编码后的数字串；

基于得到的数字串按业务需求拼接得到全量全字段的明细数据宽表；

从明细数据宽表中选取数据实体，确定数据实体在电网文本中的具体位置以及所属类型，基于数据实体为基础进行完整文本提取。

2.根据权利要求1所述的基于神经网络语言模型向量化的文本处理方法，其特征在于，所述使用词向量算法在相似度距离维度对文本信息进行分类，包括：

使用了词向量WordVector算法对文本信息进行分类，得到分类后代表相似度高低的分类结果。

3.根据权利要求1所述的基于神经网络语言模型向量化的文本处理方法，其特征在于，所述对表征相似度距离的分类结果进行编码处理得到编码后的数字串，包括：

使用One-Hot编码算法对分类结果进行编码，转化为0和1组成的数字串。

4.根据权利要求1所述的基于神经网络语言模型向量化的文本处理方法，其特征在于，所述基于得到的数字串按业务需求拼接得到全量全字段的明细数据宽表，包括：

以抢修单编号为关联字段，将环境因素、报修工单、抢修反馈工单、相关业务参数等集成拼接成全量全字段的明细数据宽表。

5.根据权利要求1所述的基于神经网络语言模型向量化的文本处理方法，其特征在于，所述从明细数据宽表中选取数据实体，确定数据实体在电网文本中的具体位置以及所属类型，基于数据实体为基础进行完整文本提取，包括：

从代表明细数据宽表的非结构化文本选取数据实体，并标注出具体位置以及所属类型；

基于数据实体的语法格式，通过对小样本标签进行训练实现完整文本的提取。