[发明专利]一种数据处理方法及装置

说明书

本申请提供一种数据处理方法及装置，涉及数据处理技术领域，方法包括：获取待分类文本数据，将待分类文本数据划分为至少一个待分类文本子数据，确定每个待分类文本子数据中的属性字段对应的特征字段；按照每个待分类文本子数据按照第一字符排列顺序以及第二字符排列顺序的向量处理方式，分别得到第一向量特征以及第二向量特征，并综合得到每个待分类文本数据的向量特征；通过学习各特征字段对各待分类文本子数据的向量特征向量解析结果的权重影响，得到分类结果，并将所有待分类文本子数据的分类结果作为待分类文本数据的分类结果。本申请解决了待分类子数据中各字段之间的长距离依赖的问题，提高了分类准确率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

近年来随着互联网和信息产业的高速发展，大量的非结构化文本数据不断增长，面对海量的文本数据，如何高效地进行信息管理和数据挖掘成为了研究热点之一，而信息抽取技术也逐渐受到了人们的关注。

为了更好的确定人们的关注信息，通常需要对自然语言表达的语段、句子、语篇执行一定的分析与计算，并探究文本隐含的情感、观念、偏好甚至价值取向等等。

现有技术中，通常需要建立一个语料分类库，在语料分类库中对各个语料标注了分类标签，但是由于文本种类数据量大，使用语料分类库的方法进行文本的分类的准确性低、可扩展能力差。

另外一种方法则是使用条件随机场、隐马尔可夫模型等序列分类方法来进行分类，但是这种方法无法解决文本数据中不同字段之间存在的长距离依赖的问题。

发明内容

本申请实施例提供一种数据处理方法及装置，具有较好的扩展性和泛化性，且至少解决了文本数据中不同字段之间存在的长距离依赖的问题。

一方面，本申请实施例提供一种数据处理方法，所述方法包括：

获取待分类文本数据，根据所述待分类文本数据中的属性字段，将待分类文本数据划分为至少一个待分类文本子数据，并根据所述待分类文本数据中的属性字段，确定每个待分类文本子数据中的属性字段对应的特征字段；

按照每个待分类文本子数据的第一字符排列顺序的向量处理方式，得到第一向量特征；按照每个待分类文本子数据的第二字符排列顺序的向量处理方式，得到第二向量特征，根据所述第一向量特征以及所述第二向量特征得到每个待分类文本数据的向量特征，所述第一字符排列顺序与所述第二字符排列顺序相反；

通过学习各特征字段对各待分类文本子数据的向量特征向量解析结果的权重影响，得到每个待分类文本子数据的分类结果，并将所有待分类文本子数据的分类结果作为所述待分类文本数据的分类结果，所述第一向量处理模块、所述第二向量处理模块以及所述分类模块构成已训练的文本数据分类模型，所述文本数据分类模型是根据训练样本迭代训练得到的。

一方面，本申请实施例提供一种数据处理装置，包括：

特征字段确定单元，用于获取待分类文本数据，根据所述待分类文本数据中的属性字段，将待分类文本数据划分为至少一个待分类文本子数据，并根据所述待分类文本数据中的属性字段，确定每个待分类文本子数据中的属性字段对应的特征字段；

向量化单元，用于按照每个待分类文本子数据的第一字符排列顺序的向量处理方式，得到第一向量特征；按照每个待分类文本子数据的第二字符排列顺序的向量处理方式，得到第二向量特征，根据所述第一向量特征以及所述第二向量特征得到每个待分类文本数据的向量特征，所述第一字符排列顺序与所述第二字符排列顺序相反；