[发明专利]文本规整方法及系统

权利要求书

1.一种文本规整方法，其特征在于，包括：

接收待规整文本数据；

对待规整文本数据进行分词，并对分词后的各词进行词性标注；

提取各词的文本规整特征，所述文本规整特征包括：语义特征和泛化特征，所述语义特征包括每个词的词向量和词性向量，所述泛化特征用于描述文本数据中重复部分；

将所述文本规整特征输入预先构建的文本规整模型，得到文本规整结果；

根据所述文本规整结果，删除所述待规整文本数据中需要删除的词，得到规整后的文本数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括按以下方式构建文本规整模型：

确定文本规整模型的拓扑结构；

收集文本数据；

对收集的文本数据进行分词；

对分词后的各词进行词性标注，并标注各词是否为需要规整掉的词，得到各词的标签信息；

提取各词的文本规整特征，所述文本规整特征包括：语义特征和泛化特征；

利用提取的各词的文本规整特征及标签信息，训练得到文本规整模型参数。

3.根据权利要求2所述的方法，其特征在于，所述文本规整模型的拓扑结构依次包括：输入层、线性规整层、一个或多个隐层及输出层；其中，隐层节点之间采用双向连接，输出层节点之间存在转移关系。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述泛化特征包括以下任意一种或多种组合：前后词特征、前后词相似度特征、前后叠词特征、前后词性特征。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

保存所述待规整文本数据及对应的文本规整结果；

在用户请求查看被规整掉的文本数据时，显示所述待规整文本数据，并根据所述文本规整结果标记所述待规整文本数据中被规整掉的文本数据。

6.根据权利要求5所述的方法，其特征在于，所述标记所述待规整文本数据中被规整掉的文本数据包括：

使用删除线或下划线或特定颜色字体显示所述待规整文本数据中被规整掉的文本数据。

7.一种文本规整系统，其特征在于，包括：

接收模块，用于接收待规整文本数据；

分词模块，用于对待规整文本数据进行分词；

标注模块，用于对分词后的各词进行词性标注；

规整特征提取模块，用于提取各词的文本规整特征，所述文本规整特征包括：语义特征和泛化特征，所述语义特征包括每个词的词向量和词性向量，所述泛化特征用于描述文本数据中重复部分；

规整模块，用于将所述文本规整特征输入预先构建的文本规整模型，得到文本规整结果；

输出模块，用于根据所述文本规整结果，删除所述待规整文本数据中需要删除的词，得到规整后的文本数据。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：模型构建模块，用于构建文本规整模型；所述模型构建模块包括：

拓扑结构确定单元，用于确定文本规整模型的拓扑结构；

文本收集单元，用于收集文本数据；

分词单元，用于对收集的文本数据进行分词；

预处理单元，用于对分词后的各词进行词性标注，并标注各词是否为需要规整掉的词，得到各词的标签信息；

特征提取单元，用于提取各词的文本规整特征，所述文本规整特征包括：语义特征和泛化特征；

训练单元，用于利用提取的各词的文本规整特征及标签信息，训练得到文本规整模型参数。

9.根据权利要求8所述的系统，其特征在于，所述文本规整模型的拓扑结构依次包括：输入层、线性规整层、一个或多个隐层及输出层；其中，隐层节点之间采用双向连接，输出层节点之间存在转移关系。

10.根据权利要求7至9任一项所述的系统，其特征在于，所述泛化特征包括以下任意一种或多种组合：前后词特征、前后词相似度特征、前后叠词特征、前后词性特征。