[发明专利]一种文本审核中的规则提取方法及系统

权利要求书

1.一种文本审核中的规则提取方法，其特征在于，所述方法包括：

获取待处理的文本数据；

按照以字符为单位以及以单词为单位，分别提取所述文本数据的N-Gram特征，以构建第一候选规则；

对所述文本数据进行泛化处理，并从泛化处理后的文本数据中提取N-Gram特征，以构建第二候选规则；

针对所述文本数据中的语句，构建语句依存关系树，并根据所述语句依存关系树生成N-Gram特征，以构建第三候选规则；

针对训练样本，抽取上述三种候选规则；并针对不同审核类别，确定对应的规则权重，并通过预先设置的阈值判定每个审核类别的规则集合，以形成每个审核类别的审核规则。

2.根据权利要求1所述的方法，其特征在于，按照以字符为单位以及以单词为单位，分别提取所述文本数据的N-Gram特征包括：

以字符为单位，从所述文本数据中提取长度为3的3元模型特征，以及以单词为单位，从所述文本数据中提取SkippingBigram特征。

3.根据权利要求1所述的方法，其特征在于，对所述文本数据进行泛化处理包括：

确定包含人名和人称代词的命名实体，并利用所述命名实体对所述文本数据进行泛化。

4.根据权利要求1或3所述的方法，其特征在于，从泛化处理后的文本数据中提取N-Gram特征包括：

以字符为单位，从所述泛化处理后的文本数据中提取长度为3的3元模型特征，以及以单词为单位，从所述泛化处理后的文本数据中提取Skipping Bigram特征。

5.根据权利要求1所述的方法，其特征在于，所述语句依存关系树中，节点表征语句中的单词，节点与节点之间的边表征单词之间的依存关系。

6.根据权利要求1所述的方法，其特征在于，根据所述语句依存关系树生成N-Gram特征包括：

针对所述语句依存关系树中的叶子节点，根据与所述叶子节点具备依存关系的其它节点，生成N-Gram特征。

7.根据权利要求1所述的方法，其特征在于，形成每个审核类别的审核规则包括：

确定当前候选规则命中的审核文本，并识别所述命中的审核文本对应的违规类别，以确定所述当前候选规则在违规类别中的分布距离；

根据所述当前候选规则在违规类别中的分布距离，构建评价函数，并利用所述评价函数确定所述当前候选规则的评价结果；

分别从不同的违规类别对应的候选规则中抽取评价结果较高的目标规则，并将所述目标规则作为对应违规类别文本的标准审核规则。

8.一种文本审核中的规则提取系统，其特征在于，所述系统包括：

数据获取单元，用于获取待处理的文本数据；

第一候选规则构建单元，用于按照以字符为单位以及以单词为单位，分别提取所述文本数据的N-Gram特征，以构建第一候选规则；

第二候选规则构建单元，用于对所述文本数据进行泛化处理，并从泛化处理后的文本数据中提取N-Gram特征，以构建第二候选规则；

第三候选规则构建单元，用于针对所述文本数据中的语句，构建语句依存关系树，并根据所述语句依存关系树生成N-Gram特征，以构建第三候选规则；

标准审核规则确定单元，用于针对训练样本，抽取上述三种候选规则；并针对不同审核类别，确定对应的规则权重，并通过预先设置的阈值判定每个审核类别的规则集合，以形成每个审核类别的审核规则。

9.根据权利要求8所述的系统，其特征在于，所述第一候选规则构建单元包括：

特征提取模块，用于以字符为单位，从所述文本数据中提取长度为3的3元模型特征，以及以单词为单位，从所述文本数据中提取Skipping Bigram特征。

10.根据权利要求8所述的系统，其特征在于，所述标准审核规则确定单元包括：

分布距离确定模块，用于确定当前候选规则命中的审核文本，并识别所述命中的审核文本对应的违规类别，以确定所述当前候选规则在违规类别中的分布距离；

评价结果确定模块，用于根据所述当前候选规则在违规类别中的分布距离，构建评价函数，并利用所述评价函数确定所述当前候选规则的评价结果；

标准确定模块，用于分别从不同的违规类别对应的候选规则中抽取评价结果较高的目标规则，并将所述目标规则作为对应违规类别文本的标准审核规则。