[发明专利]一种文本数据标注方法、装置、计算机装置及计算机可读存储介质

说明书

本发明适用于互联网技术领域，提供了一种文本数据标注方法、装置、计算机装置及计算机可读存储介质，该方法包括：获取含有主宾关键字对的网页文本，将网页文本按照段落结构分段，进行分句处理，得到待处理语句；对待处理语句进行主宾关键字对、正则表达式及穷举关键字匹配，在至少有一个匹配成功时，将待处理语句作为候选语句，将候选语句存入清单集合；循环遍历清单集合，对所清单集合中的候选语句进行处理，从候选语句中选择满足预设条件的语句作为有效语句，将有效语句存入数据库中；显示有效语句。本发明提供的文本数据标注方法，可以提高文本数据的词性标注的准确度。

技术领域

本发明属于互联网技术领域，尤其涉及一种文本数据标注方法、装置、计算机装置及计算机可读存储介质。

背景技术

现有的自然语言处理模型通用性很强，针对性不足，就不同专业领域的文本数据处理，获得的词性标注结果往往不尽如人意，导致实体词性标注不准确，非实体专业词的词性标注与一般名词相混淆。现有技术中，通过使用外部简单的工具修改词库，只能解决部分问题，但是无法从本质上解决文本数据的词性标注不准确的问题。

发明内容

本发明实施例提供一种文本数据标注方法，旨在解决现有文本数据的词性标注不准确的问题。

本发明是这样实现的，一种文本数据标注方法，包括：

获取含有预先定义的主宾关键字对的网页文本，将所述网页文本按照段落结构分段，将分段后的段落文本进行分句处理，得到待处理语句；

对所述待处理语句进行主宾关键字对、正则表达式及穷举关键字匹配，在所述待处理语句与关键字对、正则表达式及穷举关键字中至少有一个匹配成功的情况下，将匹配成功的待处理语句作为候选语句，将所述候选语句存入清单集合；

循环遍历所述清单集合，通过自然语言处理模型对所清单集合中的所述候选语句进行处理，从所述候选语句中选择满足预设条件的语句作为有效语句，将所述有效语句存入数据库中，其中，所述预设条件包括以下任一项：语句中包括至少两个或两个以上的词的实体类型与所述关键字对的实体类型相同；语句中包括至少一个实体类型的词，及根据正则表达式或穷举关键字匹配得到的至少一个词；

显示所述有效语句，并将所述有效语句中与关键字对、正则表达式及穷举关键字匹配的词进行突出显示。

可选的，所述获取含有预先定义的主宾关键字对的网页文本之前，所述文本数据标注方法包括：

从预先获取的数据集的元素中获取主语和宾语，依据所述元素的主语和宾语构成表示不同关系类型的所述主宾关键字对。

可选的，所述从所述候选语句中选择满足预设条件的语句作为有效语句，包括以下过程：

若所述预设条件为所述语句中包括至少两个或两个以上的词的实体类型与所述关键字对的实体类型相同，则在所述关键字对均为人名PERSON实体类型的情况下，判断所述候选语句的分词结果中是否包括至少两个PERSON实体类型的分词，若是，则将所述候选语句确定为所述有效语句；

在所述关键字对包括人名PERSON实体类型及机构ORGANIZATION实体类型的情况下，判断所述候选语句的分词结果中是否包括至少一个人名PERSON实体类型的分词及至少一个机构ORGANIZATION实体类型的分词，若是，则将所述候选语句确定为所述有效语句；

在所述关键字对包括人名PERSON实体类型及地址LOCATION实体类型的情况下，判断所述候选语句的分词结果中是否包括至少一个人名PERSON实体类型的分词及至少一个地址LOCATION实体类型的分词，若是，则将所述候选语句确定为所述有效语句。

可选的，所述从所述候选语句中选择满足预设条件的语句作为有效语句，包括以下过程：