[发明专利]一种语料标注方法、装置和系统

权利要求书

1.一种语料标注方法，其特征在于，确定并加载数据词典，按照语料类型，对所述数据词典进行拆分，形成各个子语料词典，并将每一个子语料词典分配给对应的应用服务器；还包括：

确定目标语句；

控制每一个应用服务器中当前应用服务器执行根据该当前服务器对应的子语料词典，对所述目标语句进行实体词的匹配；

判断所述目标语句匹配后的各个实体词中第一实体词是否包含第二实体词，如果是，则只保留所述第一实体词，并对所述第一实体词进行标注；否则，分别对所述第一实体词和所述第二实体词进行标注。

2.根据权利要求1所述的方法，其特征在于，

进一步包括：设置语料片段阈值；

在所述形成各个子语料词典之后，在所述确定目标语句之前，进一步包括：根据所述语料片段阈值，将每一个子语料词典分为各个语料片段；

所述将每一个子语料词典分配给对应的应用服务器包括：将所述各个语料片段中每一个语料片段分配给对应的应用服务器；

所述控制每一个应用服务器中当前应用服务器执行根据所述各个子语料词典，对所述目标语句进行实体词的匹配，包括：控制每一个应用服务器，执行根据分配的语料片段，对所述目标语句进行实体词的匹配。

3.根据权利要求2所述的方法，其特征在于，

在所述控制每一个应用服务器，执行根据分配的语料片段，对所述目标语句进行实体词的匹配之后，在所述判断目标语句匹配后的各个实体词中第一实体词是否包含第二实体词之前，进一步包括：

对于所述每一个应用服务器，控制当前应用服务器输出当前应用服务器中的语料片段对应的key-value对，其中，key表征目标语句，value表征当前应用服务器中的语料片段对应的实体词；

将每一个子语料词典中当前子语料词典对应的各个语料片段对应的key-value对合并，为所述当前子语料词典形成与目标语句对应的实体词集合；

所述判断目标语句中匹配后的各个实体词中第一实体词是否包含第二实体词，包括：判断所有实体词集合中的第一实体词是否包含第二实体词。

4.根据权利要求1所述的方法，其特征在于，

进一步包括：接收对标注后的实体词的修订，并根据修订后的实体词的类型，将所述修订后的实体词添加到相应类型的子语料词典中；

和/或，

所述确定数据词典，包括：确定一行一词的文本文件，利用双数组Trie树加载所述文本文件，构建数据词典。

5.根据权利要求1至4任一所述的方法，其特征在于，所述各个子语料词典，包括：

人名子语料词典、地名子语料词典和机构名子语料词典中的任意一个或多个。

6.一种语料标注装置，其特征在于，包括：

生成单元，用于确定并加载数据词典，按照语料类型，对所述数据词典进行拆分，生成各个子语料词典；

分配单元，用于将所述生成单元生成的各个子语料词典中每一个子语料词典分配给对应的外设的应用服务器；

控制匹配单元，用于确定目标语句，控制外设的每一个应用服务器中当前应用服务器执行根据该当前服务器对应的子语料词典，对所述目标语句进行实体词的匹配；

标注单元，用于判断所述目标语句匹配后的各个实体词中第一实体词是否包含第二实体词，如果是，则只保留所述第一实体词，并对所述第一实体词进行标注；否则，分别对所述第一实体词和所述第二实体词进行标注。

7.根据权利要求6所述的装置，其特征在于，

进一步包括：设置单元，其中，

所述设置单元，用于设置语料片段阈值；

所述生成单元，进一步用于根据所述设置单元设置的所述语料片段阈值，将每一个子语料词典分为各个语料片段；

所述分配单元，用于将所述各个语料片段中每一个语料片段分配给对应的外设的应用服务器；

所述控制匹配单元，用于控制外设的每一个应用服务器执行根据分配的语料片段，对所述目标文本中的每一个语句进行实体词的匹配。