[发明专利]文本的去重方法及装置、计算机存储介质、电子设备

权利要求书

1.一种文本的去重方法，其特征在于，包括：

确定关联于同一司法公告案号的多个待处理文本，所述待处理文本包括司法事件的特征描述数据；

从所述特征描述数据中提取描述司法事件的时间特征；

基于提取到的所述时间特征，确定重复的待处理文本并对其进行去重处理。

2.根据权利要求1所述的方法，其特征在于，所述从所述特征描述数据中提取描述司法事件的时间特征，包括：基于用于提取所述时间特征的正则表达式，在所述特征描述数据进行正则匹配，以从中提取描述司法事件的时间特征。

3.根据权利要求1所述的方法，其特征在于，所述基于提取到的所述时间特征，确定重复的待处理文本并对其进行去重处理，包括：

基于提取到的所述时间特征，确定重复的待处理文本，并对重复的待处理文本添加第一标注；

基于添加的所述第一标注，对重复的待处理文本进行去重处理。

4.根据权利要求3所述的方法，其特征在于，所述基于添加的所述第一标注，对重复的待处理文本进行去重处理，包括：若两个待处理文本的第一标注相同，则判定所述两个待处理文本为重复的待处理文本，并保留第一评价值大于设定第一评价阈值的待处理文本，所述第一评价值包括时效性评价值、权威性评价值、信息量评价值中的至少其一。

5.根据权利要求1所述的方法，其特征在于，所述基于提取到的所述时间特征，确定重复的待处理文本并对其进行去重处理，包括：

确定从不同特征描述数据提取到的时间特征之间的相似度；

响应于相似度小于设定相似度阈值的判定结果，将对应的至少两个待处理文本判定为重复的待处理文本，并对其进行去重处理。

6.根据权利要求5所述的方法，其特征在于，所述确定从不同特征描述数据提取到的时间特征之间的相似度，包括：基于设定的特征描述周期，统计确定从不同特征描述数据提取到的在同一特征描述周期内的时间特征之间的相似度。

7.根据权利要求6所述的方法，其特征在于，所述待处理文本为开庭公告文本，所述时间特征为所述开庭公告文本中记录的开庭时间，所述相似度为不同开庭公告文本中记录的开庭时间之间的开庭时间差值。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

针对基于提取到的所述时间特征，初步判定为非重复的待处理文本，则从对应的特征描述数据中提取描述司法事件的人员特征；

基于提取到的所述人员特征，确定所述非重复的待处理文本中实际重复的待处理文本，并对其进行去重处理。

9.根据权利要求8所述的方法，其特征在于，所述基于提取到的所述人员特征，确定所述非重复的待处理文本中实际重复的待处理文本，并对其进行去重处理，包括：

基于提取到的所述人员特征，确定所述非重复的待处理文本中实际重复的待处理文本，并对实际重复的待处理文本添加第二标注；

基于添加的所述第二标注，对实际重复的待处理文本进行去重处理。

10.根据权利要求8所述的方法，其特征在于，所述基于添加的所述第二标注，对实际重复的待处理文本进行去重处理，包括：

若两个待处理文本的第二标注相同，则判定所述两个待处理文本为实际重复的待处理文本，并保留评价值大于设定评价阈值的待处理文本，所述评价值包括时效性评价值、权威性评价值、信息量评价值中的至少其一。

11.根据权利要求8所述的方法，其特征在于，所述从对应的特征描述数据中提取描述司法事件的人员特征，包括：基于用于提取所述人员特征的正则表达式，在非重复的待处理文本对应的特征描述数据进行正则匹配，以从中提取描述司法事件的人员特征。

12.根据权利要求8-11任一项所述的方法，其特征在于，所述人员特征为当事人名称。