[发明专利]数据时效识别方法及装置

权利要求书

1.一种数据时效识别方法，其特征在于，所述方法包括：

获取待处理数据；

根据所述待处理数据，利用网页爬虫获取关联数据；

基于所述待处理数据与所述关联数据的语义关系确定所述待处理数据的时效信息，其中，所述时效信息包括旧闻或非旧闻。

2.根据权利要求1所述的数据时效识别方法，其特征在于，在根据所述待处理数据，利用网页爬虫获取关联数据之前，所述方法还包括：

响应于所述待处理数据包含日期信息，根据所述日期信息判断所述待处理数据的时效信息；

响应于所述待处理数据不包含日期信息，执行根据所述待处理数据，利用网页爬虫获取关联数据的步骤。

3.根据权利要求2所述的数据时效识别方法，其特征在于，所述根据所述日期信息判断所述待处理数据的时效信息，包括：

确定入库时间，所述入库时间为获取所述待处理数据的时间；

响应于所述日期信息与所述入库时间的相差时间大于第一时间阈值，确定所述待处理数据为旧闻或执行根据所述待处理数据，利用网页爬虫获取关联数据的步骤；

响应于所述日期信息与所述入库时间的相差时间小于或等于第一时间阈值，确定所述待处理数据为非旧闻。

4.根据权利要求1所述的数据时效识别方法，其特征在于，所述待处理数据包括第一标题信息；

所述根据所述待处理数据，利用网页爬虫获取关联数据，包括：

根据所述第一标题信息，通过搜索引擎，获取搜索结果；

基于所述搜索结果，得到作为所述关联数据的第二标题信息及发布时间。

5.根据权利要求4所述的数据时效识别方法，其特征在于，所述基于所述待处理数据与所述关联数据的语义关系确定所述待处理数据的时效信息，包括：

对所述第一标题信息与所述第二标题信息进行预处理；

将所述预处理后的所述第一标题信息和所述第二标题信息分别向量化，转化为第一向量和第二向量；

基于所述第一向量和所述第二向量，确定所述第一标题信息与每个所述第二标题信息之间的语义相似度；

响应于最大语义相似度大于或等于文本相似阈值，根据第二时间阈值判断所述待处理数据的时效信息；

响应于最大语义相似度小于文本相似阈值，确定所述待处理数据为非旧闻。

6.根据权利要求1-5任一项所述的数据时效识别方法，所述方法还包括：

响应于所述待处理数据的时效信息确定为旧闻，确定所述时效信息为旧闻的待处理数据的时效性：

响应于所述时效性为无时效性，将所述时效信息为旧闻的待处理数据的时效信息，重新确定为非旧闻；

响应于所述时效性为有时效性，维持所述时效信息为旧闻的待处理数据的时效信息。

7.根据权利要求6所述的数据时效识别方法，其特征在于，通过时效分类模型，确定所述时效信息为旧闻的待处理数据的时效性，其中，所述时效分类模型通过以下训练方式得到：

获取训练集，所述训练集包括多个训练数据以及所述训练数据对应的标注，其中，所述标注至少包括有时效性和无时效性，和/或强时效性和弱时效性；

通过所述训练集，训练所述时效分类模型。

8.一种内容推送方法，其特征在于，所述方法包括：

根据用户个性化信息，从数据库的数据中获取推送内容，其中，所述数据库的数据通过如权利要求1-7任一项所述的数据时效识别方法确定所述待处理数据的时效信息后存入所述数据中；

将所述推送内容向所述用户推送。

9.一种数据时效识别装置，其特征在于，所述装置包括：

数据获取单元，用于获取待处理数据；

爬虫单元，用于根据所述待处理数据，利用网页爬虫获取关联数据；

时效确定单元，用于基于所述待处理数据与所述关联数据的语义关系确定所述待处理数据的时效信息，其中，所述时效信息包括旧闻或非旧闻。