[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

根据输入的待处理实体数据计算待处理实体对应的数值信息；

在展示实体链表中查找对应数值信息与所述待处理实体对应的数值信息之差最小的目标展示实体，所述展示实体链表存放展示实体数据，所述展示实体为用于展示的现有实体，每一展示实体有各自对应的数值信息；

将所述目标展示实体与所述待处理实体二者对应的数值信息之差与预设值比较，若该数值信息之差大于或等于所述预设值，则确定所述展示实体链表中不存在所述待处理实体的重复实体数据；若该数值信息之差小于所述预设值，则预测所述目标展示实体与所述待处理实体的相似度，并根据所述相似度排查所述展示实体链表中是否存在所述待处理实体的重复实体数据。

2.根据权利要求1所述的方法，其特征在于，所述展示实体链表为二维实体链表的的主链，所述二维实体链表还包括子链，每一子链为一展示实体的重复实体链表，其中存放该展示实体的重复实体数据，

通过如下方式得到所述二维实体链表：

按照预设规则从各现有实体中选出特定实体；

计算各现有实体对应的数值信息，并按照该数值信息从小到大的顺序对各现有实体排序，得到现有实体链表；

根据各现有实体对应的数值信息，将所述现有实体链表转换为二维链表，转换规则为：以所述特定实体为二维链表主链的第一个现有实体，沿着所述现有实体链表向后依次确定二维链表主链的后续现有实体，并生成二维链表主链的各现有实体的子链，使得满足二维链表主链上相邻现有实体对应的数值信息之差大于或等于所述预设值，且二维链表主链现有实体与其子链现有实体对应的数值信息之差小于所述预设值；

根据所述二维链表的子链生成训练数据，训练机器学习算法模型，并在所述训练的过程中得到所述二维链表所有子链的非重复实体，所述子链的非重复实体是该子链中与对应的二维链表主链现有实体不重复的实体，所述机器学习算法模型为支持分类的模型；

将所述所有子链的非重复实体变更到所述二维链表的主链，所得到的新二维链表为所述二维实体链表。

3.根据权利要求2所述的方法，其特征在于，还包括：

若所述展示实体链表中不存在所述待处理实体的重复实体数据，则将所述待处理实体数据存放到所述展示实体链表，以便展示；

若所述展示实体链表中存在所述待处理实体的重复实体数据，则将所述待处理实体数据存放到所述目标展示实体的重复实体链表，以便不予展示。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在接收到对所述二维实体链表中一实体的下线指令后，查找该待下线实体数据的存放位置；

若所述待下线实体数据存放在所述展示实体链表中，且所述二维实体链表中存在所述待下线实体的重复实体链表，则删除存放的所述待下线实体数据，并将该重复实体链表中用户评分最高的实体数据移动到所述待下线实体数据的原存放位置；

若所述待下线实体数据存放在所述展示实体链表、且所述二维实体链表中不存在所述待下线实体的重复实体链表，或者，若所述待下线实体数据存放在某一展示实体的重复实体链表中，则将直接删除存放的所述待下线实体数据。