[发明专利]数据筛选的方法、装置以及证券化贷款的筛选方法、装置

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种数据筛选的方法、装置以及证券化贷款的筛选方法、装置。

背景技术

现实生活中，常常需要从大量的数据记录中筛选出满足要求的数据记录，以便于对筛选出的数据进行分类、总结或其它的后续处理。例如，从记录有各个学科的期末考试成绩的数据库中筛选出英语成绩大于60分的学生；从某公司的员工数据库中筛选出年终评定为优秀的员工；或者从银行的贷款数据库中寻找出满足证券化条件的贷款记录等。

现有的一种数据筛选的方法中，通过将数据库中的全部记录都提取到应用程序，然后逐条进行判断，来找出满足要求的数据记录。采用所述的方法，数据传输量大，耗时较长，效率较低。

发明内容

本发明提供一种数据筛选的方法、装置以及证券化贷款的筛选方法、装置，本发明进行数据筛选时用时较少且效率较高。

本发明提供的一种数据筛选的方法，应用于至少包含有第一数据项、第二数据项和第三数据项的数据库中的数据记录的筛选，包括：

A1执行预筛选，从待选数据库中剔除不满足筛选要求的数据记录，满足要求的数据记录形成预选库；

A2根据筛选条件生成数据库查询语句，利用所述查询语句由所述预选库中筛选出满足筛选条件的数据记录，形成备选库；

A3在所述备选库中提取用于随机分布控制的第一数据项的内容和用于集中度控制的第二数据项的内容；

A4根据第一数据项内容执行随机分布控制，随机访问所述备选库中的数据记录；对于随机访问的每一条数据记录，根据第二数据项内容对该数据记录进行集中度控制，以控制该数据记录的第三数据项内容在目标数据库中的比例，若所述第三数据项内容达到比例要求，则舍弃该数据记录；否则，执行步骤A5；

A5判断该数据记录的第三数据项内容是否满足匹配条件，若是，将该数据记录移入目标数据库，否则，返回至步骤A4。

可选的，所述第一数据项和第二数据项为同一的数据项；或

第二数据项和第三数据项为同一的数据项；或

第一数据项和第三数据项为同一数据项；或

第一数据项、第二数据项和第三数据项为同一数据项。

可选的，所述第一数据项和/或第二数据项和/或第三数据项为数值数据项。

可选的，在待筛选数据库中按照黑列表的方式，根据关键字剔除不满足筛选要求的数据记录。

可选的，执行随机分布控制的步骤如下：

将所述备选库中的数据记录导入以数据项为分布维度的空间矩阵中；

通过均匀随机函数均匀的访问所述空间距阵中的数据记录。

可选的，所述空间距阵为稀疏的空间距阵。

可选的，若数据项为离散数值型数据项，则该数据项直接作为空间坐标；

若数据项为连续数值型数据项，则将该连续值在备选库的取值范围分为N等分，将连续值转换为分段的离散值作为空间坐标。

本发明还提供一种数据筛选的方法，应用于至少包含有第一数据项、第二数据项和第三数据项的数据库中的数据记录的筛选，包括：

A11执行预筛选，从待选数据库中剔除不满足筛选要求的数据记录，形成预选库；

A21根据筛选条件生成数据库查询语句，利用所述查询语句由所述预选库中筛选出满足筛选条件的数据记录，形成备选库；

A31在所述备选数据库中提取用于随机分布控制的第一数据项的内容和用于集中度控制的第二数据项的内容；

A41根据第一数据项内容执行随机分布控制，随机访问所述备选库中的数据记录；

A51对于每一条数据记录，判断该数据记录的第三数据项内容是否满足匹配条件，若是，执行步骤A61；否则，舍弃该数据记录，返回至步骤A41；

A61根据第二数据项内容对该数据记录进行集中度控制，以控制该数据记录的第三数据项内容在目标数据库中的比例，若所述第三数据项内容达到比例要求，则舍弃该数据记录，返回步骤A41，否则，将该数据记录移入目标数据库。

可选的，所述第一数据项和第二数据项为同一的数据项；或

第二数据项和第三数据项为同一的数据项；或

第一数据项和第三数据项为同一数据项；或

第一数据项、第二数据项和第三数据项为同一数据项。

可选的，所述第一数据项和/或第二数据项和/或第三数据项为数值数据项。

可选的，在待筛选数据库中按照黑列表的方式，根据关键字剔除不满足筛选要求的数据记录。