[发明专利]一种对工业产品的大数据进行筛选的方法及系统

说明书

本发明涉及一种对工业产品的大数据进行筛选的方法及系统，包括：步骤1，按照数据来源对数据进行预分类后得到第一分类数据，对第一分类数据进行数据抓取和语法拆分；步骤2，建立各个预分类下关键词信息的匹配分类规则，对第一分类数据按照其对应的匹配分类规则进行关键词提取并匹配后分类得到第二分类数据；步骤3，建立用户与第二分类数据的匹配特征数据，基于用户的匹配特征数据和搜索数据进行数据推送；首先按照数据来源进行分类，该分类下的关键词更明确，因此最后得到的分类匹配结果更加准确，基于该分类匹配结果进行的用户检索结果也更加准确，提高了检索数据推送结果的准确性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种对工业产品的大数据进行筛选的方法及系统。

背景技术

随着经济的发展，工业产品在生产生活中的使用越来越广泛，工业主要是指原料采集与产品加工制造的产业或者工程，工业是唯一生产现代化劳动手段的部门，它决定着国民经济现代化的速度、规模和水平，在当代世界各国国民经济中起着主导作用。

工业大数据是互联网，大数据和工业产业结合的产物，同时又反作用于产业升级发展。对于制造业而言，了解行业大数据产生的背景，归纳行业大数据的分类和特点，从数据流推动本身价值创造的视角看待、重造工业价值流程；对于购买用户而言，通过检索可以明确得到更准确满足需求的产品推荐，将具有现实意义。

发明内容

本发明针对现有技术中存在的技术问题，提供一种对工业产品的大数据进行筛选的方法及系统，解决现有技术中工业产品大数据数据量大的问题。

跟据本发明的第一方面，提供了一种对工业产品的大数据进行筛选的方法，包括：

步骤1，按照数据来源对数据进行预分类后得到第一分类数据，对所述第一分类数据进行数据抓取和语法拆分；

步骤2，建立各个预分类下关键词信息的匹配分类规则，对所述第一分类数据按照其对应的所述匹配分类规则进行关键词提取并匹配后分类得到第二分类数据；

步骤3，建立用户与所述第二分类数据的匹配特征数据，基于用户的匹配特征数据和搜索数据进行数据推送。

本发明提供的一种对工业产品的大数据进行筛选的方法首先按照数据来源进行分类，该分类下的关键词更明确，因此最后得到的分类匹配结果更加准确，基于该分类匹配结果进行的用户检索结果也更加准确，提高了检索数据推送结果的准确性。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述第一分类数据包括：交易平台、工业产品制造商和供应商；

所述交易平台的第二分类数据包括：工业产品营销数据、用户行为数据、用户属性数据和商品数据；

所述工业产品制造商的第二分类数据包括：原材料采购数据、原材料损耗数据、生产设备采购数据、生产设备损耗数据和商品数据；

所述供应商的第二分类数据包括：原材料出售数据和生产设备出售数据。

可选的，所述步骤1还包括：根据布隆过滤器、相似度聚合以及分类海明距离判断抓取的数据内容是否重复，删除重复的数据内容。

可选的，所述步骤2中进行关键词提取并匹配的过程中，数据与至少两个的关键词均匹配时，该数据分类到该至少两个的第二分类数据中；所述步骤2还包括：按照用户数据、产品数据、原料数据进行数据归类，其中，所述用户数据包括：用户行为数据和用户属性数据，所述产品数据包括：商品数据；所述原料数据包括：原材料采购数据、原材料损耗数据、生产设备采购数据、生产设备损耗数据、原材料出售数据和生产设备出售数据。

可选的，所述步骤3中的用户包括工业产品购买用户和工业产品制造商用户。