[发明专利]一种数据过滤挖掘方法

说明书

本发明的技术方案包括一种数据过滤挖掘方法，用于实现：开发爬虫引擎爬取互联网海量数据，利用神经网络、机器学习算法构建核心价值模型实时自动过滤挖掘海量数据的高价值信息，包括对获取的数据进行大数据处理和自然语言处理，并建立包括文本分析模型、信息价值评价模型以及深度学习算法调优模型的数据分析模型体系，对目标数据进行处理并推送给用户。本发明的有益效果为：帮助用户精准识别潜在客户，对比人工处理，其处理过程，更简单、高效、识别率更高，通过机器学习算法自动精准识别高价值信息、潜在客户，减少人工误判漏判。

技术领域

本发明涉及一种数据过滤挖掘方法，属于计算机技术领域。

背景技术

计算机技术和通信技术迅速发展，用户需求快速增长，使得计算机网络的应用越来越广、规模越来越大，大数据技术是以数据为本质的新一代革命性的信息技术，在数据挖潜过程中，能够带动理念、模式、技术及应用实践的创新。在大数据时代背景下，大批企业的业务向数字化、信息化转型，而面对存在着大量冗杂的互联网数据，每个用户在有限的时间和精力下，很难高效、精准的识别到有价值信息。

发明内容

为解决上述问题，本发明的目的在于提供一种数据过滤挖掘方法，开发爬虫引擎爬取互联网海量数据，利用神经网络、机器学习算法构建核心价值模型实时自动过滤挖掘海量数据的高价值信息，包括对获取的数据进行大数据处理和自然语言处理，并建立包括文本分析模型、信息价值评价模型以及深度学习算法调优模型的数据分析模型体系，对目标数据进行处理并推送给用户。

本发明解决其问题所采用的技术方案是：一种数据过滤挖掘方法，其特征在于，包括以下步骤：S100、使用Nutch分布式爬虫技术对目标网站进行数据采集；S200、对获取的数据进行大数据处理和自然语言处理，其中大数据处理包括数据抽取、校验、装载、存储以及计算，其中自然语言处理包括对数据进行排重、过滤、文本分类和摘要；S300、建立数据分析模型体系，所述数据分析模型体系包括文本分析模型、信息价值评价模型以及深度学习算法调优模型；S400、使用数据分析模型体系对处理后的数据进行分析，并根据用户反馈信息进行优化。

进一步的，S100包括：

S101、创建统一资源定位符列表文件；S102、根据统一资源定位符列表文件，添加入口统一资源定位符地址，生成待下载列表；S103、提取待下载列表生成下载任务；S104、从全球广域网中根据下载任务下载具体页面内容；S105、分析提取页面内容，并判断页面内容中是否包含统一资源定位符，若是，则返回执行步骤S102，否则根据页面内容建立索引检索，完成数据采集。

进一步的，所述步骤S500中，提取页面内容包括：网页内容自动提取，区分网页中的标题和正文信息，并对内容具有连续性的多个网页内容进行自动合并、网络论坛信息自动提取；网页正文提取，从一个网页混乱的结构中自动分析并提出正文部分；多字符集编码转换，将包括但不限于gb2132以及UTF8字符采用Unicode编码方式执行识别转换。

进一步的，所述对数据进行排重包括基于统一资源定位符的排重以及基于网页内容的排重。

进一步的，所述文本分类包括：使用指定算法对数据进行训练，得到不同的训练模型并放入选择的容器中；根据得到的训练模型对文本数据进行分类。

进一步的，所述指定算法包括线性分类算法、临近分类算法和布朗词聚类算法。

进一步的，所述对数据进行摘要包括：对数据基于统计的信息抽取，据线索词词典、词频、词和句子的统计规律进行模式匹配汲取文摘；对数据基于理解的信息抽取，利用句法、语义知识等知识，在对文章的内容进行理解的基础上提取文摘。

进一步的，所述文本分析模型基于自然语言处理技术对长文本内容进行语句和单词的分割，得到文本包含的关键词、关键词分类匹配、词频统计信息，为信息价值评价模型提供数据准备。