[发明专利]一种基于大数据筛选相应用户的数据处理方法

说明书

本发明公开了一种基于大数据筛选相应用户的数据处理方法，其处理方法具体包括以下步骤S1、在网络基站服务器中建立相关的数据检验系统和筛选系统，且针对建立的数据检验系统和筛选系统进行测试检验，检测系统漏洞和错误日志，避免出现检测失误和数据错误的情况，安装放置于存储有大数据网络的服务器机组中,本发明涉及大数据处理技术领域。该基于大数据筛选相应用户的数据处理方法，通过可以让大数据库根据用户提供的数据指令和词条进行检索数据时更加便捷，检索速度更快，而且后续使用中不会轻易的泄露数据，让整体变的更加的安全，这样一来人们的使用隐私性便会大幅度提高，其检索速度也会大幅度缩短，这便于人们使用。

技术领域

本发明涉及大数据处理技术领域，具体为一种基于大数据筛选相应用户的数据处理方法。

背景技术

大数据是T行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要，而数据筛选在整个数据处理流程中处于至关重要的地位。数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期数据分析。数据筛选包括数据抽取、数据清理、数据加载三个部分，大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要，而数据筛选在整个数据处理流程中处于至关重要的地位。数据量的增加及结构的复杂化，这使得面向大数据的数据筛选必然会耗费较多资源，因此要想快速准确筛选出有价值的数据选择合适的算法十分必要，而每个算法都有着自己使用所需要的环境，大数据环境下数据复杂度的增加提升了选择合适算法的困难；其次大数据的巨大数据量也使得通过单一算法分析出有价值的数据越来越困难。

现有的基于大数据筛选相应用户的数据处理方法筛选功能较为陈旧，而且筛选速度较为一般，也不具有隐私性，这样一来人们使用时将会带来较大的麻烦，不能在发出指令的第一时间就检索到相应的数据信息，而且在后续使用中非常容易出现数据泄露的情况，这极其不利于人们使用，给人们带来了麻烦。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于大数据筛选相应用户的数据处理方法，解决了上述背景技术中所提出的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据筛选相应用户的数据处理方法，其处理方法具体包括以下步骤

S1、在网络基站服务器中建立相关的数据检验系统和筛选系统，且针对建立的数据检验系统和筛选系统进行测试检验，检测系统漏洞和错误日志，避免出现检测失误和数据错误的情况，至终系统系统检验成功可以运行后，安装放置于存储有大数据网络的服务器机组中；

S2、大数据网络服务机组进行干涉，与数据检验系统和筛选系统进行交涉适配，可以进行双向配合，针对操作主次进行分层，直至交涉完整且控制方便为止；

S3、数据检验系统和筛选系统接收到外部搜索词条和信息后，立即通过与大数据网络进行交涉，获取权限后进入大数据网络数据库中进行针对性查重，检测出与该项信息和词条相符的数据信息，并对这些信息进行提取复制，且留存提取记录，再将这些提取的词条和数据信息进行整理反馈；

S4、数据检验系统和筛选系统再向提供查重信息的用户进行身份验证，检测其身份信息，并对该用户的身份信息进行验证，检测其是否具有查重权限，如若验证成功则将整理完成的数据信息展示给用户，如若验证失败则需重新验证；

S5、数据检验系统和筛选系统对大数据网络数据库中的数据进行查重提取后，并对该项数据进行标记，后续针对标记后的数据进行分类，针对其种类进行放置存储，使其分类的更加整洁，即使查找时也会更加方便；