[发明专利]基于网络爬虫和利用机器学习的社交网站虚假粉丝检测方法

摘要

基于网络爬虫和利用机器学习的社交网站虚假粉丝检测方法，利用网络爬虫自动获取微博或其它社交网络用户数据，同时还具有模拟登陆功能，从网络爬虫提取的数据中选取出特征字段，得到训练样本和测试样本，并采用经典的SVM算法的分类器，随机从训练样本中抽取多组数据导入到分类器中，让分类器进行机器学习，形成训练分类模型，再利用测试样本对分类模型进行测试，通过不断调整分类模型的各设定参数来达到最佳的交叉验证精度，最后利用最佳分类模型对微博或其它社交网络用户进行检测，对虚假粉丝的检测精确度得到了极大地提高，而且运算量较小，处理速度快，数据在运算过程中不容易受干扰，特别适合于海量数据处理。

主权项

基于网络爬虫和利用机器学习的社交网站虚假粉丝检测方法，其特征在于包括以下步骤：a、首先利用爬虫框架构建一个可以自动获取微博或其它社交网络用户数据的网络爬虫，并定义了相应的item字段用于保存所希望提取的结构性数据；b、然后网络爬虫自动获取微博或其它社交网络数据，提取所选定的特征值，网络爬虫从一个初始的URL开始，获取网页中所需要提取的数据，再提取新的URL进入下一轮爬取，直至满足停止要求；c、在提取的数据中选取出特征字段，得到训练样本和测试样本，并对训练样本进行人工标记；d、建立一个采用经典的SVM算法的分类器，随机从训练样本中抽取多组数据导入到分类器中，让分类器进行机器学习，形成训练分类模型，完成训练后的分类模型能够对测试样本进行预测分类结果；e、再利用测试样本对分类模型进行测试，得到交叉验证精度，通过不断调整分类模型的各设定参数来达到最佳的交叉验证精度；f、最后利用最佳分类模型对微博或其它社交网络用户进行检测，在预测分类结果时输出分类结果，也就检测区分出了虚假粉丝和正常用户。