[发明专利]一种基于大数据网络用户行为的方法和装置

说明书

技术领域

本发明涉及大数据信息搜索领域，特别是涉及一种基于大数据网络用户行为的方法和装置。

背景技术

在当今社会，由于互联网的迅猛发展和应用，互联网中产生的数据也正在以飞快的速度增长。可以说，人们现在正身处于一个信息爆炸的时代。“大数据”一词迅速变得火热起来。“大数据”被用于表示信息剧烈增长时代而产生的大量信息。大数据分析也被应用于生活中的各行各业，例如，电子商务行业、保险业、医疗卫生行业等等。美国在《大数据研究和发展倡议》中提到将收集数据量巨大而繁琐的数字资料，从而在其中获得有用的信息。并帮助加速在科学、工程上发现的步伐，强化国家国土安全，转换教育和学习方式，依照这一个计划，美国想要凭借大数据技术可以在多个领域内取得巨大的突破，包括科研教学、环境保护、工程技术、生物医药等。其中具体研发计划涉及美国科学基金会、卫生研究院、能源部等多个部门与机构，把大数据技术的研究上升为国家战略。加强电子政务建设，管理好政府的数据资产，完善政府决策方案流程，将是未来数年大数据在公共管理领域发展的重要方向。由于互联网的快速发展，网络中信息量的持续增长也引起了人们的注意，大数据时代到来也就成为必然。比如社交网站微博拥有众多用户，这些用户每天上网产生的数据不计其数。传统单机的数据解决方式已经不能有效地处理这些数据，需要引入快速有效的方法进行处理，

目前，如何对大量数据的进行分析处理成为关键，传统的并行计算的方式主要依靠高性能计算设备来进行海量数据处理，但却有着数据的存储成本较高、数据处理效率和可靠性较低、数据不易管理和并行程序不易编写等诸多不足，所以其应用范围不是很广泛。

发明内容

本发明的目的是提供一种基于大数据网络用户行为的方法和装置，将海量数据采用进行分布式计算和存储，很大的程度上弥补了传统技术对海量数据处理的限制，同时也可以对用户搜索相关行为进行研究，人们经过对搜索日志分析，得到结果可以在搜索引擎及排序算法等方面起到一个很好的帮助，对于改进搜索引擎及其排序算法、个性化搜索以及垂直化搜索等方面都有很好的指导作用。

一种基于大数据网络用户行为的方法，其特征在于，所述方法包括：

步骤S101：基于大数据网络，获取海量日志；

步骤S102：预处理数据，对用户搜索的关键字进行切词处理和对切完的词进行文本特征向量提取；

步骤S103：转存数据，将本地数据导入到数据库中；

步骤S104：分析数据，完成用户行为的逻辑分析，再对用户的搜索日志进行数据分析；

步骤S105：得出分析结果，明确用户意图。

第一方面，本申请实施例提供一种基于大数据网络用户行为的方法，所述方法包括：

步骤S101：基于大数据网络，获取海量日志；

步骤S102：预处理数据，对用户搜索的关键字进行切词处理和对切完的词进行文本特征向量提取；

步骤S103：转存数据，将本地数据导入到数据库中；

步骤S104：分析数据，完成用户行为的逻辑分析，再对用户的搜索日志进行数据分析；

步骤S105：得出分析结果，明确用户意图。

结合本申请的第一方面，在本申请第一方面的第二种可实施方式中，步骤S101：基于大数据网络，获取海量日志，还包括对所述海量日志进行存储。

结合本申请的第一方面，在本申请第一方面的第三种可实施方式中，步骤S101：基于大数据网络，获取海量日志，还包括对所述海量日志进行存储，所述存储采用HBase数据库。

结合本申请的第一方面，在本申请第一方面的第四种可实施方式中，步骤S102：预处理数据，对用户搜索的关键字进行切词处理和对切完的词进行文本特征向量提取；包括采用多维特征向量进行余弦相似度计算，利用K-means聚类算法将相似度接近的文档聚在一起。

结合本申请的第一方面，在本申请第一方面的第五种可实施方式中，步骤S104：分析数据，完成用户行为的逻辑分析，再对用户的搜索日志进行数据分析，包括利用数据挖掘的方法和文本聚类的方法对所述用户的搜索日志进行数据分析。

第二方面，本申请实施例提供一种基于大数据网络用户行为的方法，包括：

获取数据单元：用于基于大数据网络，获取海量日志；

预处理数据单元：用于预处理数据，对用户搜索的关键字进行切词处理和对切完的词进行文本特征向量提取；

转存数据单元：用于转存数据，将本地数据导入到数据库中；