[发明专利]一种行为大数据自动化采集系统

说明书

本发明公开了一种行为大数据自动化采集系统，包括网页采集模块，用于记录用户所浏览的网页；网页缓存模块将用户在一定时间内所浏览的网页根据浏览的时间顺序依次进行记录，每一个网页均对应的一个浏览时间；网页计数模块用于将网页缓存模块中的网页转化为网页数据；数字排列模块将网页缓存模块中所有网页数据进行排列得到网页数组；性格输出模块将网页数组输入到支持向量机中输出得到用户性格；网页推荐模块根据性格输出模块输出模块得到的用户性格，将网页推送给用户。本发明使用数组的方式将用户的访问顺序进行记录，并连同访问的时间一并使用支持向量机进行训练，得到输出的用户性格，从而完成对于用户性格的采集。

技术领域

本发明涉及数据采集领域，特别涉及一种行为大数据自动化采集系统。

背景技术

大数据是目前高科技时代的产物，是对海量的数据进行处理，最终得到想要的结果，其中一种表现方式就是在访问互联网的时候，为用户推荐其感兴趣的内容。在推荐之前，会实现收集用户对于互联网的访问情况，在根据访问情况得到用户的喜好，最后根据用户的喜好推荐合适的内容，使得增加用户的有效浏览量，提升用户访问互联网的体验。目前，在对用户的对于互联网的访问情况进行收集的时候，是将用户所访问的网页的类型进行存储，在根据存储网页的类型的数量判断用户的喜好，但是这样的方式对于网页浏览的先后顺序没有任何的体现，也就是说，这样只能得到用户的喜好，并不能得到用户的性格，而在进行推荐的时候，每一个网页的标签都会包括用户的性格和用户的喜好两个属性，这样使用单一的属性进行推荐就会使得推荐的并不准确，严重的时候还会造成用户体验的降低。而如果根据访问的顺序将网页的连接已经网页的类型进行存储，这样就会需要大量的缓存空间，这样就会使得在互联网运行的时候，非常的缓慢，仍然会降低用户的体验。

发明内容

本发明的目的是克服上述现有技术中存在的问题，提供一种行为大数据自动化采集系统，使用数组的方式将用户的访问顺序进行记录，并连同访问的时间一并使用支持向量机进行训练，得到输出的用户性格，从而完成对于用户性格的采集。

为此，本发明提供一种行为大数据自动化采集系统，包括：

网页采集模块，用于监控用户对网站的访问，并记录用户所浏览的网页；

网页缓存模块，将用户在一定时间内所浏览的网页根据浏览的时间顺序依次进行记录，每一个网页均对应的一个浏览时间；

网页计数模块，用于将所述网页缓存模块中的每一个网页在数据库中查找其网页编号，同时将该网页所对应的浏览时间数字化得到数字时间，并将所述编号和所述数字时间组合得到网页数据；

所述数据库，用于接收网页并反馈其所对应的网页编号；

数字排列模块，将所述网页缓存模块中所有网页数据进行排列，得到网页数组；

性格输出模块，将所述网页数组输入到支持向量机中，输出得到用户性格；

网页推荐模块，根据所述性格输出模块输出模块得到的用户性格，网页的标签中与该用户性格一致的网页推送给用户。

进一步，所述数据库在接收网页并反馈对应的网页编号的时候，包括如下步骤：

接收要获取网页编号的网页；

将网页提取所述网页的链接；

将所述链接根据设定的规则进行拆解，得到多个依次排列的字符串；

依次将每一个字符串数字化，使得每一个字符串对应一个数字；

将依次得到的数字作为所述网页编号进行输出。

更进一步，将字符串数字化的时候，包括如下步骤：

将所述字符串进行拆解，得到依次排列的字符；

获取每一个字符所对应的数字；