[发明专利]基于动态网络图挖掘的Github开源代码库推荐系统

说明书

本发明提供一种基于动态网络图挖掘的Github开源代码库推荐系统，包括：任务调度模块、演示网站中的用户交互页面、推荐算法模块、日志管理模块、以及数据库；该系统利用Github数据接口与Github Archive数据平台作为数据源进行数据采集，在图数据库Neo4J中建立社交网络数据图谱，并在此基础上，一方面利用数据爬虫与Github数据推送服务实时更新网络数据；另一方面设计有关推荐算法与用户交互界面，向用户提供推荐服务。

技术领域

本发明利用从公开数据源采集的Github开源代码库数据，构建以天为单位进行更新的动态网络图，并在此基础上设计数据挖掘算法与交互式界面，向用户提供综合且行之有效的个性化开源代码库推荐系统。确切地说，是涉及到网络信息采集(数据爬虫)、社交网络数据挖掘与推荐系统技术的数据科学技术领域。

背景技术

在推荐系统领域中，随着诸如协同过滤、PersonalRank算法等推荐算法的普及，面向用户个人需求的个性化推荐系统已成为众多内容服务类产品中不可或缺的信息服务。当前，在电子商务、电影、图书、音乐、新闻等领域中，优秀的个性化推荐系统能够允许用户更有效地获得与期待相符的信息，进而提升对服务的满意程度。

当前，在包括上文所述的众多领域，推荐系统已获得广泛应用。但是在以Github为代表的开源代码库领域，有效的个性化推荐系统仍然有待发展。在本发明的调研阶段，可以发现，诸如Github Ranking和Github Explore等现有推荐服务均采用非个性化推荐的模式；而在相关个性化推荐算法的研究中，所使用的数据又均为静态数据集，不具备实时性与市场化能力。综上所述，可以认为，在开源代码库这一领域，个性化推荐仍然处于萌芽期。

与此同时，当前推荐系统的支持技术，包括数据服务(Github Archive平台与Github数据接口)、爬虫技术与推荐算法已基本趋于成熟。因此以成熟技术为基础，利用公开数据源构造开源代码库上的社交网络数据结构，并在此基础上进行有效的数据挖掘与分析，构造个性化推荐系统，一方面能够确保软件开发者在开发过程中能够更加有效地寻找所需要的开源代码库，另一方面也能够为处在学习期的相关人士提供有效的源码学习资源，起到加快学习与开发效率的积极意义。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种基于动态网络图挖掘的Github开源代码库推荐系统，围绕Github平台实现，旨在提供一种行之有效的实时开源代码库个性化推荐系统，以网站服务的形式，向开发者提供与时俱进、且与用户个人需求密切关联的代码库推荐服务。本发明采用的技术方案是：

一种基于动态网络图挖掘的Github开源代码库推荐系统，包括：

任务调度模块、演示网站中的用户交互页面、推荐算法模块、日志管理模块、以及数据库；

任务调度模块负责控制推荐算法模块的推荐结果更新和至少部分数据爬虫的运行；

日志管理模块从多方获取数据信息，并向其他模块开放查询接口；

推荐算法模块则根据相关数据计算推荐列表；相关数据将根据不同需要存储在不同类型的数据库，包括文档式数据库、图数据库和内存数据库三种数据库。

进一步地，图数据库中主要实体包括用户、代码库、编程语言、排名四项，用户的行为包括：创建代码库、成为代码库的成员，贡献代码、提问、收藏、复制、关注其他用户；

以不同时间粒度为基准，代码库拥有多种形式的排名，以创建于属性标注排名产生时间；此外，开发者使用一种或多种编程语言编写代码库，语言名称以语言名称属性描述；对于用户，图数据库存储其编号、头像地址、邮箱、用户名与登录用户名；对于代码库，存储其编号、代码库名称、收藏人数、关注人数与复制代码库数量；

在文档式数据库和内存数据库中缓存推荐列表。

进一步地，