[发明专利]一种相似竞品数据分析方法及系统

说明书

本发明公开了一种相似竞品数据分析方法及系统，该方法包括：步骤S1，获取本地业务数据并对其进行分词，得到其有效词组，根据获得的有效词组提取关键词，并拼接成该本地业务数据的关键词文本；步骤S2，对竞品业务数据进行搜集，对各竞品业务数据的文本分别进行分词，根据获得的各竞品业务数据的有效词组提取关键词，并拼接成各竞品业务数据的关键词文本，存储于一竞品数据库；步骤S3，利用搜索引擎将本地业务数据的关键词文本于竞品数据库中搜索；步骤S4，计算本地业务数据的关键词向量，计算n条相关度最高的竞品业务数据的关键词向量，并计算出本地业务数据和前n条相关度最高的竞品业务数据中各竞品业务数据之间的相似度。

技术领域

本发明涉及一种相似竞品数据分析方法及系统，特别是涉及一种基于搜索引擎Elasticsearch(以下简称Es)的相似竞品数据分析方法及系统。

背景技术

随着电子商务以及知识付费的流行，越来越多的IT人有了技能提升的诉求，他们会在各学习平台选择对比优质课程，基于相同课程资源出现时，他们会进行电商平台之间的来回比价，相似课程条件下没有人愿意拒绝“更划算的价格”，由此对定价较高的平台就会造成用户黏性降低，用户流失等负面影响。

目前，一些在线教育平台进行课程比价的方法是：运营人员根据自有平台课程名称或者讲师信息依此到竞品平台上进行课程搜索，当定位到相同课程后，当出现比自身平台价格高的情况时，运营人员主动联系讲师，让其修改定价或者下线讲师课程。但大多数讲师针对同一个视频课程会通过修改课程名称或者课程介绍等方法将课程重新包装，这就给运营甄别是否为相同课程带来非常大的工作量。

对竞品数据进行搜集，搜集到竞品数据之后，如何将本地数据源与竞品数据源进行数据分析，如何高效快速准确甄别出相似的竞品数据，是很多公司在进行竞品分析时的一大阻碍和难点。

因此，业界急需一种能够对这些竞品数据进行处理，高效快速准确地与本地数据进行甄别和分析的技术。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种相似竞品数据分析方法及系统，以提高竞品业务数据与本地业务数据甄别与分析的效率和准确性。

为达上述目的，本发明提出一种相似竞品数据分析方法，包括如下步骤：

步骤S1，获取本地业务数据，对获得的本地业务数据的文本进行分词，得到本地业务数据的有效词组，根据获得的有效词组利用TF-IDF算法提取关键词，并拼接成本地业务数据的关键词文本；

步骤S2，根据所述本地业务数据对竞品业务数据进行搜集，对搜集获得的各条竞品业务数据的文本分别进行分词，得到各条竞品业务数据的有效词组，根据获得的各竞品业务数据的有效词组利用TF-IDF算法对各竞品业务数据文本提取关键词，并拼接成各竞品业务数据的关键词文本，存储于一竞品数据库；

步骤S3，利用搜索引擎将步骤S1得到的本地业务数据的关键词文本于所述竞品数据库中进行搜索；

步骤S4，计算所述本地业务数据的关键词向量，并提取步骤S3搜索结果中前n条相关度最高的竞品业务数据，计算该n条相关度最高的竞品业务数据的关键词向量，根据计算出的关键词向量，计算出所述本地业务数据和前n条相关度最高的竞品业务数据中各竞品业务数据之间的相似度。

优选地，步骤S1进一步包括：

步骤S100，搜索并获得本地业务数据；

步骤S101，对步骤101得到的本地业务数据的文本进行分词，得到本地业务数据的有效词组；

步骤S102，根据步骤S101得到的本地业务数据的有效词组，分别计算出本地业务数据的各个词的词频TF以及逆文件频率IDF，并计算出本地业务数据的各个词的TF-IDF值；