[发明专利]基于复杂网络模型并行化标签传播算法的药物社团发现方法

说明书

技术领域

本发明涉及一种中药复杂网络建模方法，以及在该中药药物复杂网络TCM上采用并行标签传播算法挖掘中药药物社团的技术。

背景技术

利用数据挖掘技术可以智能分析中药复方数据，发现潜在中药配伍规律。常用的中药数据挖掘中有一类应用是药物的聚类算法，其基于事务项模型(把复方看成由多种药物组成的事务并储存在事务数据库中)对相似药物进行聚合以发现频繁组方的药物组。传统基于事务项模型的中药药物聚类算法很难挖掘间接组方配伍的药物，而且往往忽略对生僻药物的处理，不利于深入研究每种药物的配伍规律知识。本发明尝试用复杂网络模型建模中药药物网络，在药物网络中应用社团发现算法挖掘药性相似的药物组。

在复杂网络分析中对网络社团结构的研究已经有很长的历史，其涉及到计算机科学、社会学、生命科学等各个领域。分析和揭示网络中的社团结构，对于了解网络结构与分析网络特性都是非常重要的。在中药复杂网络中进行社团发现与传统基于事务项模型的药物聚类分析的目的很相近，都是将频繁在一起组方的药物聚合在同一类别中，并挖掘出药性相似的药物以便研究中药配伍规律。

基于复杂网络模型构建中药药物复杂网络这一思路打破了传统中药数据挖掘都基于事务项的建模模型的惯例，并且采用复杂网络分析中的标签传播算法可以深入挖掘中药药物社团，发现药性相似、社团内部相对频繁组方的药物组，克服了传统基于事务项聚类算法不能发现间接配伍以及忽略生僻药物的缺陷。

近期以来，随着中药复方数据的激增，非并行的算法已不再适用于较大规模中药数据的社团发现。

发明内容

本发明所要解决的技术问题是实现中药复杂网络建模，并在该模型上采用并行标签传播算法，以快速有效地发现药物社团。

为解决上述问题，本发明的基于复杂网络模型并行化标签传播算法的药物社团发现方法包括如下步骤：

1)组网阶段：

a预处理以生成中药数据集，格式化为初始文本数据；

b将初始文本数据部署至Hadoop平台；

c并行化组建中药药物网络，即TCM网络，该网络以药物为节点，将SC_AB大于给定阈值的节点连边；

d结束。

2)挖掘阶段：

a获取步骤1)-c处理生成的中药药物网络文本文件；

b将上述TCM网络文本文件部署至Hadoop平台；

c实施并行化标签传播算法，即采用MapReduce框架并行化的标签传播算法，利用节点邻居信息迭代更新自身标签(即所属社团号)，以发现药物社团；

d)结束。

步骤1)-a中所说的预处理为抽取中药复方数据中所有复方的药物组成。

步骤1)-b中所说的部署为将步骤1)-a生成的初始文本数据上传至Hadoop平台的分布式文件系统(HDFS)。

进一步，步骤1)-c的具体过程如下：

1)为每个中药复方，即一行文本数据，设定一个唯一标识ID

2)建立从药物到复方标识ID之间的倒排索引；

3)为每个药物设定唯一药物标识id，其中包含该药物在复方中出现的频次；

4)对倒排索引进行还原，即再次实行倒排索引算法，每行复方读入此次任务的某个Map函数中，还原中药复方文本数据；

5)每个Map函数读取一行文本，解析出药物节点信息；

6)判断该Map函数中的复方所含药物还能否两两组建联合键值<Key，Value>，是则执行7)，否则执行8)；

7)组建联合键值<Key，Value>；

8)<Key，Value>经过shuffle&&sort发送到Reduce中，Reduce接收相同Key下组成的[Value]数组，按照下式计算两两药物间度量，将大于设定阈值的药对写入文件并保存至HDFS中