关于数据挖掘中的聚类分析

聚类
数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主 要包括传统的模式识别方法和数学分类学。80年代初，Mchalski提出了概念聚类技术牞其要点是，在划分对象时不仅考虑对象之间的距离，还要求划分出 的类具有某种内涵描述，从而避免了传统技术的某些片面性。
统计分析（statistical analysis）
常见的统计方法有回归分析（多元回归、自回归等）、判别分析（贝叶斯分析、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）和探索性分析（主元分析法、相关分析法等）。其处理过程可以分为三个阶段：搜集数据、分析数据和进行推理。
 
在整个过程中，聚类的依据是统计距离和相似系数。
 
如何度量距离的远近：统计距离和相似系数
 
人工神经网络
神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。神经网络可以很容易的解决具有上 百个参数的问题（当然实际生物体中存在的神经网络要比我们这里所说的程序模拟的神经网络要复杂的多）。神经网络常用于两类问题：分类和回归。
在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图4）。输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量，可有多 个。在输入层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层的层数和每层节点的个数决定了神经网络的复杂度。
除了输入层的节点，神经网络的每个节点都与很 多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个 函数的输入而得到，我们把这个函数称为活动函数或挤压函数。如图5中节点4输出到节点6的值可通过如下计算得到：
W14*节点1的值+W24*节点2的值
神经网络的每个节点都可表示成预测变量（节点1，2）的值或值的组合（节点3-6）。注意节点6的值已经不再是节点1、2的线性组合，因为数据在隐含 层中传递时使用了活动函数。实际上如果没有活动函数的话，神经元网络就等价于一个线性回归函数，如果此活动函数是某种特定的非线性函数，那神经网络又等价 于逻辑回归。
调整节点间连接的权重就是在建立（也称训练）神经网络时要做的工作。最早的也是最基本的权重调整方法是错误回馈法，现在较新的有变化坡度法、类牛顿 法、Levenberg-Marquardt法、和遗传算法等。无论采用那种训练方法，都需要有一些参数来控制训练的过程，如防止训练过度和控制训练的速 度。
决定神经网络拓扑结构（或体系结构）的是隐含层及其所含节点的个数，以及节点之间的连接方式。要从头开始设计一个神经网络，必须要决定隐含层和节点的数目，活动函数的形式，以及对权重做那些限制等，当然如果采用成熟软件工具的话，他会帮你决定这些事情。
在诸多类型的神经网络中，最常用的是前向传播式神经网络，也就是我们前面图示中所描绘的那种。我们下面详细讨论一下，为讨论方便假定只含有一层隐含节点。
可以认为错误回馈式训练法是变化坡度法的简化，其过程如下：
前向传播：数据从输入到输出的过程是一个从前向后的传播过程，后一节点的值通过它前面相连的节点传过来，然后把值按照各个连接权重的大小加权输入活动函数再得到新的值，进一步传播到下一个节点。
回馈：当节点的输出值与我们预期的值不同，也就是发生错误时，神经网络就要 “学习”（从错误中学习）。我们可以把节点间连接的权重看成后一节点对前 一节点的“信任” 程度（他自己向下一节点的输出更容易受他前面哪个节点输入的影响）。学习的方法是采用惩罚的方法，过程如下：如果一节点输出发生错误， 那么他看他的错误是受哪个（些）输入节点的影响而造成的，是不是他最信任的节点（权重最高的节点）陷害了他（使他出错），如果是则要降低对他的信任值（降 低权重），惩罚他们，同时升高那些做出正确建议节点的信任值。对那些收到惩罚的节点来说，他也需要用同样的方法来进一步惩罚它前面的节点。就这样把惩罚一 步步向前传播直到输入节点为止。
对训练集中的每一条记录都要重复这个步骤，用前向传播得到输出值，如果发生错误，则用回馈法进行学习。当把训练集中的每一条记录都运行过一遍之后，我 们称完成一个训练周期。要完成神经网络的训练可能需要很多个训练周期，经常是几百个。训练完成之后得到的神经网络就是在通过训练集发现的模型，描述了训练 集中响应变量受预测变量影响的变化规律。
由于神经网络隐含层中的可变参数太多，如果训练时间足够长的话，神经网络很可能把训练集的所有细节信息都“记”下来，而不是建立一个忽略细节只具有规 律性的模型，我们称这种情况为训练过度。显然这种“模型”对训练集会有很高的准确率，而一旦离开训练集应用到其他数据，很可能准确度急剧下降。为了防止这 种训练过度的情况，我们必须知道在什么时候要停止训练。在有些软件实现中会在训练的同时用一个测试集来计算神经网络在此测试集上的正确率，一旦这个正确率 不再升高甚至开始下降时，那么就认为现在神经网络已经达到做好的状态了可以停止训练。
图6中的曲线可以帮我们理解为什么利用测试集能防止训练过度的出现。在图中可以看到训练集和测试集的错误率在一开始都随着训练周期的增加不断降低，而测试集的错误率在达到一个谷底后反而开始上升，我们认为这个开始上升的时刻就是应该停止训练的时刻。
神经元网络和统计方法在本质上有很多差别。神 经网络的参数可以比统计方法多很多。如图4中就有13个参数（9个权重和4个限制条件）。由于参数如此之多，参数通过各种各样的组合方式来影响输出结果， 以至于很难对一个神经网络表示的模型做出直观的解释。实际上神经网络也正是当作“黑盒”来用的，不用去管“盒子”里面是什么，只管用就行了。在大部分情况 下，这种限制条件是可以接受的。比如银行可能需要一个笔迹识别软件，但他没必要知道为什么这些线条组合在一起就是一个人的签名，而另外一个相似的则不是。 在很多复杂度很高的问题如化学试验、机器人、金融市场的模拟、和语言图像的识别，等领域神经网络都取得了很好的效果。
神经网络的另一个优点是很容易在并行计算机上实现，可以把他的节点分配到不同的CPU上并行计算。
在使用神经网络时有几点需要注意：第一，神经网络很难解释，目前还没有能对神经网络做出显而易见解释的方法学。
第二，神经网络会学习过度，在训练神经网络时一定要恰当的使用一些能严格衡量神经网络的方法，如前面提到的测试集方法和交叉验证法等。这主要是由于神经网络太灵活、可变参数太多，如果给足够的时间，他几乎可以“记住”任何事情。
第三，除非问题非常简单，训练一个神经网络可能需要相当可观的时间才能完成。当然，一旦神经网络建立好了，在用它做预测时运行时还是很快得。
第四，建立神经网络需要做的数据准备工作量很大。一个很有误导性的神话就是不管用什么数据神经网络都能很好的工作并做出准确的预测。这是不确切的，要 想得到准确度高的模型必须认真的进行数据清洗、整理、转换、选择等工作，对任何数据挖掘技术都是这样，神经网络尤其注重这一点。比如神经网络要求所有的输 入变量都必须是0-1（或-1 -- +1）之间的实数，因此像“地区”之类文本数据必须先做必要的处理之后才能用作神经网络的输入。
在数据量特别大的时候，统计方法会出现困难，因为其时间复杂度不是线性的。还有不能动态的增加数据。再有就是聚类的方法还是不一样，虽然都是距离，但统计方法中用的是空间距离，而神经网络中使用的是属性描述。
1．统计距离
距离有点间距离好和类间距离
 
2．常用距离
统计距离有多种，常用的是明氏距离。
3．相似系数
当对 个指标变量进行聚类时，用相似系数来衡量变量间的关联程度，一般地称 为变量 和 间的相似系数。常用的相似系数有夹角余弦、相关系数等。
夹角余弦：
 
相关系数：
对于分类变量的研究对象的相似性测度，一般称为关联测度。
 
第二节  如何进行聚类分析
 
一、系统聚类
 
1．系统聚类的基本步骤
2．最短距离法
3．最长距离法
 
4．重心法和类平均法
 
5．离差平方和法
 
二、SPSS中的聚类分析
1、事先要确定分多少类：K均值聚类法；
 
2、事先不用确定分多少类：分层聚类；
 
分层聚类由两种方法：分解法和凝聚法。
分层聚类的功能：即可进行样品的聚类，也可进行变量的聚类。
分层聚类的原理：即我们前面介绍过的系统聚类方法的原理和过程。
 
分层聚类的中要进行以下的选择：
数据的标准化
测度方法的选择：距离方法的选择或相似性、关联程度的选择。
聚类方法的选择：即以什么方法聚类，spss中提供了7中方法可进行选择。
 
输出图形的选择：树形图或冰柱图。
 
3、聚类分析要注意的问题。
 
聚类方法的优缺点：
类平均法比较好，因为与类平均法相比，最短和重心法是“空间浓缩”，即并类的距离范围小，区别类的灵敏度差；
 
与类平均法相比，其他方法是“空间扩张”，即并类距离范围大，区别类的灵敏度强。
最短距离比最长距离法好
 
聚类结果中，如果孤类点太多，则说明该中聚类方法不好。
 
如果从减少孤类来看，一般情况下用Word’s方法最好。
快速聚类法与层次聚类法应用区别
层次聚类法的聚类过程是单方向的，一旦某个样品（case）进入某一类，就不可能从该类出来，再归入其他的类。
 
而快速聚类法受奇异值、相似测度和不合使得聚类变量的影响较小，对于不合适的初始分类可以进行反复调整.
 
在聚类分析发展的早期，层次聚类法应用普遍，其中尤以组间类平均法和离差平方和法应用最广。
后来快速聚类方法逐步被人们接受，应用日益增多。现在是两者相结合，取长补短。
 
首先使用层次聚类法确定分类数，检查是否有奇异值，去除奇异值后，对剩下的案例重新进行分类，把用层次聚类法得到的各个类的重心，作为迭代法的初始分类中心，对样本进行重新调整。