模糊聚类理论发展及应用的研究进展

高新波　谢维信
摘要　从模糊聚类准则函数的演化、算法实现的途径、有效性度量方式以及在模式识别与图像处理中的应用等4个方面对模糊聚类理论的研究进展做了综述和评价，指出模糊聚类进一步研究的几个重要方向及其应用前景.
关键词　聚类分析　模糊聚类　聚类有效性　模式识别　图像处理
聚类就是按照事物间的相似性进行区分和分类的过程，在这一过程中没有教师指 导，因此是一种无监督的分类.　聚类分析则是用数学方法研究和处理所给定对象的分类.　“人以群分，物以类聚”，聚类是一个古老的问题，它伴随着人类社会 的产生和发展而不断深化，人类要认识世界就必须区别不同的事物并认识事物间的相似性［1］.
传统的聚类分析是一种硬划分，它把每个待辨识的对象严格地划分到某个类中，具有非此即彼的性质，因此这种分类的类别界限是分明的.　而实际上大多数对象并没有严格的属性，它们在性态和类属方面存在着中介性，适合进行软划分.　Zadeh［2］提 出的模糊集理论为这种软划分提供了有力的分析工具，人们开始用模糊的方法来处理聚类问题，并称之为模糊聚类分析.　由于模糊聚类得到了样本属于各个类别的 不确定性程度，表达了样本类属的中介性，即建立起了样本对于类别的不确定性的描述，能更客观地反映现实世界，从而成为聚类分析研究的主流.
模糊划分的概念最早由Ruspini［3］提出，利用这一概念人们提出了多种聚类方法，比较典型的有：基于相似性关系和模糊关系的方法(包括聚合法和分裂法)［4］，基于模糊等价关系的传递闭包方法［5］、基于模糊图论最大树方法［6］， 以及基于数据集的凸分解、动态规划和难以辨识关系等方法.　然而由于上述方法不适用于大数据量情况，难以满足实时性要求高的场合，因此其实际的应用不够广 泛，故在该方面的研究也就逐步减少了.　实际中受到普遍欢迎的是基于目标函数的方法，该方法设计简单、解决问题的范围广，最终还可以转化为优化问题而借助 经典数学的非线性规划理论求解，并易于计算机实现.　因此，随着计算机的应用和发展，该类方法成为聚类研究的热点.
以下将从目标函数的演化、算法的实现途径、有效性度量方式以及在实际中的应用等4个方面综述基于目标函数的模糊聚类方法的研究进展.　有关传统聚类分析以及其他的模糊聚类方法的系统总结可参见文献［1，7～10］.
1　模糊聚类目标函数的演化
模糊聚类问题可以用数学语言描述为：把一组给定的模式O={o1,o2,…，on}划分为c个模糊子集(聚类)S1,S2,…,Sc.　如果用μik(1≤i≤c, 1≤k≤n)表示模式ok隶属于模糊子集Si的程度，那么就得到了这组模式的模糊c-划分U={μik|1≤i≤c, 1≤k≤n}.　完成这样一组无类别标记模式集模糊划分的操作就是模糊聚类分析.为了获得有意义的分类，需要定义划分的准则，如相似性或相异性准则D(.)等.　假定每个模糊子集Si(1≤i≤c)都有一个典型模式pi，常被称做聚类原型，这样任一模式ok与模糊子集Si的相似性可以通过模式ok与聚类原型pi间的失真度dik=D(ok,pi)来度量.
基于目标函数的模糊聚类主要是利用模式集O的观测值X={x1,x2,…,xn}Rs与原型特征值B={βi, 1≤i≤c}之间的距离构造一个目标函数，然后通过优化这一带约束的非线性规划问题获得最佳的模糊c-划分：
(1)
其中，ζ为惩罚项，f(μik)∈C为约束条件，m为加权指数.　这样，模糊聚类的目标函数就由参量集{U,D(.),B,m,X}而确定.　对应于这些参量，模糊聚类目标函数的发展演化可以从以下5个大的方面来概括.
1.1　对模糊划分矩阵U的研究
传统的聚拎分析为一种硬划分，μi(xk)∈{0,1}为样本xk类属的指示函 数，而类别标记矢量μ(xk)=(μ1k,μ2k,…,μck)T则成为欧氏c-空间的基矢量.　为了表达模式间的相近信息，Ruspini［3］引入了模糊划分的概念，令μi(xk)∈［0,1］，把标记矢量μ(xk)扩展为欧氏c-空间中的超平面，这样标记矢量既可称做模糊标记又可称为概率标记.　由于存在概率约束，使得隶属函数只能表示模式在模糊类间的分享程度，而不能反映典型性，为此Krishnapuram等人［11］提出可能性c-划分的概念，放松了概率约束，从而使标记矢量μ(xk) 变为除去原点的单位超立方体.　由此而产生的可能性聚类算法具有良好的抗噪性能，但收敛速度慢，容易陷入局部极值点而得不到最优分类.　为了结合传统硬聚 类的收敛速度和模糊聚类的对初始化不敏感(获得全局最优解的概率大)而且能反映样本间相近信息等优点，Selim和Ismail［12］提出了半模糊划分的概念，只保留划分矩阵中较模糊的元素，其余的元素作去模糊处理.　这样使划分矩阵U既具有一定的明晰性，又保持了样本在空间分布的模糊性，从而提高了分类识别的正确性.　后来，Kamel等人［13］以及裴继红等人［14］分别从不同的角度提出了改进型的半模糊划分方法，即为阈值型软聚类算法和截集模糊软聚类算法.　上述几种软划分的比较显示在表1中.
表1　4种空间划分概念的比较
项目 可能性聚类 模糊聚类 传统聚类 半模糊聚类
标记矢量集 Npc=［0,1］c-O
O={(0,0,…,0)T}Nhc={μi∈Nfc:
μi∈{0,1},i} Nsc=Nfc
∪Nhc
物理意义 表示每个样本
属于各类的典型程度 表示每个样本在
各类间的分享程度 是样本严格类属
的指示函数 只有部分样
本类分模糊
收敛速度 慢 较慢 快 较快
对初始化
的敏感性 很敏感 不很敏感 敏感 不很敏感
抗噪性能 强 较强 弱 较强
如何提高可能性划分的收敛速度并降低它对初始化的敏感程度，仍然是从模糊划分角度进一步研究模糊聚类的一个重要方向. 如果在这方面有所突破，就可以得到一种既具有良好的抗噪鲁棒性，同时又能快速收敛到满意解的空间划分方法，不仅能从理论上完善现有的模糊软聚类方法，也必将缩短它的实用化进程.
1.2　对相似性准则D(.)的研究
单一的聚类准则不能解决所有可能的无监督分类问题，因此人们提出了多种相似性函数，比如：最大似然准则［15］、最大熵准则［16］、最小体积准则［17］和信息论准则［18］等.　不过，实际中最常用的还是基于最小类内加权平方误差和准则.
经典的类内平方误差和(WGSS: within-group sum of squared error)准则函数最早被用来定义传统的硬c-均值聚类算法和ISODATA算法.　随着模糊集理论的提出，Dunn［19］首先把它推广到加权的WGSS函数，后由Bezdek［20］扩展到加权WGSS的无限族，形成了模糊c-均值类型算法的通用聚类准则，形式如式(1)所示.　对该准则函数的研究主要集中在相似性测度或者误差度量D(.)上，一般用样本与原型间的距离表示.　不同距离度量用来检测不同结构的数据子集，常用的距离函数见表2.　 表2　常见的距离函数及特点
名称 距离函数 特点功能
Minkowski对应1≤p≤∞为一族距离测度，可用来检测从◇形超立方体到□形超立方体结构的数据子集
Euclidean对应p=2的Minkowski距离，可用以检测特征空间中○形超球体结构的数据子集
Hamming对应p=1的Minkowski距离，可用以检测特征空间中◇形超立方体结构的数据子集
Maximum对应p=∞的Minkowski距离，可用以检测特征空间中□形超立方体结构的数据子集
Mahalanobis DA(a,b)=(a-b)TA(a-b),
A为正定矩形 可用来检测特征空间中超椭球结构的数据子集
Bobrowski等人［21］分别讨论了L1和L∞范数下的模糊聚类算法(即Hamming和Maximum距离)，发现在许多情况下它们比常用的欧氏范数L2能获得更好的结果，建议在聚类分析中要选择合适的距离函数.　另外Mahalanobis距离的一种特例——加权欧氏距离(对应A为对角阵)还被广泛地使用于模式各维特征对分类贡献不同的应用背景［22］.
在给定数据中搜索一个结构可以看做寻找合适的距离函数.　这就给我们留下了一个问题：选择合适距离的准则是什么?能否构造一种不依赖于事先定义距离测度的模糊聚类算法?现有文献很少涉及这一问题，仍属于有待解决的范畴.
1.3　对聚类原型B的研究
基于目标函数的模糊聚类又称做基于原型的聚类，因为目标函数的构造依赖于原型的定义，因此原型的类型必须事先给定.　聚类原型的研究是伴随着聚类应用 的发展和需求而展开的，最初的聚类分析只应用于特征空间中超球体聚类结构的检测，因此原型为特征空间中的“点”，或者叫聚类中心［20］；为了处理非超球体的聚类结构，Bezdek［23］提出了通过点v∈Rp的r(0≤r≤p-1)维线性簇原型Br(v:{si})={v}+Span({si})，其特点见表3. 表3　几种原型的特点比较
线性簇维数 聚类原型 功能特点
r=0 B0(v;I)=v：点 检测超球体和椭球体结构的子集
r=1 B1(v;s)=L(v;s)：线 检测线性结构的模式子集
r=2 B2(v;s1,s2)=P(v;s1,s2):平面 检测平面结构的模式子集
2此外，为了检测呈“薄壳”结构的模式子集，Dave提出球壳［24］和椭球壳［25］两种原型，并将其应用于边缘检测中获得了较好的效果.　随着应用的需求壳原型被推广到矩形壳［26］、多面体壳［27］以及任意形状的壳原型［28］等多种类型，而对于线性原型也逐步被扩展为抛物线［29］、二次曲线以及任意二次多项式形式的原型［30］.
基于目标函数的聚类对原型有较强的依赖性，因此要求一方面必须充分利用先验知识选择合适的原型，另一方面必须与距离测度相结合研究，构造合理的相似性度量.
1.4　对加权指数m的研究
在模糊聚类目标函数{Jm: 1Bezdek［31］给出过一个经验范围1.1≤m≤5；后又从物理解释上得出m=2最有意义；Chan等人［32］从汉字识别的应用背景得出m的最佳取值应在1.25～1.75之间；Bezdek等人［33］从算法收敛性角度着手，得出m的取值与样本数目n有关的结论，建议m的取值要大于n/(n-2)；Pal等人［34］则从聚类有效性的实验研究中得到m的最佳选取区间应为［1.5，2.5］，在不作特殊要求下可取区间中值m=2.
上述有关m取值范围，大都来自实验和经验，均为启发式的，一方面不够系统，另一方面没有给出具体的优选算法.　此外，也还缺乏最优m的检验方法.　这一系列的开放问题，都值得进一步的探索，以便奠定m优选的理论基础.
1.5　对各种数据集X聚类的研究
在实际应用中会遇到不同的数据类型，因此要研究模糊聚类的目标函数就必须首先研究所要处理的数据类型.　常见的数据大都为特征空间中的点集，除此以外，人们还研究了关系数据［35］、方向数据［36］、区间型数据和模糊数［37］等形式，并得出了一些有意义的结论.　还有一种类型的数据——符号数据［38］，也引起了广泛的关注.　这种数据不仅包括一般数值型数据，还包括区间数、模糊数和语言量等形式，在模糊概念聚类方面有着较多的研究和应用，但这些类型的数据并不常用，实际中最常遇到的数据多数为部分有标记的、噪声污染的和多种结构混合的数据.
针对存在部分标记的数据，为了获得更好的聚类效果，Pezdrcy［39］提出了部分监督的模糊聚类算法，以利用数据中蕴涵的先验知识.　Bensaid［40］又进一步发展了该理论，把它应用于图像分割中，并取得了良好的效果.　对于噪声污染的数据，更是涌现了大批的鲁棒聚类算法以克服噪声干扰，Dave等人［41］对这些方法做了很好的总结，在此不再赘述.　至于多种结构并存的数据，只有Gustafson等人［42］提出的模糊协方差矩阵聚类方法能同时检测椭球形结构和线性结构，Jawahar等人［43］又对不同的几何结构聚类的检测做了一定的尝试，除此以外很少有这方面的研究报道.
因此，对于这3种数据集的分析遗留了很多问题，要使模糊聚类真正走向实用化，就必须进一步分析实际数据的各种情况，研究“可充分利用先验知识的聚类算法”、“能容噪的鲁棒算法”和“可同时检测多种结构的聚类方法”等.
2　模糊聚类算法实现途径的研究
有了聚类的准则函数，接下来就是如何优化目标函数获得最佳聚类的问题了，即研究算法的实现途径.　现有的实现途径主要分为3类：基于交替优化(AO)、神经网络(NN)和进化计算(EC)等方法.　以下概述这3方面的研究进展.
2.1　基于交替优化的实现
在优化目标函数的过程中，人们曾试探过动态规划、分支定界和凸切割等方法，然而大量的存贮空间和运行时间限制了其应用.　实际中应用最为广泛的是Dunn和Bezdek［19，20］提出的迭代优化算法——模糊c-均值类型的算法，到目前为止，对它的研究主要集中在收敛性证明、算法停止准则的设立以及原型初始化等方面.
几经修补，最后证得交替优化算法沿一个子序列收敛到目标函数的极值点或鞍点［44，45］.　对于停止准则，提出了以连续两代的原型变化量小于某个阈值和划分矩阵变化量小于某个阈值两类方法［46］.　不幸的是，由于迭代优化本质上属于局部搜索的爬山法，很容易陷入局部极值点，因此对初始化较敏感.　为了获得全局最优解或满意解，人们把希望寄托在好的初始化上，比较有名的初始化方法有Yager等人［47］提出的山函数或势函数法，不过该方法的计算量随样本维数呈指数增长，为此，Chiu［48］提出改进算法使计算量只与样本数目有关，解决了计算精度与复杂度之间的矛盾；此外还有Chaudhuri［49］的密度函数估计法、Postaire［50］的形态学方法以及模糊测度法和Marr算子等方法.
2.2　基于神经网络的实现
神经网络在聚类分析中的应用首先起源于Kohonen［51］的两项工作——学习矢量量化和自组织特征映射以及Grossberg［52］的自适应共振理论，两者的主要情况如表4所示.
表4　2种聚类神经网络的比较
项目 Kohonen聚类网络　　 Grossberg聚类网络
输入量 精确的数值量 数值量或模糊语言量
输出量 聚类原型(特征矢量) 分类结果和类别数
学习方式 竞争学习(梯度下降) 模糊逻辑操作
聚类数目 事先给定 自动确定
功能用途 球型硬聚类、特征映射 球型硬聚类、模式分类
用神经网络实现聚类分析显著的优势在于神经网络的并行处理，因为在大数据量 情况下聚类是相当耗时的.　然而，以上两种聚类网络仍存在应用的局限性——只能实现球型的硬聚类，为此人们在模糊神经网络的集成研究方面做了不懈的努力. 从总体上看，模糊聚类神经网络的研究可分为两类：一类是从目标函数法演变而来的，其基础是模糊竞争学习算法，比较有代表性的如Pal和Bezdek［53］提出的基于竞争学习的模糊聚类网络，解决了球型分布样本的模糊聚类；Xu［54］提出了带惩罚项的竞争学习算法，可以自动确定聚类数；Zhang［55］提出了一种基于Gauss非线性的竞争学习算法，用于模糊聚类并给出了硬件实现方法. 另一类模糊聚类神经网络由模糊逻辑操作构成，比如Carpenter等人［56］在ART基础上发展的模糊ART，比ART在性能上有较大的改善，Simpson［57］提出的模糊Min-Max网络实现了超盒子形状的模糊聚类，但这类网络的研究很分散，不仅数量少，理论上也不很成熟.
2.3　基于进化计算的实现
进化计算是建立在生物进化基础之上基于自然选择和群体遗传机理的随机搜索算法.　由于它全局并行搜索，故可以较高的概率获得全局最优解.　此外进化计 算还具有简单、通用和鲁棒性强等优点.　为了获得快速准确的聚类，人们把进化计算引入到模糊聚类中，形成了一系列基于进化计算的模糊聚类算法.
这一系列算法大致可分为3种类型：一是基于模拟退火的方法，比如有对模糊分类矩阵U退火处理的［58］，有对聚类原型渐进优化的［59］，然而由于模拟退火算法只有当温度下降足够慢时才能收敛到全局最优点，极大的运算时间限制了其实用性；二是基于遗传算法［60］和进化策略［61］的方法，这方面的研究主要集中在解的编码方案、适应度函数的构造以及遗传算子和操作参数等方面1)；三是基于Tabu搜索的算法，主要是AL-Sultan做了一些探索和尝试［62］，这方面的研究还是很初步的，有待于进一步的深入.
对比上述3类模糊聚类的实现途径，得到如表5所示的结果.　从表中可知，3种方法各有优缺点，从而启发我们结合各自的优点去构造速度快、精度高而且对初始化不敏感的模糊聚类算法，比如把梯度算子引入进化计算中，用进化计算来训练神经网络等，都是很有前途的方向. 表5　3种模糊聚类实现途径的比较
项目 基于迭代优化的方法 基于神经网络的方法 基于进化计算的方法
搜索本质 梯度下降 梯度下降 随机搜索
收敛速度 较快 快 慢
算法精度 高 高 受编码长度限制
算法结构 串行 各维特征间并行 各个体间并行
初始化敏感性 敏感 敏感 不敏感
3　模糊聚类有效性的研究
对于给定的数据集，首先需要判断有无聚类结构，这属于聚类趋势研究的课题，如果已经确认有聚类结构则需要用算法来确定这些结构，这属于聚类分析研究的 课题.　得到聚类结构后，则需要分析聚类的结果是否合理，这属于聚类有效性研究的课题.　对聚类分析而言，有效性问题又可以转化为最佳类别数c的确定［20］.
历史上有关聚类有效性问题的研究大都是基于硬c-均值和模糊c-均值算法的，Dubes［9］和Jain［63］曾对80年前的研究做过评述.　现有的聚类有效性函数按其定义方式可分为：基于数据集模糊划分的、基于数据集几何结构的和基于数据集统计信息的3类，3类的理论基础和特点均列于表6中.　 表6　3类聚类有效性函数的特点比较
比较项目 基于模糊划分 基于几何结构 基于统计信息
理论基础
好的聚类分析对应于数据集较“分明”的划分 每个子类应当是紧致的而且子类间是尽可能分离的 最佳分类对应的数据结构提供的统计信息最好
优点 简单、运算量小 与数据集的结构密切相关 与数据集分布密切相关
缺点
与数据集的结构特征缺乏直接联系 表述比较复杂、运算量大 性能依赖统计假设与数据分布的一致性
代表性研究
Zadeh的分离度［20］
Bezdek的划分熵［20］
Windham的比例系数［64］ Dunn的划分系数［65］
Gunderson的分离系数［66］
Xie-Beni指标［67］ Vogel等人的PFS聚类［68］
Jain等人的自举法［69］
Beni的熵形式有效性函数［70］
没有万能的模糊聚类有效性函数，这也是有效性函数层出不穷的原因.　既然单一的度量方式不能解决所有可能的聚类有效性问题，那么现有的有效性函数将长期并存. 能否给出一种启发式的方法来帮助人们选择适合于待分析问题的有效性函数呢?答案是肯定的，但这将是一项艰巨的工程.　另外，现有聚类有效性函数多是针对模数c-均值算法的，除了Dave［71］和Krishnapuram［30］提出过针对模糊c-壳聚类的有效性函数外，很少有人讨论面向模糊线、面以及其他原型聚类算法的有效性问题，此外对可能性聚类、半模糊聚类的有效性度量也需要进一步丰富和发展，以便完善聚类有效性理论.
上述模糊聚类有效性函数，主要被用来确定合理的聚类数，以保证算法得到更有效的分类结果.　而在实际的聚类中，即使分类数选取得合适，由于选取的算法 不合适或者算法的参数选取得不合适，也可能得不到数据的真实结构.　这促使人们去寻找能指导聚类算法得到更符合实际分类的函数.　这方面的工作首先是由 Huntsbergery［72］进行的，他将模糊c-均值聚类算法应用于图像分割，为了得到理想的分割效果，引入了一个指导分割的函数；后来，Bcnsaid等人［73］修改了Xie-Beni指标［67］，提出了一个指导分类的新标准，并在其文章中明确指出对聚类有效性函数的研究不仅能回答数据集的最佳分类问题，而且能有效地指导聚类算法得到更符合实际的分类.
4　模糊聚类的应用研究
模糊聚类理论的发展推动了其在生产实践中的应用，反过来实际应用的需求又促进了模糊聚类理论的不断丰富和完善.　随着理论的发展，模糊聚类已经在众多 的领域获得广泛的应用，并取得了令人满意的效果和可观的效益.　其应用范围涉及到通讯系统中的信道均衡、矢量量化编码中的码书设计、时间序列的预测、神经 网络的训练、参数估计、医学诊断、天气预报、食品分类、水质分析等领域.　对上述应用的介绍，有兴趣的读者可参见文献［1，7～10，20］和高新波的论 文1)，本文不再赘述.　鉴于模糊聚类在模式识别和图像处理两个领域中相当成功的应用，以下主要对这两方面详细介绍.
4.1　模糊聚类在模式识别中的应用
模式识别中两大主要的分支为有监督的分类和无监督分类，而其中无监督分类与聚类分析相对应.　正是由于模糊聚类与模式识别的天然联系，使得它首先在模式识别领域获得成功的应用.　模糊聚类不需要训练样本，可直接通过机器学习达到自动分类的目的.
模式识别中一个最重要的问题是特征提取，模糊聚类不但能从原始数据中直接提取特征［74］，还能对已经得到的特征进行优选和降维操作［75］，以免造成“维数灾难”；在提取完特征后就需要分类器设计，模糊聚类算法既可以提供最近邻原型分类器［75］，还可以用来进行特征空间划分和模糊规则提取，以构造基于模糊IF-THEN规则的分类器［76］；在物体识别或线条检测中，模糊聚类既可以直接用于原始数据上［24，25，30］，也可以用于变换域中，比如Hough变换中峰值检测问题一直困绕着其推广应用，Jolion等人［77］提出基于模糊聚类的峰值检测方法，解决了这一难题，使得Hough变换可以自动执行，方便快捷；另外在不变性模式识别中也有借助模糊聚类技术的报道.
在一些模式识别的具体应用中，模糊聚类也取得了较好的效果，比如汉字字符识别中的字符预分类［78］；语音识别中的分类和匹配［79］；雷达目标识别中目标库的建立和新到目标的归类［80］等等，在此不再一一列举.
4.2　模糊聚类在图像处理中的应用
图像处理是计算机视觉的重要组成部分，由于人眼视觉的主观性使图像比较适合用模糊手段处理，同时训练样本图像的匮乏又需要无监督分析，而模糊聚类正好满足这两方面的要求，因此成为图像处理中一个强大的研究分析工具.
模糊聚类在图像处理中最为广泛的应用为图像分割，由于图象分割问题可以等效为象素的无监督分类，因此早在1979年Coleman和Andrews［81］就提出用聚类算法进行图像分割，此后基于二维直方图［82］、塔型结构［83］、小波分析［84］、分形分维［85］等一系列新技术，人们又相继提出了多种基于模糊聚类的灰度图像分割新方法，并且在纹理图像分割［86］、彩色图像分割1)、序列图像分割1)、遥感图像分割［86］等方面也获得了很大的进展.
基于模糊聚类的方法在边缘检测［24，25，30］、图像增强［87］、图像压缩［88］、曲线拟合2)等众多方面的研究同样也取得了丰硕的成果.
随着应用的发展，对模糊聚类理论又提出了许多新的要求，比如聚类算法的快速实现在图像处理的应用中要求极为迫切；必须把模糊聚类同新的技术相结合才能 取得好的结果；只有充分挖掘和利用实际应用中的先验知识，并指导聚类才有望在速度和质量上同步提高；另外，现有的模糊聚类都是针对静态数据的，还需研究数 据动态变化或数据不断到达情况的分析方法.　上述种种还需在理论上继续开拓和创新.
1) 见2246页脚注1)
2) 见2246页脚注1)
致谢　本工作为国家自然科学基金(批准号：69472046)资助项目.
作者简介：1) 高新波.　基于进化计算和神经网络的模糊聚类新算法研究.　西安电子科技大学硕士论文，1996
2) 裴继红.　基于模糊信息处理的图像分割方法研究.　西安电子科技大学博士论文，1998
作者单位：西安电子科技大学电子工程学院（高新波）
深圳大学（谢维信）
参考文献
1　何　清.　模糊聚类分析理论与应用研究进展.　模糊系统与数学，1998, 12(2): 89～94
2　Zadeh L A. Fuzzy sets. Inf Cont, 1965, 8: 338～353
3　Ruspini E H. A new approach to clustering. Inf Cont, 1969, 15: 22～32
4　Tamura S, Higuchi S, Tanaka K. Pattern classification based on fuzzy relations. IEEE SMC, 1971, 1(1): 217～242
5　Zkim Le. Fuzzy relation compositions and pattern recognition. Inf Sci, 1996, 89: 107～130
6　Wu Z, Leathy R. An optimal graph theoretic approach to data clustering: theory and its application to image segmentation. IEEE PAMI, 1993, 15(11): 1101～1113
7　Anderberg M R. Cluster Analysis for Applications. New York: Academic Press, 1973
8　var Ryzin J. Classification and Clustering. New York: Academic Press, 1977
9　Dubes R C, Jain A K. Algorithms for Clustering Data. Englewood Cliffs, NJ: Prentice Hall, 1988
10　李相镐，李洪兴，陈世权，等.　模糊聚类分析及其应用.　贵阳：贵州科学技术出版社，1994
11　Krishnapuram R, Kill J M. A possibilistic approach to clustering. IEEE Fuzzy System, 1993, 1(2): 98～110
12　Selim S Z, Ismail M A. Soft clustering of multidimensional data: a semi-fuzzy approach. Pattern Recognition, 1984, 17(5): 559～568
13　Kamel M S, Selim S Z. A threshold fuzzy c-means algorithm for semi-fuzzy clustering. Pattern Recognition, 1991, 24(9): 825～833
14　裴继红，范九伦，谢维信.　一种新的高效软聚类方法： 截集模糊c-均值聚类算法.　电子学报，1998, 26(2): 83～86
15　Trauwaert E, Kaufman L, Rousseeuw P. Fuzzy clustering algorithms based on the maximum likelihood principle. Fuzzy Sets and System, 1991, 85(42): 213～227
16　Li R P, Mukaidino M. A maximum entropy approach to fuzzy clustering. IEEE-FUZZ‘95, 1995: 2227～2232
17　Krishnapuram R, Kim J W. A clustering algorithm based on minimum volume. IEEE-FUZZ‘96, 1996: 1387～1392
18　Liaw J N, Kashyap R L. A new sequential classifier using information criterion window. Pattern Recognition, 1994, 27(10): 1423～1438
19　Dunn J C. A fuzzy relative of the ISODATA process and its use in detecting compact well separated cluster. J Cybernet, 1974, 3: 32～57
20　Bezdek J C. Pattern Recognition with Fuzzy Objective Function Algorithms. New York: Plenum Press, 1981
21　Bobrowski L, Bezdek J C. c-Means clustering with the l1 and l∞ norms. IEEE SMC, 1991, 21(3): 545～554
22　Yuan B, Klir G J, Swan-Stone J F. Evolutionary fuzzy c-means clustering algorithm. IEEE-FUZZ‘95, 1995: 2221～2226
23　Bezdek J C, Anderson I. An application of the c-varieties clustering algorithm to polygonal curve fitting. IEEE SMC, 1985, 15(5): 637～641
24　Dave R N. Fuzzy shell clustering and applications to circle detection in digital image. Inter J General System, 1990, 16(4): 343～355
25　Dave R N. Generalized fuzzy c-shells clustering and detection of circular and elliptical boundaries. Pattern Recognition, 1992, 25(7): 713～721
26　Hoeppner F. Fuzzy shell clustering algorithms in image processing: fuzzy c-rectangular and 2-rectangular shells. IEEE Fuzzy System, 1997, 5(4): 599～613
27　Suh I H, Kim J H, Rhee F C. Fuzzy clustering involving convex polytopes. IEEE-FUZZ"96, 1996, 1013～1019
28　Gao Xinbo, Xie Weixin, Liu Jianzhuang. Template based fuzzy clustering algorithm and its fast implementation, Proc of ICSP‘96, 1996: 1269～1272
29　Hathaway R J, Bezdek J C. Switching regression models and fuzzy clustering. IEEE FS, 1993, 1(3): 195～204
30　Krishnapuram R, Frigui H, Nasraoni O. Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation-Part Ⅰ, Ⅱ. IEEE Fuzzy System, 1995, 3(1): 29～60
31　Bezdek J C, A physical interpretation of fuzzy ISODATA. IEEE SMC, 1976, System-6: 387～390
32　Chan K P, Cheung Y S. Modified fuzzy ISODATA for the classification of handwritten Chinese characters. Proc Int Conf Chinese Comput, Singapore, 1986, 361～364
33　Bezdek J C, Hathaway R J, Sabin M J, et al. Convergence theory for fuzzy c-means: Counter-examples and repairs. IEEE SMC, 1987, 17(5): 873～877
34　Pal N R, Bezdek J C. On cluster validity for the fuzzy c-means model. IEEE Fuzzy Systems, 1995, 3(3): 370～379
35　Hathaway R J, Davenport J W, Bezdek J C. Relational duals of the c-means clustering algorithms. Pattern Recognition, 1989, 22(2): 205～212
36　Yang M S, Pan J A. On fuzzy clustering of directional data. Fuzzy Sets and Systems, 1997, 91(3): 319～326
37　Yang M S, Ko C H. On a class of fuzzy c-numbers clustering problems for fuzzy data. Fuzzy Sets and Systems, 1996, 84: 49～60
38　Sonbaty Y E, Ismail M A. Fuzzy clustering for symbolic data. IEEE Fuzzy Systems, 1998, 6(2): 195～204
39　Pezdrcy P. Algorithms of fuzzy clustering with partial supervision. Pattern Recognition Letters, 1985, 3: 13～20
40　Bensaid A M, Hall L Q, Bezdek J C, et al. Partially supervised clustering for image segmentation. Pattern Recognition, 1996, 29(5): 859～871
41　Dave R N, Krishnapuram R. Robust clustering methods: A unified view. IEEE Fuzzy Systems, 1997, 5(2): 270～293
42　Gustafson E E, Kessel W C. Fuzzy clustering with a fuzzy covariance matrix. Proc IEEE CDC San Diego CA, 1979: 761～766
43　Jawahar C V, Biiswas P K, Ray A K. Detection of distinct geometry: a step towards generalized fuzzy clustering. Pattern Recognition Letters, 1995, 16: 1119～1123
44　Bezdek J C. A convergence theorem for the fuzzy ISODATA clustering algorithm. IEEE PAMI, 1980, 1(2): 1～8.
45　Bezdek J C, Hathaway R, Sabin M J, et al. Convergence and theory for fuzzy c-means clustering: counterexamples and repairs. IEEE PAMI, 1987, 17(5): 873～877
46　Ismail M A, Selim S A. Fuzzy c-means: optimality of solutions and effective termination of the algorithm. Pattern Recognition, 1986, 19(6): 481～485
47　Yager R R, Filev D P. Approximate clustering via the mountain method. IEEE SMC, 1994, 24(8): 1279～1284
48　Chiu S L. Fuzzy model identification based on cluster estimation. J Intelligent and Fuzzy Systems, 1994, 2: 267～278
49　Chaudhuri D, Chaudhuri B B. A novel multiseed nonhierarchical data clustering technique. IEEE SMC, 1997, 27(5): 871～877
50　Postaire J G, Zhuang R D, Lecocq-Botte C. Cluster analysis by binary morphology. IEEE PAMI, 1993, 15(2): 170～180
51　Kohonen T. Self-organization and Associative Memory. Berlin: Springer-verlag, 1984
52　Grossberg S. Nonlinear neural networks: principles, mechanisms, and architectures. Neural Networks, 1988, 1: 17～61
53　Pal N R, Bezdek J C, Tsao E C K. Generalized clustering networks and Kohonen‘s self-organization scheme. IEEE Neural Networks, 1993, 4(4): 549～557
54　Xu Lei, Krrzyzak A, Oja E. Rival penalized competitive learning for clustering analysis, RBF net and curve detection. IEEE Neural Networks, 1993, 4(4): 636～649
55　Zhang D, Kamel M, Elmasry M T. Fuzzy clustering neural network (FCNN): competitive learning and parallel architecture. J of Intelligent and Fuzzy Systems, 1994, 2: 289～298
56　Carpenter C A, Grossberg S. Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps. IEEE Neural Networks, 1992, 3(5): 698～713
57　Simpson P K. Fuzzy min-max neural networks-part 2: clustering. IEEE Fuzzy Systems, 1993, 1(1): 32～45
58　Asultan K S, Selim S. A global algorithm for the fuzzy clustering problem. Pattern Recognition, 1993, 26(9): 1357～1361
59　Rose K, Gurewitz E, Fox G C. A deterministic annealing approach to clustering. Pattern Recognition Letters, 1990, 11: 589～594
60　Buckles B P, et al. Fuzzy clustering with genetic search. IEEE～FUZZ‘94, 1994: 46～50
61　Babu G P, Murty M N. Clustering with evolution strategies. Pattern Recognition, 1994, 2(27): 321～329
62　AL-Sultan K S, Fediji C A. A tabu search-based algorithm for the fuzzy clustering problem. Pattern Recognition, 1997, 12(30): 12023～12039
63　Dubes R C, Jain A K. Validity studies in clustering methodologies. Pattern Recognition, 1979, 11: 235～254
64　Windham M P. Cluster validity for fuzzy c-means clustering algorithms. IEEE PAMI, 1982, 4(4): 357～363
65　Dunn J C. Well-separated clusters and the optimal fuzzy partitions. J Cybernet, 1974, 4: 95～104
66　Gunderson R. Applications of fuzzy ISODATA algorithms startracker printing systems. In: proc 7th Triennial World IFAC Congr, Helsinki, Finland, 1978: 1319～1323
67　Xie X L, Beni G. A validity measure for fuzzy clustering. IEEE PAMI, 1991, 13: 841～847
68　Vogel M A, Wong A C. PFS clustering method. IEEE PAMI, 1979, 3: 237～245
69　Jain A K, Moreau J V. Bootstrap techniques in cluster analysis. Pattern Recognition, 1987, 20(5): 547～563
70　Beni C, Liu X M. A least biased fuzzy clustering method. IEEE PAMI, 1992, 16(9): 954～960
71　Dave R N. Validating fuzzy partitions obtained through c-Shells clustering Pattern Recognition Letters, 1996, 17: 613～623
72　Huntsbergery T L, Jacabs C L, Cannon R L. Iterative fuzzy image segmentation. Pattern Recognition, 1985, 2(18): 131～138
73　Bensaid A M, Hall L O, Bezdek J C, et al. Validity-guided (re)clustering with applications to image segmentation. IEEE Fuzzy Systems, 1996, 4(2): 112～122
74　Ramdas V, Sridhar V, Krishna G. An effective technique for feature extraction. Pattern Recognition Letters, 1994, 15: 885～891
75　Bezdek J C, Castelaz P F. Prototype classification and feature selection with fuzzy sets. IEEE SMC, 1977, 2(7): 87～92
76　Gao Xinbo, Xu Chunguang, Xie Weixin. Fuzzy partitioning of feature space for pattern classification based on supervised clustering. IEEE ISPACS‘98, Melbourne, 1998: 387～391
77　Jolion J M, Meer P, Bataouche S. Robust clustering with applications in computer vision. IEEE PAMI, 1991, 8(13): 791～801
78　Wu Youshou, Ding Xiaoqing. A new clustering method for Chinese character recognition system using artificial neural networks. Chinese J. of Electronics, 1993, 2(3): 1～8
79　Huang Z, Kuth A. A combined self-organizing feature map and multi-layer perception for isolated word recognition. IEEE Signal Processing, 1992, 40(11): 2651～2657
80　Stewart C, Lu Y C, Larson V. A neural clustering approach for high resolution radar target classification. Pattern Recognition, 1994, 27(4): 503～513
81　Coleman G B, Andrews H C. Image segmentation by clustering. Proc IEEE, 1979, 5(67): 773～785
82　刘健庄.　基于二维直方图的图像模糊聚类分割方法.　电子学报，1992，20(9)： 40～46
83　Trivedi M M, Bezdek J C. Low-level segmentation of aerial image with fuzzy clustering. IEEE SMC, 1986, 16(4): 589～598
84　Porter R, Canagarajah N. A robust automatic clustering scheme for image segmentation using wavelets. IEEE Image Processing, 1996, 5(4): 662～665
85　Chaudhuri B B, Sarkar N. Texture segmentation using fractal dimension. IEEE PAMI, 1995, 17(1): 72～77
86　Chen S W, Chen C F, Chen M S, et al. Neural-fuzzy classification for segmentation of remotely sensed images. IEEE Signal Processing, 1997, 45(11): 2639～2654
87　Shih F Y, Moh Jenlong, Chang Fuchun. A new art-based neural architecture for pattern classification and image enhancement without prior knowledge. Pattern Recognition, 1992, 25(5): 533～542
88　Lai Weichi. A VLSI neural processor for image data compression using self-organization networks. IEEE Neural Networks, 1993, 3(3): 506～517
(1998-11-09收稿，1999-07-23收修改稿)
请看PDF全文