聚类分析方法有什么好处

问题描述

精选答案

聚类分析也称群分析或点群分析，它是研究多要素事物分类问题的数量方法，是一种新兴的多元统计方法，是当代分类学与多元分析的结合。其基本原理是，根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。

聚类分析方法的特征

（1）、聚类分析简单、直观。

（2）、聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析。

（3）、不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类别的解。

（4）、聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。

（5）、研究者在使用聚类分析时应特别注意可能影响结果的各个因素。

（6）、异常值和特殊的变量对聚类有较大影响，当分类变量的测量尺度不一致时，需要事先做标准化处理。

在聚类分析中，常用的聚类要素的数据处理方法有如下几种：

①、总和标准化

②、标准差标准化

③、极大值标准化

④、极差的标准化

经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在0与1之间。距离是事物之间差异性的测度，差异性越大，则相似性越小，所以距离是系统聚类分析的依据和基础。

系统聚类方法的步骤

（1）、对数据进行变换处理；（不是必须的，当数量级相差很大或指标变量具有不同单位时是必要的）

（2）、构造n个类，每个类只包含一个样本； 

（3）、计算n个样本两两间的距离； 

（4）、合并距离最近的两类为一新类；

（5）、计算新类与当前各类的距离，若类的个数等于1，转到6；否则回4； 

（6）、画聚类图；

（7）、决定类的个数，从而得出分类结果。

NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

大数据文本聚类能够对大数据文档进行自动梳理，归纳热点趋势，把内容相近的信息归为一类，按照热度进行排名，并自动为该类生成标题和主题词。适用于自动生成热点排行、热门事件识别、热点趋势发现等诸多应用。