用DPS聚类分析最多一次性能处理多少组数据

我在用聚类分析的过程中好像DPS一次性不能处理超过50组,可是我想一次性处理600多组,这个有没有办法啊

第1个回答  2016-05-06
聚类算法研究及比较框架
  聚类算法一般有五种方法,最主要的是划分方法和层次方法两种。划分聚类算法通过优化评价函数把数据集分割为K个部分,它需要K作为 输人参数。典型的分割聚类算法有K-means算法, K-medoids算法、CLARANS算法。层次聚类由不同层次的分割聚类组成,层次之间的分割具有嵌套的关系。它不需要输入参数,这是它优于分割聚类
算法的一个明显的优点,其缺点是终止条件必须具体指定。典型的分层聚类算法有BIRCH算法、DBSCAN算法和CURE算法等。
  对各聚类算法的比较研究基于以下5个标准:
  ① 是否适用于大数据量,算法的效率是否满足大数据量高复杂性的要求;
  ② 是否能应付不同的数据类型,能否处理符号属性;
  ③ 是否能发现不同类型的聚类;
  ④ 是否能应付脏数据或异常数据;
  ⑤ 是否对数据的输入顺序不敏感。
  下面将在该框架下对各聚类算法作分析比较。
数据挖掘常用聚类算法比较分析
3.1 K-pototypes算法
  K-pototypes算法结合了K-means方法和根据K-means方法改进的能够处理符号属性的K-modes方法,同K-means方法相比,K-pototypes 算法能够处理符号属性。
  3.2 CLARANS算法(划分方法)
  CLARANS算法即随机搜索聚类算法,是一种分割聚类方法。它首先随机选择一个点作为当前点,然后随机检查它周围不超过参数Maxneighbor 个的一些邻接点,假如找到一个比它更好的邻接点,则把它移人该邻接点,否则把该点作为局部最小量。然后再随机选择一个点来寻找另一个局部最小量,直至所找 到的局部最小量数目达到用户要求为止。该算法要求聚类的对象必须都预先调人内存,并且需多次扫描数据集,这对大数据量而言,无论时间复杂度还是空间复杂度
都相当大。虽通过引人R-树结构对其性能进行改善,使之能够处理基于磁盘的大型数据库,但R*-树的构造和维护代价太大。该算法对脏数据和异常数据不敏 感,但对数据物人顺序异常敏感,且只能处理凸形或球形边界聚类。
  3.3 BIRCH算法(层次方法)
  BIRCH算法即平衡迭代削减聚类法,其核心是用一个聚类特征3元组表示一个簇的有关信息,从而使一簇点的表示可用对应的聚类特征,而不必用具体的一 组点来表示。它通过构造满足分支因子和簇直径限制的聚类特征树来求聚类。BIRCH算法通过聚类特征可以方便地进行中心、半径、直径及类内、类间距离的运 算。算法的聚类特征树是一个具有两个参数分枝因子B和类直径T的高度平衡树。分枝因子规定了树的每个节点子女的最多个数,而类直径体现了对一类点的直径大 小的限制即这些点在多大范围内可以聚为一类,非叶子结点为它的子女的最大关键字,可以根据这些关键字进行插人索引,它总结了其子女的信息。
  聚类特征树可以动态构造,因此不要求所有数据读人内存,而可以在外存上逐个读人。新的数据项总是插人到树中与该数据距离最近的叶子中。如果插人后使得 该叶子的直径大于类直径T,则把该叶子节点分裂。其它叶子结点也需要检查是否超过分枝因子来判断其分裂与否,直至该数据插入到叶子中,并且满足不超过类直 径,而每个非叶子节点的子女个数不大于分枝因子。算法还可以通过改变类直径修改特征树大小,控制其占内存容量。
  BIRCH算法通过一次扫描就可以进行较好的聚类,由此可见,该算法适合于大数据量。对于给定的M兆内存空间,其空间复杂度为O(M),时间间复杂度 为O(dNBlnB(M/P)).其中d为维数,N为节点数,P为内存页的大小,B为由P决定的分枝因子。I/O花费与数据量成线性关系。BIRCH算法 只适用于类的分布呈凸形及球形的情况,并且由于BIRCH算法需提供正确的聚类个数和簇直径限制,对不可视的高维数据不可行。
  3.4 CURE算法(层次方法)
  CURE算法即使用代表点的聚类方法。该算法先把每个数据点看成一类,然后合并距离最近的类直至类个数为所要求的个数为止。CURE算法将传统对类的 表示方法进行了改进,回避了用所有点或用中心和半径来表示一个类,而是从每一个类中抽取固定数量、分布较好的点作为描述此类的代表点,并将这些点乘以一个 适当的收缩因子,使它们更靠近类的中心点。将一个类用代表点表示,使得类的外延可以向非球形的形状扩展,从而可调整类的形状以表达那些非球形的类。另外, 收缩因子的使用减小了嗓音对聚类的影响。CURE算法采用随机抽样与分割相结合的办法来提高算法的空间和时间效率,并且在算法中用了堆和K-d树结构来提
高算法效率。
  3.5 DBSCAN算法(基于密度的方法)
  DBSCAN算法即基于密度的聚类算法。该算法利用类的密度连通性可以快速发现任意形状的类。其基本思想是:对于一个类中的每个对象,在其给定半径的 领域中包含的对象不能少于某一给定的最小数目。在DBSCAN算法中,发现一个类的过程是基于这样的事实:一个类能够被其中的任意一个核心对象所确定。为 了发现一个类,DBSCAN先从对象集D中找到任意一对象P,并查找D中关于关径Eps和最小对象数Minpts的从P密度可达的所有对象。如果P是核心 对象,即半径为Eps的P的邻域中包含的对象不少于Minpts,则根据算法,可以找到一个关于参数Eps和Minpts的类。如果P是一个边界点,则半
径为Eps的P邻域包含的对象少于Minpts,P被暂时标注为噪声点。然后,DBSCAN处理D中的下一个对象。
  密度可达对象的获取是通过不断执行区域查询来实现的。一个区域查询返回指定区域中的所有对象。为了有效地执行区域查询,DBSCAN算法使用了空间查 询R-树结构。在进行聚类前,必须建立针对所有数据的R*-树。另外,DBSCAN要求用户指定一个全局参数Eps(为了减少计算量,预先确定参数 Minpts)。为了确定取值,DBSCAN计算任意对象与它的第k个最临近的对象之间的距离。然后,根据求得的距离由小到大排序,并绘出排序后的图,称 做k-dist图。k-dist图中的横坐标表示数据对象与它的第k个最近的对象间的距离;纵坐标为对应于某一k-dist距离值的数据对象的个数。
R*-树的建立和k-dist图的绘制非常消耗时间。此外,为了得到较好的聚类结果,用户必须根据k-dist图,通过试探选定一个比较合适的Eps值。 DBSCAN算法不进行任何的预处理而直接对整个数据集进行聚类操作。当数据量非常大时,就必须有大内存量支持,I/O消耗也非常大。其时间复杂度为 O(nlogn)(n为数据量),聚类过程的大部分时间用在区域查询操作上。DBSCAN算法对参数Eps及Minpts非常敏感,且这两个参数很难确定。
  
  3.6 CLIQUE算法(综合了基于密度和基于网格的算法)
  CLIQUE算法即自动子空间聚类算法。该算法利用自顶向上方法求出各个子空间的聚类单元。CLUQUE算法主要用于找出在高维数据空间中存在的低维 聚类。为了求出d维空间聚类,必须组合给出所有d-1维子空间的聚类,导致其算法的空间和时间效率都较低,而且要求用户输入两个参数:数据取值空间等间隔 距离和密度阔值。这2个参数与样木数据紧密相关,用户一般难以确定。CLIQUE算法对数据输人顺序不敏感。追问

大哥,咱别搞得这么高深啊,咱就来个简单的我在做聚类分析时用的是欧氏距离,在聚类结果中的T I J 分别是什么意思啊

本回答被网友采纳

DPS是什么软件
并在某些方面已处于国际领先地位(如实验设计中大样本时的均匀实验设计、多元统计分析中动态聚类分析)。在期刊检索中,国内遥遥领先、逐年增长的科技文献中的引用次数则显示了DPS数据处理系统国内应用的广泛程度,其应用已遍及自然科学和社会科学各个领域。

dps软件在国际上的地位如何?
广泛的应用证明了DPS数据处理系统的实力和影响力。 在国内科技文献检索中,DPS的引用量逐年攀升,它已经成为自然科学和社会科学领域不可或缺的数据处理平台。无论是科研项目还是日常数据分析,DPS都以其强大的功能和广泛的适用性深受用户青睐。总结来说,DPS不仅是一个游戏术语,更是专业数据处理的有力工具...

dps数据处理系统 是金山产的么?
全书共8篇44章,配以作者开发的计算机全屏交互式DPS数据处理软件系统光盘1张。《DPS数据处理系统:实验设计、统计分析及数据挖掘(第2版)(附光盘1张)》可供从事自然科学和社会科学如农林牧渔、生态区划、医药卫生、气象、水文地质、地震、市场调研、经济管理等专业的科研、教学、管理和技术推广人员使用,也...

DPS聚类分析结果里T I J啥意思啊?另外DPS里面没有快速样本聚类吗?
00我们这的DPS只的是玩家角色的伤害

DPS数据处理系统内容简介
DPS数据处理系统,是一本全面介绍实验设计、统计分析和数据挖掘技术的实用指南,第二版特别配有一张光盘,包含作者开发的全屏交互式DPS数据处理软件。该书详细讲解了现代统计学中的400多种方法,涵盖了试验设计、方差分析、列联表分析、非参数检验,以及专业统计领域如生物测定、遗传育种和生存分析等内容。在...

dps是什么格式的文件
如多元聚类方差分析、小波分析等。更为重要的是,DPS还配备了一本135万字的配套巨著,集使用手册与统计教材于一体,为用户提供全面的统计学知识,同时具备汉英双语界面,适用于不同语言背景的用户。总的来说,DPS以其全面的特性与强大的功能,成为了数据处理和统计分析的有力工具。

数据相关性分析
当然不能这样认为。可以根据数据类型做卡方检验、T检验、F检验等等。看看P值是否都小于0.0001,如果都小于,则可以这样认为。根据具体情况,也可以做多元相关分析。你可以做回归分析,看看数据是否服从线性回归、指数回归、对数回归等。你也可以做主成分分析、聚类分析、因子分析等等,来具体分析相关程度。

dps是什么意思
4、完善的统计分析功能涵盖了所有统计分析内容,是目前国内统计分析功能最全软件包。DPS的一般线性模型(GLM)可以处理各种类型试验设计方差分析,特别是一些用SPSS菜单操作解决不了、用SAS编程很难折腾的多因素裂区混杂设计、格子设计等方差分析问题,用DPS菜单操作可轻松搞定。现有版本应用GLM进行分析可处理因子...

种植业区划的数学方法与计算过程
首先把收集来的数据由Excel软件进行初步处理,然后用DPS统计软件进行系统分析。采用系统聚类(cluster analysis)方法来对鄱阳湖地区进行聚类分析研究。系统聚类分析的功能是建立一种分类方法,它将一批样品或变量按照它们在性质上的亲疏程度进行分类。即把每个样品看成M维(变量的个数为M个)空间的一点,进而在M...

DPS数据处理系统-实验设计、统计分析及数据挖掘内容提要
涵盖400多种方法,包括实验设计、各类方差分析、列联表分析、非参数检验等。专业统计领域涉及量表分析、顾客满意指数模型、试验诊断ROC曲线、生物测定、生存分析、动植物遗传育种、品种区域试验、空间分布型、地理统计、数值生态学方法等。多元分析技术如各种回归分析、聚类分析、主成分分析、判别分析、典型相关...

相似回答