摘要：针对SMOTE算法和随机森林可较好解决不平衡数据集的分类问题但对少数类样本分类效果还有待提高的问题,融合canopy和K-means两种聚类算法,设计了C-K-SMOTE改进算法。先后利用canopy算法进行快速近似聚类,再利用K-means算法进行精准聚类,得到精准聚类簇,最后利用SMOTE算法增加少数类样本数量,使数据趋于平衡。选取公开数据集KEEL(knowledge extraction on evolutionary learning)数据库中的不平衡数据集,结合随机森林分类模型进行了实验验证,实验表明C-K-SMOTE算法可有效平衡不平衡数据集。

摘要：协作过滤算法(CF)在推荐系统中难以处理数据的稀疏性和可伸缩性问题。本文提出了基于类别偏好canopy-K-means的协同过滤算法(CPCKCF),设计了用户项类别偏好比率(UICPR)的定义,并用来计算UICPR矩阵。将canopy算法作为CPCKCF的前置算法,并将输出作为K-means算法的输入,其结果用于用户数据进行聚类并找到最近的用户以获得预测得分,使用MovieLens数据集进行的实验结果表明,与传统的基于用户的协作过滤算法相比,所提出的CPCKCF算法将计算效率和推荐精度提高了2.81%。

摘要：随着数据的爆炸式增长,聚类研究作为大数据的核心问题之一,正面临计算复杂度高和计算能力不足等诸多问题。提出了一种基于Hadoop的分布式改进K-means算法,该算法通过引入canopy算法初始化K-means算法的聚类中心,克服传统K-means算法因初始中心点的不确定性,易陷入局部最优解的问题。本算法在canopy(罩盖)中完成K-means聚类,并在canopy间完成簇的合并,聚类效果稳定,迭代次数少。同时,结合MapReduce分布式计算模型,给出改进后算法的并行化设计方法和策略,进一步通过改进相似度度量方法,将该方法用于文本聚类中。实验结果证明该算法具有良好的准确率和扩展性。

摘要：为降低K值的不确定性和初始聚类中心的随机性对聚类结果的影响,提出一种基于优化canopy算法和均值计算法的改进K-means算法——CK-means+。优化canopy算法,降低距离阈值T不确定性对最终输出K值的影响,通过canopy算法和均值计算法得到K值和初始中心点。在UCI数据集上,结合Spark框架并行化,实验结果表明,相较其它算法,CK-means+算法效率更高,可以更好适应大规模数据应用场景。

摘要：针对K-means算法聚类质量和收敛速度取决于初始聚类中心选取的问题,提出了一种利用最小方差获取canopy最优全局中心作为K-means聚类中心初值的算法,并利用Hadoop平台MapReduce编程模型进行了分布式MVC-Kmeans算法的设计与实现。标准UCI数据集测试结果表明,与传统K-means聚类算法相比,该算法可以得到更好的聚类质量,且收敛速度更快,适于大规模数据的聚类分析。

摘要：为了缓解电网数据存在的孤立与异构问题,提升电网数据集成效果,基于聚类算法设计了电网分布式增值业务数据集成系统。依托Spark平台,建立由应用层和基础平台层构成的电网分布式增值业务数据集成系统;利用B/S结构和MVC模型内前端开发工具包完成界面设计;设置在后端服务器,负责聚类分析与权限查询等功能;以基础平台层为系统提供计算服务。利用Hibernet框架,联合canopy算法与k-medoids聚类算法,实现电网分布式增值业务数据集成。实例测试结果表明,该系统受线程数量影响较小,聚类能力好,提高数据集成能力。

摘要：传统的有序用电方式都是硬性的调控,没有考虑用户的利益,用户响应度差。本文基于国网公司现有的SG186和SGERP工程建设采集用户用电及社会用电数据,运用数据挖掘分析技术,设计开发了一个基于用户效益的有序用电划分方式,旨在维护用户利益,提升用电用户在参与有序用电时的体验和提高用户参与有序用电的积极性。为了提高对用户用电特征进行聚类时的效率,本文结合canopy聚类算法和K-means聚类算法,基于用户历史日负荷数据用canopy算法求出聚类簇数,再用K-means算法聚类出四类典型的用户用电模式。