Spark框架下基于无指导学习环境的网络流量异常检测研究与实现

作     者：吴晓平 周舟 李洪成 WU Xiaoping;ZHOU Zhou;LI Hongcheng

作者机构：海军工程大学信息安全系湖北武汉430033 

基　　金：国家自然科学基金 湖北省自然科学基金[2015CFC867] 

出 版 物：《信息网络安全》 (Netinfo Security)

年 卷 期：2016年第6期

页      码：1-7页

摘      要：针对海量数据进行入侵检测的困难性问题,文章设计并实现了一套基于Spark框架的网络流量无指导学习异常检测系统。数据的预处理采用Python和Python的数据升级版IPython实现,异常检测采用无指导学习环境下的快速聚类方法 K-means预测以及划分流量方法,记录所代表的攻击类型。为了避免Map Reduce等传统分布式计算框架频繁的硬盘读写带来的巨大时间开销,文章设计实现了Spark框架下的K-means异常检测方法,通过将每轮迭代产生的临时数据存入内存而非硬盘中,有效提高了K-means聚类检测算法的计算效率。此外,为解决K-means算法中K值选取难的问题,通过Spark迭代计算与比较不同K值下的K-means算法中各聚类中心到所属簇中所有点距离的平均值,实现最佳K值的选取。最后,对系统进行了性能和功能测试,测试结果表明该系统达到了预定的设计要求,具有很高的计算效率和检测准确性。

主 题 词：网络流量检测 Spark 指导学习 

学科分类：0839[0839] 08[工学] 

D　O　I：10.3969/j.issn.1671-1122.2016.06.001

馆 藏 号：203173381...