面向日志的半监督一致性异常检测

作     者：顾兆军 侯晶雯 GU Zhaojun;HOU Jingwen

作者机构：中国民航大学信息安全测评中心天津300300 中国民航大学计算机科学与技术学院科学院天津300300 

基　　金：民航安全能力建设基金项目(PESA2020100 PESA2021007 PESA2021009)资助 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2024年第45卷第2期

页      码：374-380页

摘      要：为了解决真实数据缺少类标签、日志解析错误影响模型性能的问题,设计了基于置信度的半监督异常检测模型SemiCAD.该模型首先基于原始日志数据进行特征提取;其次,通过基于分层密度的带噪声应用空间聚类(HDBSCAN)的正例无标记样本(PU)学习算法,对训练集中无标签的数据进行伪标签估计;最后,使用一致性预测中的统计量p值度量日志数据间的不一致性,选择多个合适的集成算法作为不一致性度量函数计算不一致得分进行协同检测,给出待测日志序列的标签及其标签置信度.在超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据上进行实验,结果表明,相比其他日志异常检测模型,该模型的召回率和F1值等均有所提升,证明该半监督模型在缺少标签的日志中可以有效检测异常.

主 题 词：日志 异常检测 半监督 一致性 置信度 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.20009/j.cnki.21-1106/TP.2022-0429

馆 藏 号：203126096...