摘要：恶意下载爬虫对电子商务造成了不可忽视的损失,为此设计了一套适用于各航空公司的通用查订票爬虫检测系统.首先系统以航线图、柱状图、饼图等多种可视化手段展现各时段的爬虫检测效果;其次基于SVM分类器,并结合IP地址聚合和查询量排序技术,设计了高效识别动态IP爬虫等多种爬虫的检测算法;最后通过特征筛选、IP历史详情查询等可视界面支持用户手工筛选训练样本,以更新SVM分类模型.以某航空公司访问E-Build服务器的日志数据进行的实验结果表明,该系统能够有效地抓取多种爬虫,大大降低无效查询量,并且能方便地更新分类模型,保持检测算法的长效性.

摘要：推特等微博已成为人们交流信息、发表观点的重要平台.针对微博数据海量、动态且复杂多样,导致从微博数据中实时获取有用信息具有一定的难度的问题,设计了一个交互的可视分析系统.系统首先基于关键词过滤和支持向量机分类动态地监控不断获取的微博数据;接着以热力图、统计图、词云等可视化方式呈现微博的过滤效果,以方便用户进行探索;最后借鉴视频运动放大技术对微博数据中的微小时变模式进行放大,能有效地发现数据中的微小特征.以推特数据为例进行实验的结果表明,该系统能动态地对微博数据进行有效分类,并能识别数据中的微小变化模式,帮助用户准确了解事件的发展.