面向蒙古文主题的网络爬虫采集策略模型

作     者：马志强 张泽广 闫瑞 杨双涛 MA Zhi-qiang;ZHANG Ze-guang;YAN Rui;YANG Shuang-tao

作者机构：内蒙古工业大学信息工程学院呼和浩特010080 

基　　金：国家自然科学基金资助项目(61363052) 内蒙古自治区自然科学基金资助项目(2014MS0608) 内蒙古自治区高等学校科学研究项目(NJZY12052) 

出 版 物：《北京工业大学学报》 (Journal of Beijing University of Technology)

年 卷 期：2015年第41卷第7期

页      码：1012-1019页

摘      要：针对蒙古文主题爬虫主要面临的预测采集URL和发现隧道2个核心问题,提出一种基于主题团的站点聚类、排序和隧道发现的采集模型.通过站点的主题识别,将待爬行URL分为站点链接和非站点链接,使用文本相似度和超链图分析建立了预测URL优先级排序算法,基于站点粒度设计了站点自适应隧道发现算法,最后,构建了一个面向蒙古文主题的网络爬虫系统.实验结果表明:该算法在采准率、信息总量与采集速率上都得到了提高,明显优于基线算法.

主 题 词：主题爬虫 主题团模型 相关度计算 隧道 N-Gram模型 

学科分类：0810[工学-土木类] 081203[081203] 08[工学] 0805[工学-能源动力学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.11936/bjutxb2014120001

馆 藏 号：203351301...