基于Scrapy和Elasticsearch的校园网搜索引擎的研究与实现

作     者：庄旭菲 田雪 

作者机构：内蒙古工业大学信息工程学院 

基　　金：内蒙古自治区高等学校科学研究项目(项目编号:NJZY19088) 内蒙古工业大学教育教学改革项目(项目编号:2016206) 内蒙古工业大学科学研究项目(项目编号:X201335) 

出 版 物：《科技资讯》 (Science & Technology Information)

年 卷 期：2019年第17卷第29期

页      码：12-15页

摘      要：针对通用搜索引擎无法及时收录校园网内信息和收录时间滞后的问题,基于Scrapy框架和Elasticsearch全文搜索引擎,提出了一个完善的校园网搜索引擎解决方案。该文主要分析了Scrapy的运行流程,对Elasticsearch的搜索机制进行了研究,在此基础上设计了校园网搜索引擎的系统架构,给出了系统的网页抓取模块、索引检索模块、页面展示模块的关键实现技术。最后通过实验验证,相比于传统的通用搜索引擎,该文设计的校园网搜索引擎的搜索结果相关性更好,数量更多,对于校园网内新信息的收录情况更好。

主 题 词：校园网搜索引擎 Scrapy Elasticsearch 中文分词 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081203[081203] 08[工学] 0835[0835] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.16661/j.cnki.1672-3791.2019.29.012

馆 藏 号：203824436...