互联网数据挖掘与分析平台设计与实现

作     者：李翔坤 

作者机构：大连东软信息学院计算机科学与技术系辽宁大连116023 

出 版 物：《科技风》 (Technology Wind)

年 卷 期：2022年第10期

页      码：71-73页

摘      要：面对移动互联网中庞大的数据量,如何进行挖掘和可视化的分析是当前大数据研究的一个热点。本文搭建了一个互联网数据挖掘与分析平台,首先采用基于Scrapy框架搭建的爬虫系统从互联网络爬取了大量新闻数据与招聘数据,通过Sphinx和CoreSeek经过google-diff-match-patch算法去重,最后利用R语言对这些数据进行可视化分析,从而为制定决策提供更好的依据。

主 题 词：互联网数据 R语言 Scrapy 可视化分析 

学科分类：08[工学] 0812[工学-测绘类] 

D　O　I：10.19392/j.cnki.1671-7341.202210024

馆 藏 号：203109744...