摘要：随着移动时代的到来,只适配了电脑网页、性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求。为此,设计了一种基于网络爬虫的高实用性查询系统。它首先通过Python爬虫以HTTP(hypertext transport protocol)分析与模拟方法获取校园教务系统的网页数据,然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据,最后存入高速NoSQL数据库以供快速查询。通过课表获取实例,验证了该设计的可行性与有效性。

摘要：大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能。通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性。

摘要：针对目前高校应用型本科转型背景下大数据课程群应用性不鲜明的问题,提出基于大数据人才知识结构和应用能力需求的大数据课程群教学改革方法。首先,构建适于应用型人才培养的大数据课程群体系框架;其次,设计并实践应用型大数据课程教学方案;最后,建设面向应用型教学的大数据课程群教学资源平台。实践结果表明该课程群能有效提高学生学习兴趣和实践能力,为大数据专业注入新的活力,提升毕业生的就业竞争力。