摘要：分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。

摘要：分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法(parallelismdeduction algorithm, PDA),通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。

摘要：内存计算框架的低延迟特性大幅提高了集群的计算效率,但Shuffle过程的性能瓶颈仍不可规避.宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果,同步过程不仅浪费计算资源,更增加了作业延时,这一现象在异构集群环境下尤为突出.针对内存计算框架Shuffle操作的同步问题,建立了资源需求模型、执行效率模型和任务分配及调度模型.给出了分配效能熵(allocation efficiency entropy,AEE)和节点贡献度(worker contribution degree,WCD)的定义,提出了算法的优化目标.根据模型的相关定义求解,设计了局部数据优先拉取算法(partial data shuffled first algorithm,PDSF),通过高效节点优先调度,提高流水线与宽依赖任务的时间重合度,减少宽依赖Shuffle过程的同步延时,优化集群资源利用率;通过适度倾斜的任务分配,在保障慢节点计算连续性的前提下,提高分配任务量与节点计算能力的适应度,优化作业执行效率;通过分析算法的相关优化原则,证明了算法的帕累托最优性.实验表明:PDSF算法提高了内存计算框架的作业执行效率,并使集群资源得到有效利用.

摘要：异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能。实验结果表明:在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率。

摘要：为提高对恶意URL检测的准确率,提出一种结合注意力机制的卷积神经网络和双向长短时记忆网络并联联合算法模型(CATBL)。提取用于表达恶意URL二进制文件内容相似性的纹理图像特征,提取URL信息特征及主机信息特征,将这几种特征进行融合,利用CNN(convolutional neural network)挖掘深层次局部特征,采用Attention机制调整权重和双向LSTM(bidirectional long short-term memory)提取全局特征,用于对网络中的恶意URL进行检测。实验结果表明,使用该算法检测恶意URL的准确率达到98.8%,与传统检测方式相比,具有明显的提升。

摘要：针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法(IFPM)。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法(EPA)和迭代式分区映射算法(IMA),在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。

摘要：随着移动通信网络技术的发展和应用,项目管理信息系统在移动通信工程项目建设中得到了广泛的应用。项目管理信息系统可以满足移动网络建设项目的基本需要,可以有效地对移动通信工程建设过程中复杂数据进行管理。对项目管理信息系统应用特点以及系统的应用模式进行了分析,结合移动网络建设的实际情况的需求,针对项目管理信息系统的模块设计及功能实现等方面,提出了项目管理信息系统在移动网络建设中的应用设计方案并进行了研究。

摘要：设计模式课程是高校软件工程专业的核心课程,与传统编程语言类课程不同,设计模式更加注重软件产品的工程化设计,因此需要对传统的计算机课程教学模式进行改革,以适应设计模式课程教学的要求。本文对设计模式课程的教学内容重新规划,引入故事性的教学情境,制定渐近式学做一体化教学方案,在课堂教学中将理论与实验充分融合,从而提高学生对设计模式课程的学习兴趣,加深知识印象,激发主观能动性。

摘要：随着教育信息化改革的逐步深入,计算机技术已逐渐应用到教育教学过程的各个方面,灵活高效的信息化考核方式成为高校教育改革的重要组成部分。在线考试系统通过网络实现考试过程的无纸化管理,不仅能够节约因考试产生的人力物力成本,更提高了工作效率,同时方便教务部门对考试全过程的监督检查。介绍了基于***在线考试系统的设计与实现,包括学生管理、试题管理、在线考试、成绩管理、异常恢复等主要功能,详细阐述在线考试系统的分析、设计和开发过程,并运用功能结构图、数据流图等方法对在线考试系统的实现过程作了详细的说明。

摘要：本文设计基于单片机的输液监控系统能够实现实时监测和报警功能。采用单片机和数字显示技术对液体的量和速度进行计实时监测,并在滴速异常时报警;采用串行通信进行输液监控系统与手机App之间的通信,以实现对病人静脉输液全过程的实时监控和管理。系统综合运用传感器技术、自动控制技术和无线通信技术设计了滴速检测、回血报警、液晶显示、无线传输、声光报警等功能模块。该系统操作方式简单易懂,通过终端即可达到观察以及管理的效果,减轻医护人员的压力同时提高医护工作效率。