摘要：随着高性能计算的业务增长和规模扩大,机房空间、供电能力等外部因素常常会成为集群扩容升级的制约因素,由此产生了异地超算集群的建设需求。异地超算能突破单个集群的地理限制,提供更多算力资源。基于上海交通大学“交我算”计算平台建设异地联合超算集群的实践,总结了基础设施与系统软件的统一管理方法,以及集群异地容灾的高可用设计,具体包括:适配Slurm作业调度系统、Open OnDemand可视化门户站点、扩展LDAP等基础服务的高可用能力,以及建设分层汇聚监控系统。最后,从数据传输、用户体验和平台可用性3个维度展示了异地超算集群方案的有效性。

摘要：机器学习方法在预测作业运行时间中被广泛采用,但在实际使用中,算例数据收集、预测方法选择、作业特征提取、小样本数据预测准确度提升等,仍是亟待解决的问题。以上海交通大学校级计算教学平台使用负载中占比相当大的高斯应用为例,基于SLURM作业调度系统的前后处理机制设计了高斯算例收集系统,评估了不同机器学习方法结合不同特征采集方式对于预测作业运行时间的适用性。最终,在5314个样本数据集上,基于决策树和深度神经网络结合Text-CNN提取特征及加入库伦矩阵F范数的方法分别获得71.87%和84.93%的准确度,优于传统支持向量机方法;在仅有118个样本的小数据集上,使用迁移学习方法复用预训练参数分别获得65.2%和63.3%的准确度,优于从零开始训练的方法;使用Text-CNN能够避免one-hot编码导致的稀疏矩阵特征且拓展性更强;引入库伦矩阵F范数对提高准确度发挥了重要作用。