面向深度学习的分布式任务执行系统

作     者：高国樑 陈雷放 刘一鸣 GAO Guo-Liang;CHEN Lei-Fang;LIU Yi-Ming

作者机构：中国石油大学(华东)计算机科学与技术学院青岛266580 青岛农业大学理学与信息科学学院青岛266109 华北电力大学(保定)电气与电子工程学院保定071003 

出 版 物：《计算机系统应用》 (Computer Systems & Applications)

年 卷 期：2021年第30卷第7期

页      码：80-86页

摘      要：深度学习全流程托管平台提供了深度学习实验任务的网页端解决方案,加速了深度学习技术在生产生活中的应用.为了解决网页端深度学习平台进行图像识别模型训练的问题,本文设计实现了面向深度学习实验任务的分布式任务执行系统.系统由资源监控、任务调度、任务执行、日志管理4大模块组成,将任务依据资源使用率等策略进行调度,采用Docker容器技术进行执行,并对产生的日志信息进行了实时收集.经过测试,分布式任务执行系统不仅保证了正常的功能需求,在可靠性、稳定性等指标上也都达到了预期的要求,将其集成到平台中可减少20%左右的训练时间.

主 题 词：分布式 任务调度 任务执行 日志 资源监控 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.15888/j.cnki.csa.007997

馆 藏 号：203104155...