安全强化学习算法及其在CPS智能控制中的应用

作     者：赵恒军 李权忠 曾霞 刘志明 ZHAO Heng-Jun;LI Quan-Zhong;ZENG Xia;LIU Zhi-Ming

作者机构：西南大学计算机与信息科学学院软件学院重庆400715 西北工业大学智能嵌入式软件研究中心陕西西安710129 西南大学软件研究与创新中心重庆400715 

基　　金：国家自然科学基金(61902325,62032019,61972385,61732019,61702425) 西南大学国家人才建设项目(SWU116007) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2022年第33卷第7期

页      码：2538-2561页

摘      要：信息物理系统(cyber-physical system,CPS)的安全控制器设计是一个热门研究方向,现有基于形式化方法的安全控制器设计存在过度依赖模型、可扩展性差等问题.基于深度强化学习的智能控制可处理高维非线性复杂系统和不确定性系统,正成为非常有前景的CPS控制技术,但是缺乏对安全性的保障.针对强化学习控制在安全性方面的不足,围绕一个工业油泵控制系统典型案例,开展安全强化学习算法和智能控制应用研究.首先,形式化了工业油泵控制的安全强化学习问题,搭建了工业油泵仿真环境;随后,通过设计输出层结构和激活函数,构造了神经网络形式的油泵控制器,使得油泵开关时间的线性不等式约束得到满足;最后,为了更好地权衡安全性和最优性控制目标,基于增广拉格朗日乘子法设计实现了新型安全强化学习算法.在工业油泵案例上的对比实验表明,该算法生成的控制器在安全性和最优性上均超越了现有同类算法.在进一步评估中,所生成神经网络控制器以90%的概率通过了严格形式化验证;同时,与理论最优控制器相比实现了低至2%的最优目标值损失.所提方法有望推广至更多应用场景,实例研究的方案有望为安全智能控制和形式化验证领域其他学者提供借鉴.

主 题 词：强化学习 智能控制 信息物理系统 安全验证 工业油泵 

学科分类：0710[理学-生物科学类] 12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081104[081104] 0813[工学-化工与制药类] 0802[工学-机械学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 080201[080201] 

核心收录：

D　O　I：10.13328/j.cnki.jos.006588

馆 藏 号：203113533...