结构拓扑优化的Q学习-元胞方法研究

作     者：宋旭明 史哲宇 包世鹏 唐冕 SONG Xuming;SHI Zheyu;BAO Shipeng;TANG Mian

作者机构：中南大学土木工程学院湖南长沙410075 广州地铁设计研究院股份有限公司广东广州510010 

基　　金：国家自然科学基金资助项目(52078486) 

出 版 物：《铁道科学与工程学报》 (Journal of Railway Science and Engineering)

年 卷 期：2024年第21卷第8期

页      码：3274-3285页

摘      要：传统的拓扑优化算法均基于灵敏度分析的方式求解,如渐进结构优化法(Evolutionary Structural Optimization, ESO)和变密度法(Solid Isotropic Material with Penalization, SIMP)等,灵敏度分析依赖于严谨的数学模型,结果可信度高,但面对不同的结构和约束条件都需要反复重新推导单元灵敏度,对使用人员的数学能力有较高要求,而且也导致了收敛速度慢、迭代步数多的问题。针对现有优化方法中存在的缺陷,结合强化学习Q学习理论和元胞自动机原理,提出一种新的拓扑优化方法:Q学习-元胞法(Q-learning-Cellular Automaton, QCA),尝试为工程构件的优化设计提供一种新思路。这种方法以有限元单元作为元胞,将所有元胞的智能行为集成为一个Q-learning智能体。训练过程中,各个元胞首先完成对自身环境的感知,然后调用智能体进行决策并通过环境交互得到反馈,智能体也借此得到大量数据来学习更新,整个过程不涉及数学模型推导,通过智能体和元胞的不断探索即可完成优化。在此基础上,探讨元胞的选择及其邻域和状态的描述方式,针对元胞的动作空间及收益函数进行比选,进而编制相关拓扑优化软件。优化算例表明,QCA方法优化后的拓扑构型与传统优化方法的构型基本一致,迭代步数较SIMP法降低了64%,且柔顺度更低。Q学习-元胞法在结构拓扑优化中具备良好的可行性,计算效率高且具有迁移优化能力,在结构拓扑优化领域极具潜力。

主 题 词：拓扑优化 强化学习 Q学习 元胞自动机 优化计算 

学科分类：08[工学] 081402[081402] 080203[080203] 0802[工学-机械学] 0814[工学-地质类] 

核心收录：

D　O　I：10.19713/j.cnki.43-1423/u.T20231813

馆 藏 号：203140256...