摘要：在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向.

摘要：本文针对热泵用翅片管蒸发器,采用分布参数法构建仿真模型,研究蒸发器流路对其熵产的影响,并开发了基于“整数梯度下降”算法的蒸发器流路优化模型。研究结果表明:当蒸发器换热量增大时,最小熵产点所对应的蒸发器分路数增加,且分液器相对位置前移。通过对比实验与仿真结果,验证了蒸发器熵产(仿真值)与系统COP(实验值)之间的对应关系,即蒸发器熵产(仿真值)的变化可用于预测热泵系统COP的变化情况。在此基础上,以熵产作为“代价函数”,采用“梯度下降算法”构建了蒸发器流路优化模型,获得了设计换热量为2000~6000 W所对应的最佳蒸发器流路。

摘要：为了设计更多有效的独立分量分析(ICA)算法,本文提出了ICA梯度下降算法(GDA)的一般框架,覆盖了许多目前流行的算法,如Infomax,MMI,MLE等等。该框架由一种新的基于II类超加(减)性函数的参比函数理论导出,并采用推广的EASI形式作为更新规则来获得更好的性能。同时本文也展示了一个基于二次熵函数的框架使用例子,并提出了其梯度的快速计算方法,最后仿真证明了它的有效性。实验结果表明,该框架非常实用,可作为开发更多有效ICA算法的有利工具。

摘要：固体激光器在实际工作过程中会因腔镜热变形而产生球差效应,使激光的光强分布发生变化、聚焦能力下降、光束质量变差,因此需要校正。基于这一目的,利用梯度下降算法进行了初级球差的校正仿真。首先,建立了初级球差和变形镜模型,变形镜模型针对初级球差选取分立式环形阵列,镜面利用率高。然后,设计出算法的具体实现过程,算法以变形镜单元的位移量为控制对象,以离散化的各部分球差的方差为性能指标。最后,仿真并给出了性能指标与迭代次数的关系、校正后的球差等结果,结果显示达到了预期的校正效果。

摘要：根据粒子群算法和梯度下降算法的特点,针对确定模糊测度的特性,设计基于2种技术的混合算法.在比较分析原始算法以及其他相关算法的基础上,证明了算法的有效性和高效性.

摘要：针对第一代帆船姿态测量系统中采用的自适应卡尔曼滤波算法作用范围有限、动态性能较差等缺陷,基于微机电系统(MEMS)惯性传感器与梯度下降姿态融合算法提出了两种自适应方法,分别根据当前时刻之前N个采样点的平均运动加速度与加速度的变化量设计自适应控制因子,得到稳定的动态梯度下降步长。实验结果表明:两种算法性能均优于自适应卡尔曼滤波与单点加速度抑制法,其中,基于加速度增量的控制算法更加符合高速运动状态下加速度剧烈变化的实际规律,测量性能达到最优,符合海面帆船运动船体姿态测量的实际需求。

摘要：本文主要研究了基于梯度下降和基于牛顿迭代两种安全定位算法,在无线传感网络抵御恶意攻击中的应用策略。基于梯度下降的安全定位算法,采用梯度下降法求最小二乘解,使估计值接近真实值,然后进行异常检测,剔除检测到的恶意锚节点,从而提高定位精度,保证网络安全;基于牛顿迭代的安全定位算法,采用牛顿迭代法缩小定位误差,然后使用差分自适应策略进行异常检测,滤除恶意锚节点后提高定位精度。在此基础上设计了对比实验,将RSSI测量值与两种算法下的仿真值进行对比。结果表明两种安全定位算法都能较为准确地定位节点,基于牛顿迭代的安全定位算法定位精度更高,在无线传感网络抵御恶意攻击方面有更好的应用效果。

摘要：人工设计的光子学器件在现代光学的各个领域都有广阔的应用前景。传统光子学器件的设计通常是基于已知的物理模型,然后通过数值模拟方法对结构进行优化设计。由于器件结构很大程度上依赖于先验模型,所以传统优化设计的自由度是有限的。随着近年来对高性能光子学器件需求的日益增长,具有更高设计自由度的逆向设计方法得到了快速发展。逆向设计方法打破了传统方法的设计局限性,可以在全参数空间中实现高效的参数优化,因此更可能得到具有极限性能的器件结构。本文总结了光子学器件逆向设计的常用方法,并给出了逆向设计在各个光子学领域中的具体应用。随着计算机科学的不断发展,逆向设计方法展现出无与伦比的潜力,有望在各个光学领域中实现更高自由度的光场调控。

摘要：针对一类含延迟非线性离散系统,提出了一种直接自适应模糊控制器设计的新方案．将系统用T-S模糊模型来表示,并基于并行分布补偿(PDC)基本思想设计了一种具有未知参数的模糊控制器,同时采用梯度下降算法对该控制器的参数进行在线辨识．通过输入到状态稳定(ISS)方法,证明了系统输出和参考输出的误差有界且满足一定的平均性能．仿真表明本方法的有效性．

摘要：针对分布式环境下的战场指挥资源部署存在的效率低、速度慢、无法达到预期战略、数据集过大导致计算资源损耗过大等问题,提出了一种分布式环境下多智能体联盟的指挥控制资源部署优化算法。通过对深度学习中的梯度下降算法进行学习率的改进,将原本设定的学习率改为自适应的学习率,进而对指挥控制资源部署进行多智能体联盟的设计。仿真证明了该算法对此问题具有优越的适应性,可以高效地解决分布式环境下的多智能体联盟的指挥控制资源部署优化问题。