摘要：深度神经网络具有脆弱性,容易被精心设计的对抗样本攻击.梯度攻击方法在白盒模型上攻击成功率较高,但在黑盒模型上的迁移性较弱.基于Heavy-ball型动量和Nesterov型动量的梯度攻击方法由于在更新方向上考虑了历史梯度信息,提升了对抗样本的迁移性.为了进一步使用历史梯度信息,本文针对收敛性更好的Nesterov型动量方法,使用自适应步长策略代替目前广泛使用的固定步长,提出了一种方向和步长均使用历史梯度信息的迭代快速梯度方法(Nesterov and Adaptive-learning-rate based Iterative Fast Gradient Method,NAI-FGM).此外,本文还提出了一种线性变换不变性(Linear-transformation Invariant Method,LIM)的数据增强方法 .实验结果证实了NAI-FGM攻击方法和LIM数据增强策略相对于同类型方法均具有更高的黑盒攻击成功率.组合NAI-FGM方法和LIM策略生成对抗样本,在常规训练模型上的平均黑盒攻击成功率达到87.8%,在对抗训练模型上的平均黑盒攻击成功率达到57.5%,在防御模型上的平均黑盒攻击成功率达到67.2%,均超过现有最高水平.

摘要：传统的联想记忆神经网络模型是根据联想记忆点设计权值．文中提出一种根据联想记忆点设计基于约束区域的神经网络模型，它保证了渐近稳定的平衡点集与样本点集相同，不渐近稳定的平衡点恰为实际的拒识状态，并且吸引域分布合理．它具有学习和遗忘能力，还具有记忆容量大和电路可实现优点，是理想的联想记忆器．

摘要：提出一种根据联想记忆点设计基于约束区域的 BSB(Brain- State- in- a- Box)神经网络模型 ,它保证了渐近稳定的平衡点集与样本点集相同 ,不渐近稳定的平衡点恰为实际的拒识状态 ,并且吸引域分布合理 ,从而将 BSB完善为理想的联想记忆器 .

摘要：对于非光滑强凸问题,在线梯度下降(Online Gradient Decent,OGD)取适当步长参数可以得到对数阶后悔界.然而,这并不能使一阶随机优化算法达到最优收敛速率.为解决这一问题,研究者通常采取两种方案:其一是改进算法本身,另一种是修改算法输出方式.典型的Adam(Adaptive moment estimation)型算法SAdam(Strongly convex Adaptive moment esti⁃mation)采用了改进算法的方式,并添加了自适应步长策略和动量技巧,虽然得到更好的数据依赖的后悔界,但在随机情形仍然达不到最优.针对这个问题,本文改用加权平均的算法输出方式,并且重新设计与以往算法同阶的步长超参数,提出了一种名为WSAdam(Weighted average Strongly convex Adaptive moment estimation)的Adam型算法.证明了WSAdam达到了非光滑强凸问题的最优收敛速率.经过Reddi问题的测试和在非光滑强凸函数优化中的实验,验证了所提方法的有效性.

摘要：随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证。受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox⁃NAG优化方法,并设计了与之配套的迭代剪枝算法。该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广。在CIFAR10数据集上对ResNet系列模型进行剪枝实验,实验结果证明Prox⁃NAG剪枝算法较原有剪枝算法性能有所提升。

摘要：利用闭凸集上的投影解释 support vector的几何意义 ,利用支持超平面讨论线性分类器的设计问题 .对线性可分情形 ,Support vector由一类数据集合闭凸包在另一类数据集合闭凸包上投影的非零系数向量组成 ,SVM所决定的超平面位于两投影点关于各自数据集合支持超平面的中间 .作为应用 ,文中给出一种设计理想联想记忆前馈神经网络的方法 ,它是 FP算法的一般化 .

摘要：Support Vector Machine (SVM) has become a very effective method in sta-tistical machine learning and it has proved that training SVM is to solve Nearest Point pairProblem (NPP) between two disjoint closed convex sets. Later Keerthi pointed out that it isdifficult to apply classical excellent geometric algorithms directly to SVM and so designed anew geometric algorithm for SVM. In this article, a new algorithm for geometrically solvingSVM, Kernel Projection Algorithm, is presented based on the theorem on fixed-points of pro-jection mapping. This new algorithm makes it easy to apply classical geometric algorithmsto solving SVM and is more understandable than Keerthi's. Experiments show that the newalgorithm can also handle large-scale SVM problems. Geometric algorithms for SVM, such asKeerthi's algorithm, require that two closed convex sets be disjoint and otherwise the algo-rithms are meaningless. In this article, this requirement will be guaranteed in theory by usingthe theoretic result on universal kernel functions.

摘要：为了优化肿节风三清颗粒的提取工艺,试验采用L9（34）正交试验设计,以干膏率、异嗪皮啶含量、迷迭香酸含量的综合评价结果为考察指标,筛选肿节风三清颗粒提取时的加水量、煎煮次数、提取时间。结果表明：肿节风三清颗粒最佳提取工艺为10倍加水量,煎煮3次,每次2 h。