摘要：为了给对比散度算法的进一步优化提供理论指导,尝试从理论上分析对比散度算法的收敛性。首先从仅含4个结点的玻尔兹曼机入手,利用单纯形表征模型的概率空间,以及流形表征概率空间与模型参数的关系,形象地表示了对比散度算法和极大似然算法的收敛过程,并从理论上推导出对比散度算法的收敛集与极大似然算法的收敛集之差不为空,从而证明了对比散度算法的有偏性。基于该结论,设计了一种先利用对比散度算法进行预训练,再利用极大似然算法调优的训练策略。实验结果表明,在应用该策略获得同等收敛效果的条件下,训练迭代步骤降低了83.3%。

摘要：针对当前管网系统数据量大不利于传统模型方法诊断故障的问题,设计了1种基于深度置信网络的管网故障诊断算法。首先,对管网数据结构以及管网系统运行状态进行分析,选取管网主要数据作为故障诊断网络的输入,确定相应运行状态作为诊断网络输出;其次,设计了基于多个受限制玻尔兹曼机与Softmax分类器级联的深度置信网络,并且利用对比散度算法和BP算法对模型进行预训练与调优,使模型参数达到全局最优;最后,通过实验测试确定所设计的深度置信网络的训练迭代次数与网络层数,使算法诊断准确率达到最优。研究结果表明:提出的基于深度置信网络的管网故障诊断算法对管网故障诊断可以达到良好的诊断结果,泄漏预测准确率在验证集样本上可达96.87%,在管网泄漏检测方面,相较于传统基于模型的方法优势明显。

摘要：针对受限玻尔兹曼机(RBM)在进行无监督训练时易出现特征同质化导致泛化能力较差的问题,设计了将类别条件引入RBM训练中,从而提出了基于类别条件的RBM(lCRBM)。针对RBM的训练,将类别信息作为模型隐单元训练条件,参与到隐单元后验激活概率计算中;并将该模型作为深度玻尔兹曼机(DBM)的底层结构,应用于深度学习中。通过手写数字识别集合测试,该模型在训练速度和特征提取有效性上均有较大改善,并且能够提高深度模型的特征学习能力。

摘要：实体检测是自然语言处理的一个研究热点,是从无结构的文本中检测出命名实体。深度置信网络(Deep Belief Nets,DBN)的核心组件为受限玻尔兹曼机(Restricted Boltzmann Machine,RBM),RBM的训练传统采用对比散度准则(Contrastive Divergence,CD),但CD是对数似然梯度有偏差的近似。为此,提出基于平均对比散度准则(Average Contrastive Divergence,ACD)训练的DBN的实体检测模型,利用MSRA语料库作训练。采用词袋模型作为输入向量,结合词性特征以及上下文特征。并将其与传统的CD准则作对比。实验证明,DBN能获得较好的实体检测效果,并且ACD准则比CD准则能获得更好的重构误差,且收敛性更好。