摘要：借助预置任务创建的免费监督信号/标记,自监督学习(SSL)能学得无标记数据的有效表示,并已在多种下游任务中获得了验证.现有预置任务通常先对原视图数据作显式的线性或非线性变换,由此形成了多个增广视图数据,然后通过预测上述视图或变换的对应标记或最大化视图间的一致性达成学习表示.发现这种自监督增广(即数据自身与自监督标记的增广)不仅有益无监督预置任务而且也有益监督分类任务的学习,而当前鲜有工作对此关注,它们要么将预置任务作为下游分类任务的学习辅助,采用多任务学习建模;要么采用多标记学习,联合建模下游任务标记与自监督标记.然而,下游任务与预置任务间往往存在固有差异(语义,任务难度等),由此不可避免地造成二者学习间的竞争,给下游任务的学习带来风险.为挑战该问题,提出一种简单但有效的自监督多视图学习框架(SSL-MV),通过在增广数据视图上执行与下游任务相同的学习来避免自监督标记对下游标记学习的干扰.更有意思的是,借助多视图学习,设计的框架自然拥有了集成推断能力,因而显著提升了下游分类任务的学习性能.最后,基于基准数据集的广泛实验验证了SSL-MV的有效性.

摘要：基于物理信息的神经网络(Physics-informed Neural Networks,PINN),是一类用于解决有监督学习任务的神经网络,它不仅尽力遵循训练数据样本的分布规律,而且遵守由偏微分方程描述的物理定律。与纯数据驱动的神经网络学习相比,PINN在训练过程中施加了物理信息约束,因此能用更少的数据样本学习得到更具泛化能力的模型。近年来,PINN已逐渐成为机器学习和计算数学交叉学科的研究热点,并在理论和应用方面都获得了相对深入的研究,取得了可观的进展。但PINN独特的网络结构在实际应用中也存在训练缓慢甚至不收敛、精度低等问题。文中在总结当前PINN研究的基础上,对其网络/体系设计及其在流体力学等多个领域中的应用进行了探究,并展望了进一步的研究方向。

摘要：特征选择是当前模式识别领域的研究热点.滤波方法和封装方法是特征选择算法中评价特征子集的两种主要策略,但均不能保证其后所设计的分类器的推广性能.针对以上两种策略的不足,首先引入基于样本流形结构的局部性正则化推广误差界.并在此基础上,以局部性正则化推广误差界为评价函数,以局部性正则化分类方法为目标分类器,提出一种混合滤波-封装型特征选择算法.该算法既保持了较高的计算效率,又保证了目标分类器良好的推广性.实验结果表明,新算法具有比对比算法更优的分类性能.

摘要：尽管精度(或总体错分率)普遍用作分类算法的性能评价指标,但存在诸如敏感于类先验分布和错分代价,忽略分类算法所得的后验概率或排序信息等不足.而接收者操作特性(ROC)曲线下面积则能度量算法在整个类先验分布及错分代价范围内的总体分类性能、后验概率和排序性能,因此在分类学习中受到越来越多的关注,由此涌现出众多研究成果.文章旨在对此作相对全面的回顾和总结,包括AUC作为性能评价指标的优势所在,基于AUC优化的算法设计,基于精度优化和AUC优化的算法间的关系以及AUC存在的不足及改进.

摘要：现实中,常需辨识低分辨率(low-resolution,简称LR)图像(如监控系统所捕捉的人脸),但相比通常的高(high-resolution,简称HR)或超(super-resolution,简称SR)分辨率图像而言,其含有相对较少的判别信息,致使通常的子空间学习算法,如结合主成分分析(principal components analysis,简称PCA)的线性判别分析(linear discriminant analysis,简称LDA)难以获得理想的识别效果.为了缓和该问题,最近所提出的联合判别分析(如SDA)借助与低分辨率相配对的高分辨率图像辅助设计LR图像分类器.在SDA的实现中,其采用了类似LDA的平均散度定义,使SDA遗传了LDA在投影时难以使相对靠近的类充分分离的问题.为了克服该不足,提出了针对LR图像识别的最坏分离的联合分辨率判别分析(worst-separated couple-resolution discriminant analysis,简称WSCR),从而使:(1)LR和HR投影到同一低维子空间;(2)投影后的最小类间隔最大化.实验结果表明:与SDA相比,WSCR更适用于低分辨率的图像识别.

摘要：线性分类器由于其简单性和易扩展成非线性分类器的特性,使其成为统计模式识别中最常用的方法之一.正则化的HoKashyap线性分类算法(MHKS)采用了支持向量机最大化间隔的思想.现有的线性分类器大都是针对向量模式的,要应用于矩阵表示的模式,如人脸图像等必须首先将矩阵模式转换成向量模式.但如此至少会带来3个不足:①原有矩阵模式的空间或结构信息可能会遭到破坏;②由于权向量的维数等于输入模式的维数,当输入模式维数很大时,权值的存储空间相应地会很大;③对于大维数的模式,当样本数不多时,利用线性分类器易导致过拟合.受到已有面向矩阵的特征提取方法的启发,设计出面向矩阵模式的双边正则化HoKashyap分类算法MatMHKS,克服了以上不足.与MHKS相比,在ORL数据库、Letter数据集、UCI机器学习部分数据集上实验都取得了更好的分类性能.

摘要：因子分解机(FM)自提出以来已被广泛用于推荐系统,为了捕捉特征间的二阶交互,FM将任意两个特征的二阶系数表示成欧氏空间中对应嵌入向量的内积。考虑到推荐场景中的对象如商品、用户、属性、上下文信息等,可用具有层次结构的异构网络进行表达,而平坦的欧氏空间无法刻画这种层次结构,限制了FM的特征表示能力,为此提出了双曲因子分解机(HFM)。它将每维特征表示为双曲空间而非欧氏空间中的向量,并利用双曲距离度量评估特征间的二阶交互强度。选择双曲空间是因为其被证明更适合树、图和词汇等具有层次结构的对象嵌入。分别设计了基于庞加莱球和基于双曲面两种双曲空间模型的HFM,并导出了对应的黎曼梯度下降优化算法。在多个数据集上的实验结果表明,HFM在等量参数的情形下,获得了比FM更优的性能,同时揭示出了在FM中欠缺的特征间的层次关系,使之具有部分可解释性。

摘要：测地距离能在宏观层面上较真实地反映数据中所隐含的几何结构,可基于它的支持向量数据描述(SVDD)无法直接优化.为此,文中提出一种流形分类学习算法的设计框架.用原空间测地距离近似各向同性的特征映射(ISOMAP)降维空间上的欧氏距离,即在隐含ISOMAP降维后空间上执行原学习算法.按照该框架,以SVDD为例发展出嵌入的ISOMAP发现的低维流形的SVDD(mSVDD),从而解决基于测地距离的SVDD的优化问题.USPS手写体数字数据集上的实验表明,mSVDD的单类性能较SVDD有较显著提高.

摘要：通过采样部分元素补全低秩矩阵的缺失元素是许多实际应用如图像修复、无线传感网数据收集和推荐系统等经常遇到的一个颇具挑战性的难题.在机器学习领域,这类问题通常能刻画成矩阵补全问题.虽然现有研究针对矩阵补全问题已提出了许多有效算法,但这些算法通常仅限于采样元素要么无噪要么仅含少量随机高斯噪声的补全情形,难以处理实际问题中常见的行结构化噪声.为了解决这个问题,该文首先借助分类器设计中流行的L2,1范数正则化技术来平滑此类噪声,并将该问题建模为一类基于L2,1范数正则化的凸约束优化问题.其次,为了快速有效地求解,我们将向量空间的线性Bregman迭代算法和近邻算子技术拓展到矩阵空间,进一步设计了一种鲁棒的基于线性Bregman迭代的结构化噪声矩阵补全算法(LiBIMC).严格的理论分析证明了LiBIMC迭代算法的不动点正是结构化噪声矩阵补全问题的全局最优解.数值实验结果表明,和已有的矩阵补全算法相比,LiBIMC算法不仅能更好地恢复结构化噪声矩阵的缺失元素,还能精确地辨识出采样矩阵中被污染的元素所在行的位置信息.

摘要：主分量分类器是在最大化样本投影代数和的前提下求解分类面法方向,并采用核方法解决线性不可分问题.它对所有真实世界样本(包括野值)的重视程度相同,且只考虑了一个野值.设计并实现了一类鲁棒性较主分量分类器更强的增强型主分量分类器,其中重点讨论了三种典型权设置下的分类器特性.分析和实验证实了增强的主分量分类器的抗野值、噪声性能以及学习和推广能力均优于主分量分类器.