摘要：为了使学生更深入地掌握采用强化学习求解任务最优策略的方法,基于深度Q网络设计了平衡杆的控制优化实验。将平衡杆实验环境建模为马尔可夫决策模型,从深度Q网络结构、探索策略、奖励函数、经验回放池更新和目标Q网络更新等角度进行了实验方案的设计。实验评估综合考虑了算法有效性、Q值估计的准确性、样本效率和Q网络的损失估计。在此基础上,将其与基准算法Q学习算法在累计奖赏和学习效率上进行了对比。该实验不仅可以帮助学生学会综合应用强化学习知识,也能帮助其掌握采用深度Q网络算法来求解离散动作空间任务的最优策略。

摘要：在虚拟场景的组成中,除了三维几何模型之外最重要的要素就是物体表面的材质外观,对材质进行基于物理的建模和真实感绘制是保证虚拟场景真实感的重要手段.然而,由于现实世界材质外观本身的多样性和复杂性,迄今为止对真实感材质的研究一直是计算机图形学领域的热点和难点.文中总结了材质外观的近期相关工作,从材质的表示建模和材质的真实感绘制2大方向展开讨论;进一步,将材质模型分为表达范围广的通用材质模型和针对毛发及布料等材质的特殊材质模型2大类;并将材质绘制方法分为用于离线渲染的点采样优化和用于实时渲染的材质预过滤2种;最后指出材质研究可能的3个发展方向:神经网络材质、波动光学材质和材质的统一标准,为未来该领域的研究提供思路.

摘要：深度神经网络已在各个领域取得巨大成功.然而,深度学习模型并不只包含深度神经网络.近年来,以深度森林为代表的深度集成学习模型,凭借着无需反向传播训练、计算开销更小、模型复杂度支持自适应确定以及表数据建模任务性能优异等特点,引起了学界和业界的广泛关注,并且取得了良好的应用效果.深度森林为探索DNN(Deep Neural Network)之外的深度学习模型打开了另一扇门.然而,现有的深度集成模型主要以深度森林为主,深度集成架构较为单一,基学习器的数量与集成方式较为固定,需要探索除深度森林之外的深度集成学习模型架构.另外,实际应用中,很难存在一种深度集成学习模型架构能够在不同数据集上均取得优异性能,尤其是对于数据特征差异较大的表格型数据集.因此,也需要一种高效的数据自适应的深度集成学习架构设计方法.为此,本文从搜索空间和搜索算法两个层面,研究提出了一种高效的基于代理模型的渐进式深度集成架构搜索方法PMPAS(Proxy Model-based Progressive Architecture Search).首先,通过归纳分析已有深度集成学习模型的特点,给出了深度集成架构的形式化定义.其次,研究提出了两种全新的深度集成架构搜索空间,即基于完全并行的搜索空间和基于有向无环图的搜索空间.然后,在上述两种搜索空间的基础上,研究提出了基于代理模型的渐进式搜索方法与算法,实现从简单到复杂逐步地在搜索空间中进行探索,并采用代理模型作为指导,降低模型评估开销.最后,本文从时间复杂度和空间复杂度两个方面对搜索算法进行分析.在分类、回归等公开的表格型数据集上的大量实验结果表明,通过PMPAS算法搜索得到的深度集成架构,其性能不仅优于已有的集成学习模型、深度学习模型以及以深度森林为代表的深度集成学习模型,而且优于已有的自动化模型选择算法.随着时间预算的不断增加,性能优势更为明显.PMPAS开源地址为:https://***/PasaLab/PMPAS.

摘要：因果效应定量描述变量间的影响作用,在许多现实任务中发挥着重要作用.辨识因果效应需要依赖已知的因果关系.一种确定因果关系的主流方法是引入干预信息,即通过人为干预某些因素而获取的信息.鉴于实际干预通常会带来巨大的成本,本文提出利用易于获取的专家知识替代干预,通过设计形如“在XX干预下,目标变量的值相较不干预时增大还是减小?”的问题并向专家咨询,确定因果关系,进而辨识因果效应.尽管每次专家返回的信息量少于干预信息,但通过一定次数的咨询,本文方法可以达到与使用干预信息方法相近的因果效应辨识效果.实验验证了上述结论.

摘要：普适在线凸优化算法能够自动适应多类损失函数并进行优化,这使得用户无须自行判别损失函数的类型,降低了在线凸优化技术的使用门槛.虽然现有的普适算法对于多类损失函数的理论保障均达到极小极大最优,但是它们难以针对一般凸函数获得问题相关的理论保障.为解决该问题,本文提出的UAGV算法不仅能够自动适应一般凸与强凸的损失函数,同时首次在平滑条件下对于一般凸损失函数保障了梯度变化界,即能够在损失函数梯度变化缓慢时取得更好的性能.算法整体采用元算法-专家算法的二层结构,在顶层本文创新性地采用具有乐观项的元算法,并针对梯度变化界的形式设计替代损失函数与乐观项,使得其在结合底层专家算法时能够获得相应保障.在多个数据集上的实验结果表明,UAGV算法对于平滑一般凸函数产生的遗憾整体小于现有普适算法,在部分数据集上遗憾减小的幅度超过14%.

摘要：指针分析是对软件进行编译优化、错误检测的核心基础技术之一.现有经典指针分析框架,如Doop,会将待分析程序和分析算法转化成Datalog评估问题并进行求解,如程序规模较大,单次求解分析时间开销较大.在程序频繁变更发布的情况下,相关程序分析的开销更是难以负担.近年来,增量分析作为一种在代码频繁变更场景下有效复用已有分析结果提升分析效率的技术受到了越来越多的关注.然而,目前的增量指针分析技术通常针对特定算法设计,支持的指针分析选项有限,其可用性也受到较大限制.针对上述问题,设计并实现一种基于差分式Datalog求解的增量指针分析框架DDoop(Differential Doop).DDoop实现增量输入事实生成技术与增量分析规则自动化重写技术,将多版本程序增量分析问题表达为差分Datalog评估问题,从而可以充分利用成熟的差分式Datalog求解引擎,如DDlog,来实现端到端的增量指针分析,并最大化兼容复用Doop中已有的指针分析实现,提供透明的增量化支持.在广泛应用的真实世界程序上对DDoop进行实验评估,实验结果显示DDoop相较于非增量的Doop框架具有显著的性能优势,同时高度兼容Doop中已有的各种指针分析规则.

摘要：人工智能智能体(AI agent)具有环境感知、决策制定和行动执行能力,被视为实现通用人工智能(AGI)的关键。首先,介绍了大型语言模型智能体(LLM agent)在角色定位、记忆操作、规划推理和动作执行环节的技术细节,包括长短期混合记忆机制、多种推理模型(如思维链、思维树和思维图)以及基于规划的多样化输出策略;其次,回顾了***和LangChain等开源框架,并探讨了LLM agent在多个领域的应用及未来发展趋势,包括多模态发展、机器人技术进步和模型轻量化设计;最后,指出了LLM agent面临的伦理和社会问题。