基于注意力机制和深度先验的注视点检测网络

作     者：朱芸 朱冬晨 张广慧 孙彦赞 张晓林 ZHU Yun;ZHU Dongchen;ZHANG Guanghui;SUN Yanzan;ZHANG Xiaolin

作者机构：上海大学通信与信息工程学院上海200444 中国科学院上海微系统与信息技术研究所仿生视觉系统实验室上海200050 中国科学技术大学合肥230026 上海科技大学上海201210 中国科学院雄安创新研究院河北雄安071702 

基　　金：上海市“脑与类脑智能基础转化应用研究”市级重大科技专项(2018SHZDZX01) 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第14期

页      码：240-249页

摘      要：人类注视行为作为一种非语言线索,对揭示人类意图起着重要作用,注视点检测在机器视觉领域已引起广泛关注。然而,现有方法多聚焦于图像的纹理信息提取,忽视了立体深度信息对注视点估计的重要性,难以应对纹理复杂场景。对此,提出了一种新的基于注意力机制和深度先验的注视点检测网络,包括面部视线方向预测与场景显著性检测两个阶段。在视线方向预测阶段,建立通道-空间注意力机制模块以重校准纹理特征,并设计头部位置编码分支,实现纹理和头部位置感知增强的高表征特征,以准确预测视线方向。进一步,提出将表征三维场景中立体或距离信息的深度作为先验引入到显著性检测阶段的策略,同时通过通道-空间注意力机制增强多尺度纹理特征,充分发挥深度几何信息和图像纹理信息的优势,提高注视点检测的准确性。实验结果表明,在两个权威数据集GazeFollow和DLGaze上与其他先进方法相比,该模型表现出显著的优越性。

主 题 词：注视点检测 注意力机制 深度先验 特征融合 神经网络 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3778/j.issn.1002-8331.2305-0022

馆 藏 号：203128746...