摘要：为解决在光线昏暗、声音与视觉噪声干扰等复杂条件下,单模态鱼类行为识别准确率和召回率低的问题,提出了基于声音和视觉特征多级融合的鱼类行为识别模型U-FusionNet-ResNet50+SENet,该方法采用ResNet50模型提取视觉模态特征,通过MFCC+RestNet50模型提取声音模态特征,并在此基础上设计一种U型融合架构,使不同维度的鱼类视觉和声音特征充分交互,在特征提取的各阶段实现特征融合,最后引入SENet构成关注通道信息特征融合网络,并通过对比试验,采用多模态鱼类行为的合成加噪试验数据验证算法的有效性。结果表明:U-FusionNet-ResNet50+SENet对鱼类行为识别准确率达到93.71%,F1值达到93.43%,召回率达到92.56%,与效果较好的已有模型Intermediate-feature-level deep model相比,召回率、F1值和准确率分别提升了2.35%、3.45%和3.48%。研究表明,所提出的U-FusionNet-ResNet50+SENet识别方法,可有效解决单模态鱼类行为识别准确率低的问题,提升了鱼类行为识别的整体效果,可以有效识别复杂条件下鱼类的游泳、摄食等行为,为真实生产条件下的鱼类行为识别研究提供了新思路和新方法。

摘要：针对在极暗或无光条件下,采用计算机视觉手段进行鱼类行为识别效果不好的问题,本文提出了利用声音信号识别鱼类行为的方法;通过观察和试验发现鱼类的摄食、游泳等行为具有声音差异小、特征学习难等特点,基于上述发现,提出采用具有较强特征表达能力、能区别细微特征的MFCC(Mel-frequency cepstral coefficient,MFCC)特征系数表示鱼类行为声音信号特征&为有效学习不同鱼类行为的细粒度声音特征,采用残差网络(Residual Neural Network,ResNet)进行低维细节特征与高维语义特征融合,以便更好地保证特征完整性、提高识别效果。为验证所提出方法的有效性,设计了3组对比试验,用大连海洋大学鱼类行为学实验室采集的数据验证了算法的有效性,试验结果表明,鱼类行为识别的正确率、召回率和F1值均达到99%。研究表明,基于MFCC和ResNet的鱼类行为识别方法可以有效识别鱼类的游泳、摄貪等行为,为鱼类行为识别研究提供了新思路和新方法。