摘要：听力障碍者需要通过手语等方式才能进行沟通交流,但是大部分听力正常的群众不会解读手语。为解决该问题,创建了手语数据集,并提出一种基于YOLOv5改进的手语识别模型。该模型采用轻量级网络结构MobileNetV3替换了YOLOv5目标检测算法的骨干网络,取得了很好的效果。经过测试,改进后的模型在手语识别数据集中检测平均精度均值(mAP)达到98.5%,召回率(Recall)为0.92,F1(F1 score)分数为0.929。研究提出的模型在提高训练速度、减少参数量的同时,提高了手语识别的精度,满足实际检测需求。

摘要：手语交流是聋哑人与他人交流的主要方法,设计了一款基于STM32的神经网络手语识别系统,采用TensorFlow和Keras机器学习框架训练网络模型,由于训练数据的局限性,加入L2正则化以解决训练过拟合问题。使用意法半导体推出的***工具包在STM32嵌入式平台上部署神经网络,搭载OV2640摄像头采集图像并进行缩放处理,将图像数据传入网络进行推理可获得识别结果。经测试,网络模型获得了较好的鲁棒性和适应性,在STM32上运行平均每帧推理时间为15.8 ms,平均准确率达92.3%。使用STM32作为手语识别终端,极大地提高了设备的便携性,节约成本,反应迅速。为聋哑人与正常人交流提供了一种新的解决方案,具有较高的实际应用价值。

摘要：手语识别研究对于改善聋哑人生活质量具有重要意义,同时可促进人机交互领域的发展。针对手语视频中存在大量的无关帧、手语识别过程中手部细节信息提取不足、难以精确定位手语动作的位置和时间信息导致识别率不高等问题,提出一种基于关键帧和交互式注意力残差网络的手语识别方法。在数据预处理部分,设计基于图像相似度和模糊程度的关键帧提取算法,从基于Farneback光流法获取的大量候选关键帧中确定最终的关键帧,减少无关冗余信息。在网络部分,以3D-ResNet为基础框架,构建小卷积模块增强网络对手语视频中细粒度特征的提取能力,设计在捷径分支中采用池化卷积下采样方式的残差结构减小特征图失真程度,建立融合通道注意力和空间注意力的交互式四重注意力模块强化对目标区域关键特征的提取。实验结果表明,该方法在CSL和DEVISIGN数据集上取得了92.0%和92.2%的准确率,优于其他手语识别方法。

摘要：手语识别是人机交互领域中的重要问题之一。随着人工智能技术的发展,越来越多的机器学习和深度学习方法被应用在手语识别任务上。文章设计一种轻量级的长短时记忆脉冲神经网络(long short-term memory-spiking neural network,LSTM-SNN)手语识别模型用于识别常用手语。首先提出自适应脉冲编码,将手语信号转化为脉冲信号;接着将脉冲信号输入到改进的带泄漏整合发放(leaky integrate-and-fire,LIF)神经元模型,以时间驱动的方式进行信息传导,完成网络训练。在收集到的101个手语手势数据集上的实验结果表明,该模型准确率达到95.37%,表明该文提出的模型优于其他深度学习和机器学习模型。

摘要：智慧博物馆是利用物联网、人工智能等设备或技术,构建人、物、空间信息交互通道的博物馆新形态。手语识别技术既能让听障语障观众无障碍参观博物馆,也有助于解析观众自然状态下的手势互动。然而,基于摄像头或可穿戴设备的方法在博物馆中可能有隐私安全或使用不便等问题。提出一种基于毫米波雷达稳健的手语识别方法,首先提取不同手势相对于雷达距离和速度随时间变化的特征,其次采用基于物理意义的增强处理,最后设计残差网络进一步剔除两种特征预处理后的与环境相关信息,对其进行特征融合并实现分类。实验表明,该方法可以有效识别手语,在测试环境和用户位置改变时也能达到平均90%以上的精度,为智慧博物馆的手语手势识别提供了一种新方法。

摘要：手语识别对于听障人士交流具有重要的意义。现有机器视觉手语识别系统存在因移动设备端算力不足,各框架兼容条件苛刻影响实时应用的问题。针对该问题,本文提出基于智能眼镜硬件平台和云端计算的实时手语识别系统。该系统采用智能眼镜捕获手语动作,并将该视频图片上传至云端服务器,利用部署在云端服务器上的深度学习模型对手语进行识别,最后将识别结果返回至智能眼镜。本系统深度学习识别网络采用TSN和LSTM相结合的方式,利用TSN视频动作分类能力和LSTM上下文信息建模能力准确识别手语动作。试验结果表明,本系统实时识别精度可达到95.37%,对于听障人士实时交流具有较好的应用价值。

摘要：手语识别在聋哑人与正常人的交流中起至关重要的作用.为了解决传统手语识别算法由于手部特征多尺度造成的手势特征提取不充分、特征融合丢失细节信息等问题,提出了基于改进的EfficientDet-D0的手语检测识别算法.该算法首先在EfficientDet-D0的主干网络中增加了空间注意力机制,能更加准确的定位图像中的手部特征;其次在特征融合网络中,为了描述下采样丢失了的高频细节信息,利用拉普拉斯金字塔的思想,在自上而下的融合路径中将细节特征图进行融合,并增加跨级连接,使不同分辨率的特征信息得到充分利用,从而使获取的高级特征图信息更加丰富;最后使用迁移学习技术和Adam优化器训练整个网络.实验结果表明,该模型能够在各种背景下快速准确的识别出手语动作,最终准确率达到94.1%,比传统算法具有更高的准确率和更强的鲁棒性,同时基于该算法设计了手语双向翻译仿真网站,实际应用性强.

摘要：为了实现对手语动作的模式识别,设计一套基于多通道肌音信号的无线采集系统.系统硬件部分采用STM32单片机以SPI通信方式收集ADXL355采集到的肌音信号,通过WiFi模块将数据传输到电脑;系统软件部分设计STM32内部程序实现对数据的采集及Matlab图形用户界面上位机采用TCP/IP通信方式收集数据实现对数据的存储.设计实验采集18组常用手语动作,提取动作小波包能量特征,运用支持向量机分类的识别率达92.3%.结果表明,该系统具有可穿戴、便携式等优点,可应用于手语识别相关领域.

摘要：为提高手语图像的正识率,提出一种基于中值滤波和Hu不变矩特征量相结合的手语识别方法。对待匹配图像进行预处理,计算图像的7Hu矩特征量,通过欧氏距离计算与标准手语特征向量的相似程度,识别手语。对旋转、缩放和平移等图像的非本质性改变具有很好的鲁棒性,克服了手语图像采集中光照不均的影响和传统手语识别中基于图像分割造成的边缘信息损失。实验结果表明了该方法对手语识别的有效性,特别是对含有椒盐噪声信噪比较高的图像具有很好的效果。

摘要：针对手语手势识别问题,提出一种基于肌电信号与肌肉形变信号的手语识别架构。首先,设计信号采集系统;然后,采集肌电信号与肌肉形变信号,利用滤波及小波降噪等方法对原始数据进行降噪处理。采用基于能熵比的双门限端点检测法提取信号有效活动段;分别提取肌电信号以及肌肉形变信号特征,将所提取的信号特征融合组成特征向量;最后,采用基于网格搜索的支持向量机识别模型对所采集手语动作进行识别。信号融合后手语识别正确率达到97.2%,相对于仅采用肌电信号的手语识别方法,融入肌肉形变信号后识别率提高9.3%。结果表明,基于肌电信号和肌肉形变信号的手语识别框架对动态手语手势具有良好的识别效果。