摘要：针对现有聋哑人交流困难的问题,文章设计并实现了基于智能眼镜与云服务的聋哑人交流系统。该系统通过智能眼镜平台采集聋哑人的手势和正常人的语音,利用部署在云服务器上的手语识别模型和语音识别模型完成识别,并将识别结果发送至用户智能眼镜,通过所设计的对话交流子模块为用户提供无障碍交流。该系统采用数据缓冲处理可达到实时性要求,采用深度神经网络模型可使手语和语音的识别率分别达到95.37%和97.3%,可广泛应用于聋哑人交流。

摘要：手语识别对于听障人士交流具有重要的意义。现有机器视觉手语识别系统存在因移动设备端算力不足,各框架兼容条件苛刻影响实时应用的问题。针对该问题,本文提出基于智能眼镜硬件平台和云端计算的实时手语识别系统。该系统采用智能眼镜捕获手语动作,并将该视频图片上传至云端服务器,利用部署在云端服务器上的深度学习模型对手语进行识别,最后将识别结果返回至智能眼镜。本系统深度学习识别网络采用TSN和LSTM相结合的方式,利用TSN视频动作分类能力和LSTM上下文信息建模能力准确识别手语动作。试验结果表明,本系统实时识别精度可达到95.37%,对于听障人士实时交流具有较好的应用价值。