摘要：为便利听障人士的正常社会生活,提高其社会融入度,设计开发了基于B/S模式的仿真手语翻译系统。此系统包含语音识别模块、文本分词模块和虚拟人控制模块。采集到的语音经过Mel尺度的小波包分解提取语音声学特征,并进行快速语音识别得到对应文本,使用jieba完成对应的文本分词;同时创建仿真虚拟人模型并为其添加关键帧手语动作,使用***实现Web端仿真手语动作渲染,最终实现语音到仿真手语的翻译过程。此系统操作方便、实用性强,具有很好的应用前景。

摘要：针对实体机器人价格昂贵、应用困难等问题,文中设计一种人工智能视听感知机器人虚拟仿真实验平台。该平台旨在培养学生运用人工智能技术去设计与开发基于视听觉感知信息控制机器人的能力,拓展学生跨学科知识,提升多专业综合应用能力和自主编程创新能力。通过将自主学习元素融入平台实验设计过程,教会学生运用汉字、语音、手势等方法控制虚拟与实体机器人,实现人工智能技术“理解-部署-调试-应用”一体化。文中对实验平台在实际教学中的应用进行详细介绍,并通过学生反馈给出实验平台的综合评价。

摘要：手语识别在聋哑人与正常人的交流中起至关重要的作用.为了解决传统手语识别算法由于手部特征多尺度造成的手势特征提取不充分、特征融合丢失细节信息等问题,提出了基于改进的EfficientDet-D0的手语检测识别算法.该算法首先在EfficientDet-D0的主干网络中增加了空间注意力机制,能更加准确的定位图像中的手部特征;其次在特征融合网络中,为了描述下采样丢失了的高频细节信息,利用拉普拉斯金字塔的思想,在自上而下的融合路径中将细节特征图进行融合,并增加跨级连接,使不同分辨率的特征信息得到充分利用,从而使获取的高级特征图信息更加丰富;最后使用迁移学习技术和Adam优化器训练整个网络.实验结果表明,该模型能够在各种背景下快速准确的识别出手语动作,最终准确率达到94.1%,比传统算法具有更高的准确率和更强的鲁棒性,同时基于该算法设计了手语双向翻译仿真网站,实际应用性强.