摘要：本研究的机器人系统采用计算机视觉对人体姿态进行动态标识,从现有的单目相机获得图像或视频,利用mediapipe方法对32个人体关键部位进行了定位和可信度的测量。控制系统通过反馈关节位置标记进行人机关节映射,控制驱动元件复现人体实时自然交互,实现人体跟随的功能。该系统的随机实验结果证明了系统设计的正确性和可行性,这对人体姿态跟随机器人系统的仿真研究有一定的指导作用。

摘要：随着感知计算以及计算机技术的发展,使用各种传感器设备实时感知并捕捉手势运动数据,为人机交互提供了新的引擎动力,并被广泛地应用于虚拟现实、医疗辅助和智能家居系统等多个领域。聋哑人群体在社会交流中面临着诸多困难,为了帮助他们更好地融入社会,本文设计一款基于mediapipe手势识别的聋哑人交流系统,对手势检测部分定位到的区域进行手部关键点检测,并提取相关特征,再将其转化为文字或语音信息,有效地解决聋哑人实时交流与沟通。实验结果证实了手势识别模型的精确率平均值为97.9%,实现方法相对简单准确率高,有较好的市场应用前景。

摘要：针对博物馆中幻影成像虚拟展示装置的交互需求,设计了一种自然手势的计算机视觉交互系统。利用单目相机对自然手势进行动作采集,针对不同身高人群手部活动范围,计算了单目相机最优捕获位置,实现了140~190 cm人群高度的手势识别。采用mediapipe机器学习框架对捕获的手势图像实时遍历,获得单帧手掌的标定位置。结合21个特征关节点的手掌模型,使用非极大值抑制算法对自遮挡的手掌进行识别,根据欧氏空间距离判别阈值和单个手指曲率对指间动作做出分类,定义幻影成像常用5种交互动作,通过坐标关系建立了指尖和模型特征点之间的实时映射。实验结果表明,所设计的交互系统,系统识别准确率达到98%,满足幻影成像系统中手势控制虚拟模型的要求。

摘要：文章基于OpenCV在计算机视觉和mediapipe在机器学习中人体姿态估计中的应用,开发了体育运动AI训练系统V1.0,实现自定义示范动作,用以达到辅助体育训练的目的;实现方法为,通过采集mediapipe检测追踪和捕获在人体运动时姿态各个关节角度数据,作为示范动作的数据集,将训练者动作数据集与示范动作数据集对比,判断动作是否标准;系统经运动员测试使用,动作识别率较高,训练效果良好;运动姿态AI检测在体育训练方面应用有效可行。

摘要：【目的】为降低轻量级神经网络模型的运算量,提高计算的准确性,本研究基于深度学习姿态估计,设计并实现一种基于单目摄像头的虚拟人物驱动系统。【方法】首先,通过mediapipe来分析单目相机中的人体姿态,得到基于人体骨骼的32个特征点及手部骨骼的21个特征点。其次,对神经网络特征点的闪烁问题,使用均值滤波算法来减少误差,从而得到流畅的运动轨迹信息。最后,把3D虚拟人体模型导入到Unity3D软件中,为其添加基本的人体骨骼,并赋予权重,建立特征点与骨骼间的映射关系,用特征点来驱动骨骼。【结果】实现了3D虚拟人体模型实时模仿摄像头前的真人运动的效果。【结论】经试验验证,本研究提出的系统可实时准确地捕捉人体姿态,并借助Unity3D出色的物理系统来实现良好的互动体验。

摘要：针对传统手指语识别系统识别速度慢、准确率低、运算量大等问题,提出一种基于mediapipe框架与支持向量机(SVM)的轻量级手指语识别系统。该系统通过mediapipe提取手指语图像关节特征点,使用支持向量机(SVM)中的径向基核函数(RBF)对提取的特征进行分类,以一对一的方法将基本的二分类SVM转变为多类SVM,从而实现手语识别目的。该文还用准确度、精度、召回率和F分数等指标对该系统的性能进行了评价。

摘要：针对目前娱乐机器人系统存在的体积大、不易携带和操作复杂等问题,基于mediapipe Hand人手骨骼关节点检测框架,结合BP神经网络设计并实现了人机猜拳博弈机器人系统。该系统利用Lab-VIEW编程和NI myRIO控制器实现机械手动作控制和人机交互界面的设计,并提出一种融合特征提取方法以快速检测手势特征。为验证该机器人系统的性能,在不同环境、不同试验人员等条件下对系统进行了测试。试验结果表明,系统整体预测准确率达到99.3%,手势平均识别时间约为0.0125 s,机械手动作响应时间为0.13 s,满足了高精度和实时性要求且该系统具有较高的鲁棒性和实用性,为娱乐机器人的研究提供了一定的参考价值。

摘要：21世纪以来,随着现代信息化技术的快速发展,使原本只能在现实中存在的乐器虚拟化,例如钢琴等。随着安卓软件开发工具Android Studio的不断完善,该文使用此开发软件结合mediapipe框架,使用Java语言设计开发一款虚拟钢琴App,在实现钢琴弹奏功能的基础上添加了节拍器和音乐播放器功能,并利用mediapipe框架实现手势识别功能,从而实现人机交互,较大程度地在现实钢琴的基础上简化弹奏难度增加简便实用性功能从而增加大众娱乐性。

摘要：为了解决传统手势识别系统适应性差、采用率低等问题,针对实际应用需求,文章提出了一种基于人机交互的端到端手势识别控制框架。该框架采用了mediapipe技术来检测图像中的手部关键点,对其进行特征编码,并通过ZeroMQ消息队列将这些关键点发送给手势处理器。手势处理器会对这些关键点进行特征编码,并将其传输到神经网络进行手势识别。最终,手势处理器将识别结果发送到手势执行器,以执行相应的操作。实验结果表明,该框架可以从视频流中学习和检测手势,也可以由用户定制,使用户能够通过手势与只有RGB摄像头的计算机进行实时交互。