摘要：人能够在复杂感知的相互协调下做出决策并完成灵巧操作。将视听觉和力触觉等不同模态相融合,可以提高操作者对虚拟场景或远程环境的感知,进而改善操作效果。如何协调人的操作和虚拟环境中目标机器人系统的自主性,则是人机交互中的一个关键问题。为此,本文基于Unity3D引擎建立了虚拟场景,并实现了omega.7力反馈平台与虚拟场景之间的通信。进而,创建了基于碰撞检测的虚拟距离传感器,实现了虚拟场景中目标机器人对周围环境的探测。然后,设计实现了人机力触觉交互共享控制算法,将人的智能决策与灵巧操作优势同目标机器人的自主算法相融合,使得目标机器人系统的控制权限可以在人手操作和机器人自主算法之间连续平滑转移。由此,实现了人与虚拟环境和目标机器人之间功能多样、场景逼真的视听觉和灵巧力触觉多模态交互,从而为医学、康复、军事、娱乐等领域中的人机交互提供了一种解决方案。