[00659146]基于深度相机的空间手势姿态指令处理方法

该发明涉及基于深度相机非接触式三维虚拟空间领域，尤其涉及一种基于深度相机的空间手势姿态指令处理方法。近几年，人机交互、机器人和虚拟现实等领域的快速发展和广泛应用，三维交互输入新技术成为人机虚拟交互领域中众多研究学者研究的热点。随着这项技术的发展和不断深入，大众对其使用需求越来越高，非接触、高速、实时定位与三维操作成为该技术发展的方向。然而，通常利用动态手势实现三维鼠标模拟装置，利用三维空间位置传感器或搭建虚拟三维场景辅助实现，且其操作方式有限。由于受复杂环境、光照条件和干扰等因素的影响较为严重，与理想环境相比，普通相机在室内环境中，采集的图像信息无法准确表达动态三维手势鼠标的操作信息，鲁棒性有更大程度的降低，所以，其实用性和定位操作精度会大大下降，使其非接触鼠标操作装置性能降低。在复杂环境下，能克服光照条件和肤色背景等条件的干扰是解决非接触鼠标操作装置最先完成的工作部分，即对空间中手势分割性能指标提出更高的要求，并准确定位出手势鼠标的位置。但是，在复杂背景下的分割方法有手势模板、肤色检测等方法能在一定条件下提高操作稳定性，但无法满足光照条件变化及抗干扰的要求。如果无法准确定位手势的空间位置，那么后续的动态识别操作将受到影响，如动态手势鼠标跟踪、识别等。基于深度相机的空间手势姿态指令处理方法。涉及基于深度相机的空间手势姿态指令处理方法。在复杂多变的环境中，能够快速、准确识别空间手势指令信息，极大程度提高工作效率及准确度，且鲁棒性高、实用性强、抗干扰能力好。包括以下步骤：通过深度相机获取实时的图像；利用三维点云计算得到手势点云数据，得手势点云信息；将手势点云信息进行平面配准，提取轮廓特征点信息；恢复出手势姿态；进行手势姿态识别；识别相应运动轨迹定义其操作内容，最终通过TUIO 协议对动态手势鼠标输出点进行数据平滑。该发明能快速、准确全方位获取目标信息；建立空间运动检测区域，提取不同深度信息，实现多点触摸，从而改善整体操作性能。