通过融合目标检测、人体姿态估计与机械臂控制等核心算法，构建高效协同的抓取系统，实现对多样物品的精准识别与灵活抓取。 项目可以划分为三个方案。 第一个方案是基于Realsense的视觉遥操作，通过一个固定的摄像头来拍摄人体的RGB图像，并通过空间映射解析出手腕的6D姿态和手部的3D姿态，利用逆运动学解算得到机械臂各关节角度，并利用重定向算法得到灵巧手各关节角度，最后通过数据透传将控制信号传到机械臂和灵巧手。 第二个方案是基于VR设备的沉浸式遥操作，借助apple vision pro 设备强大的硬件和姿态估计算法，可以得到十分精确的手部和腕部姿态，此时利用得到的人体姿态信息去控制机械臂和灵巧手。 第三个方案是基于目标检测的半自动化抓取。首先用机械臂腕部摄像头扫描周围环境，检测周围有可抓取的物体。接着更具检测信息估计固体在空间中的位置，然后进行路径规划移动到需要抓取物体的上方，接着用视觉遥操作区精细控制机械臂和灵巧手实现抓取。最后，一旦抓取成功，机械臂便自动将抓取的物体运送到指定位置。
使用Mediappipe获取手部姿态(2.5D坐标)，并通过Dex-retargeting将人手姿态映射到灵巧手上，以下是在Allegro Hand上的效果演示
直接获取VisionPro的手部姿态(3D坐标)，并通过设计的角度映射方法将人手姿态映射到灵巧手上，以下是在Allegro Hand上的效果演示
通过多个子进程，利用Mediapipe捕获的手部姿态(2.5D)，同时控制机械臂和灵巧手进行多种物体抓取，以下是在Realman RM65b机械臂和Inspire Hand上的效果演示
通过多个子进程，利用VisionPro捕获的手部姿态(3D坐标)，同时控制机械臂和灵巧手，以下是在Realman RM65b机械臂和Allegro Hand上的效果演示