物体姿态修正（In-Hand Adjustment）

本章会详细介绍如何设置 物体姿态修正（In-Hand Adjustment） 检测流程。

物体姿态修正流程专为机器人抓取和放置操作设计。该流程在机器人抓起物体后，利用拍照技术检测物体在夹爪中的姿态，从而修正物体在放置时的姿态，确保物体能够以更安全、稳定的方式进行放置。

该流程通常和 物体放置（Placement） 流程一起使用。

1. 手眼标定

在创建任务时，需要有已经连接的相机和机器人，然后选择手眼标定文件。如果您还没有完成手眼标定，请参考 机器人手眼标定 来完成手眼标定。

2. 上传深度学习模型


点击上传来浏览深度学习的 .zip 文件。等上传完成后，点击 保存模型 。

（可选）点击 测试模型 ，来拍照并预览深度学习预测结果。


3. 配置检测流程

物体姿态修正（In-Hand Adjustment） 的检测流程和 半有序快速关键点 （Semi-Ordered Fast Keypoint） 的检测流程相同。

  1. 首先，点击拍照按钮给场景拍照，确认相机正常工作，以及确认物体位置，相机视野是否合适。


  1. 点击设置ROI, 使用窗口中的框截选出检测区域，这一步是为了移除背景，等干扰点云，只保留物体点云会出现的区域，这样可以使检测更快更准。这一步同时设置了参考系，ROI的坐标就是参考系。


小技巧

您也可以框选使得物体所在的平面也被移除，这样只保留物体的点云会最大程度的提高检测速度以及准确度。

备注

ROI的箱体需要和抓取平面保持平行，因为ROI同时设置了参考系，ROI的坐标就是参考系。当之后设置夹爪从上方抓取时，就会以这里定义的参考系的 z 轴为上方。Pick sort的对齐x,y 旋转 也是以参考系为基准。

  1. 检查显示窗口的ROI截取的点云是否合适，如果需要修改ROI，请重复1，2，重新设置ROI.

  2. 然后就需要定义检测模型，点击开始，然后在右侧物体标签列选中要进行定义的物体标签，在场景中间摆放一个物体，然后点击拍照。


  1. 点击设置ROI, 使用显示窗口中的ROI工具，将物体点云框出来，这一步需要只包含物体点云部分，并去除任何不属于物体的部分，然后点击定义模型。


  1. 点击优化模型，然后点击 '>' 箭头开始下一步，选择参考点，然后点击保存。参考点的方式有以下两种:

    1. 选择参考点为所有关键点的中心

    2. 选择其中一个关键点作为物体的参考点

    ../../_images/adj_refine_model.png

  1. (可选) 调试高级设置，更多高级设置详情，请阅读 半有序快速关键点 （Semi-Ordered Fast Keypoint） 检测流程高级配置。 物体姿态修正（In-Hand Adjustment） 的检测流程和 半有序快速关键点 （Semi-Ordered Fast Keypoint） 的检测流程相同。

  2. 切换到快速检测栏，点击快速检测，下图中绿色部分就是物体模型检测后的结果，请确保物体能够被正确的检测到。如果您的检测效果不佳，请检查1-9的步骤是否正确，更多请阅读 视觉项目优化


这样检测部分就设置好了，物体姿态修正（In-Hand Adjustment） 不需要配置抓取步骤，配置好对应的放置直接部署即可。 物体放置（Placement） 和 物体姿态修正（In-Hand Adjustment） 需要在机器人端执行示教步骤，详情请参考 物体姿态修正和放置部署示例