2D 关键点 （2D Keypoint） 检测流程

本章会详细介绍如何设置 2D 关键点 （2D Keypoint） 检测流程。

2D 关键点 （2D Keypoint） 检测流程使用了关键点深度学习技术，3D点云对准技术，以实现物体的定位和检测。

1. 手眼标定

在创建任务时，需要有已经连接的相机和机器人，然后选择2D手眼标定文件。如果您还没有完成2D手眼标定，请参考 机器人手眼标定 来完成2D手眼标定。

2. 上传深度学习模型


点击上传来浏览深度学习的 配置 和 权重 文件。等上传完成后，点击保存模型。

备注

配置 文件通常有.txt 文件格式和 .json 文件格式，都可以直接上传。
权重 文件通常有 .pt 文件格式，.onnx 文件格式，以及 .torchscript 文件格式， 都可以直接上传。

看到下面的标签栏中出现您的深度学习标签名称，确认正确后，便可点击下一步。

3. 配置检测流程

  1. 首先，点击拍照按钮给场景拍照，确认相机正常工作，以及确认物体位置，相机视野是否合适。


  1. 点击设置ROI, 使用窗口中的框截选出检测区域，这一步是为了移除周围可能出现的干扰物体，确保抓取平面中只有特定区域内的物体才会被识别抓取。


  1. 检查显示窗口的ROI截取的区域是否合适，如果需要修改ROI，请重复1，2，重新设置ROI.

  2. 然后就需要定义检测模型，点击开始，然后在右侧物体标签列选中要进行定义的物体标签，在场景中间摆放一个物体，然后点击拍照，然后等待识别完成。


  1. 点击优化模型，选择参考点，然后点击保存。参考点的方式有以下两种:

    1. 选择参考点为所有关键点的中心

    2. 选择其中一个关键点作为物体的参考点

    ../../_images/dl_2dkp_refine_model.png

  1. 点击快速检测，即可在深度学习结果中查看检测结果。2D关键点检测优点在于设置简单，但同时，由于没有高级设置，无法微调检测结果，请按照实际情况选择检测方法。如果您的检测效果不佳，请检查1-5的步骤是否正确，更多请阅读 视觉项目优化


这样检测部分就设置好了，可以进行下一步： 设置抓取策略 。

2D Key Point检测流程注意事项：

  1. 校准平面一定要和物体在同一平面。

  2. 尽量使用2D相机，在距离物体较近处排石，以减少每个像素点的距离误差，优化空间分辨率

  3. 要使用高精度模型，检测试如果有几个像素点的误差，即可能造成抓取时1-2mm的误差

与2D Key Point检测相关的机器人脚本请查阅 机器人通讯 。