大物体 (Large Object) 检测流程

本章会详细介绍如何设置 大物体 (Large Object) 检测流程。

大物体 (Large Object) 检测流程使用了关键点深度学习技术,3D点云对准技术,以实现对大型物体部分拍照即可定位和检测。

大物体通常应用于较大的物体,相机无法拍全整个物体的轮廓,该物体的标注方法为:

  • 每个特征点周围标注一个多边形外轮廓,并需要有一个独特的名称

  • 每个多边形内,标注1个关键点。总共需要有大于3个多边形+关键点的标注

1. 手眼标定

在创建任务时,需要有已经连接的相机和机器人,然后选择手眼标定文件。如果您还没有完成手眼标定,请参考 机器人手眼标定 来完成手眼标定。

2. 上传深度学习模型


点击上传来浏览深度学习的 配置权重 文件。等上传完成后,点击保存模型。

备注

大物体检测流程只支持 Fast 模型。

配置 文件通常有.txt 文件格式和 .json 文件格式,都可以直接上传。
权重 文件通常有 .pt 文件格式,.onnx 文件格式,以及 .torchscript 文件格式, 都可以直接上传。

看到下面的标签栏中出现您的深度学习标签名称,确认正确后,便可点击下一步。

3. 配置检测流程

  1. 首先,点击拍照按钮给场景拍照,确认相机正常工作,以及确认物体位置,相机视野是否合适。


  1. 点击设置ROI, 使用窗口中的框截选出检测区域,这一步是为了移除背景,等干扰点云,只保留物体点云会出现的区域,这样可以使检测更快更准。完成ROI的调整之后再点击保存。这一步同时设置了参考系,ROI的坐标就是参考系。


小技巧

您也可以框选使得物体所在的平面也被移除,这样只保留物体的点云会最大程度的提高检测速度以及准确度。

备注

ROI的箱体需要和抓取平面保持平行,因为ROI同时设置了参考系,ROI的坐标就是参考系。当之后设置夹爪从上方抓取时,就会以这里定义的参考系的 z 轴为上方。Pick sort的对齐x,y 旋转 也是以参考系为基准。

  1. 检查显示窗口的ROI截取的点云是否合适,如果需要修改ROI,请重复1,2,重新设置ROI.

  2. 然后就需要定义检测模型,点击定义模型中的设置ROI,然后在右侧点云模型中框选单一物体,然后点击保存。


5. 之后,即可定义3D关键点,打开定义3D关键点,然后点击其中的学习3D关键点,等待模型识别完成。识别完成后,可以点选不同的关键点,并检查其在模型上的位置是否正确。如果位置正确,即可点击保存;如果不正确,可以尝试重新学习关键点;如果多次学习关键点失败,则需要考虑更换深度学习模型,更多请阅读 深度学习优化。 同时,可以在设置参考点中选择不同的关键点或模型中心点作为原点。


  1. (可选) 调试高级设置,更多高级设置详情,请阅读 大物体 (Large Object) 检测流程高级配置

  2. 点击快速检测,可以使用对其关键点或深度学习结果来检测关键点识别结果。如果您的检测效果不佳,请检查1-6的步骤是否正确,更多请阅读 视觉项目优化


这样检测部分就设置好了,可以进行下一步: 设置抓取策略