项目实例
本章将通过展示实际项目示例,帮助您了解在真实场景中如何选择模型及标注方法。
饮料分拣
在这个项目中,有各种饮料,分布在4个箱子里,我们需要分类饮料的种类以及抓取他们,只要知道一个物体的大致位置,吸嘴夹具就可以抓起物体。
分析图片后 我们可以知道:
总共有5种饮料,不需要区分正反等特殊状态: 则我们需要5种标签
抓取时不需要区分方向,正反等:不需要使用关键点模型或者方向判断的模型。
所以简单的实例分割就可以满足我们的需求。
这里分别使用了5个标签,分别对应5种饮料,然后使用多边形标注了饮料朝上的一个面,只标注了能够抓取,不被遮挡的物体。
备注
由于物体侧边在用3d相机拍摄时,点云部分的形状不固定,并且容易出现噪声,从而影响检测的质量。
只标注上面的一个面就可以在匹配时只处理上方的点云,不用去处理侧边容易出现噪声的部分。
训练并部署后,我们就可以轻松识别所有可以抓取的饮料。
烟感器抓取
在这个项目中,需要抓取烟感器并且正面和反面需要使用对应的抓取动作才可以成功抓起,而且需要和物体对应旋转夹具才可以成功抓起。
分析图片后 我们可以知道:
烟感器需要区分正反:需要2个标签,用于区分正面和反面
抓取时需要区分旋转:则需要使用关键点,并添加至少2个点,来区分物体旋转姿态。
使用关键点模型就可以满足我们的需求。
标注时,使用了2个标签,区分正反,然后找到了2处相对独特的特征来标注关键点,并且只标注可以抓取的物体。
备注
关键点如果标注在特征重复的区域,或者没有特征的区域,则预测效果不佳。
训练并部署后,我们就可以轻松识别所有可以抓取的烟感器,其正反面,和旋转姿态。
仪表监测
在这个项目中,需要从不同角度检测图片中的仪表的读数。
分析图片后 我们可以知道:
需要读取指针在图表中的精确位置:需要可以提供精确位置的模型: 实例分割 或 关键点检测
仅需要判断指针的位置,不存在正反面等特殊姿态:只需要一个标签
由于关键点检测的标注更复杂一些,所以使用实例分割模型。
这里使用多边形标注出指针的位置
训练并部署后,我们就可以轻松识别场景中的指针位置,并使用其它检测算法,判断指针的角度和读数。
镜头检测
在这个项目中 检测镜头的状态,质量是否合格。是否存在缺陷。
分析图片后 我们可以知道:
镜片位置一致,存在部分缺陷图片:可以使用缺陷检测或者语义分割模型
由于这里我们不需要区分缺陷的类型,所以缺陷检测可以满足我们的需求。
使用多边形标注出缺陷区域,或者标注为正常。
备注
缺陷检测是使用正常图片进行训练的,需要确保数据集中有半数以上的图片都属于正常标签。
训练并部署后,我们就可以轻松识别镜片的状态,质量是否合格,缺陷位置等等。
组装检测
在这个项目中 我们需要检测以下工件是否正确的组装:是否有全部的螺丝:4个
分析图片后 我们可以知道:
图像中有若干螺丝孔,有些没有安装螺丝,需要检测安装螺丝的有无或者数量
对象检测模型可以满足我们的需求。
使用边界框框出没有安装螺丝的孔。
训练并部署后,我们就可以轻松识别是否有为安装的孔,以及有几个螺丝未安装。