数据集管理 ========== 标注工具 -------- 在DaoAI World中，您可以使用标注工具对图像进行标注。按照训练项目费雷的不同，您可以使用不同的工具对图像进行标注。 在 **实例分割** 和 **关键点检测** 项目中，您可以使用一下标注工具完成标注： #. **拖动工具** * 快捷键：空格 * 平移图像或选择/重新定位注释。 * 使用方法：单击并拖动图像。 .. image:: Images/annoTool0.png :width: 400 :align: center #. **多边形工具** * 快捷键：P * 自由绘制注释，以获得更精确的形状。 * 使用方法：单击以添加点，多边形将按照被添加的点的顺序包围框选区域，点击第一个点封闭多边形以完成多边形添加，或点击完成，最后一个被添加的点会自动与第一个点相连，封闭多边形区域。 .. image:: Images/annoTool1.png :width: 400 :align: center #. **智能多边形工具** * 快捷键：S * 使用智能助手绘制多边形。点击对象的中心，然后继续点击以添加或减去区域。 * 使用方法：将鼠标移动到对象的中心后，将生成一个淡蓝色的区域框选当前多边形区域，移动鼠标以更改框选区域。点击左键确定多边形区域，继续单击左键将更多区域划分进多边形区域，右键单击将部分区域从多边形中剔除，完成多边形区域框选后，点击保存完成多边形区域标注。 .. image:: Images/annoTool2.png :width: 400 :align: center #. **重复上一个** * 快捷键：Ctrl+Y * 应用上一个图像上的所有注释（对于视频帧很有用）。 .. image:: Images/annoTool3.png :width: 400 :align: center #. **撤销** * 快捷键：Ctrl+Z * 撤销上一个操作。 .. image:: Images/annoTool4.png :width: 400 :align: center #. **重做** * 快捷键：Ctrl+Shift+Z * 重做上一个操作 .. image:: Images/annoTool5.png :width: 400 :align: center #. **标记为空** * 快捷键：Ctrl+M * 当前图像中没有可标注物体。空图像是没有感兴趣的对象的图像。未注释的图像正在等待人工标注。 .. image:: Images/annoTool6.png :width: 400 :align: center 在 **异常检测** 中，除了以上标记工具，还提供了 **无损标记** 功能： **无损标记** * 将当前图片标注为无损图像，即当前图片中没有异常物体。 .. image:: Images/annoTool7.png :width: 400 :align: center 在 **物体检测** 中，我们使用 **边界框工具** 替换了 **多边形工具**： **边界框工具** * 快捷键：B * 用于标注物体的边界框。 * 使用方法：单击左键以选择边界框的一角，移动鼠标框选物体，再次单击左键完成物体框选。 .. image:: Images/annoTool8.png :width: 400 :align: center 在 **分类检测** 中，由于项目对整张图片进行分类，所以在 **分类检测** 中未提供标注工具，直接将标签分配给整张图片即可。 各个模型的具体标注方法可参考 :ref:`模型`。 删除图片 -------- 在DaoAI World中，您可以删除已经上传的图片。删除图片是一个不可逆的操作，删除后的图片将无法恢复。请谨慎操作。 您可以在数据集中进行单张或多张图片删除的操作。 在数据集页面中，将鼠标移至想要删除的图片上，点击图片右上角以选择图片： .. image:: Images/deletepng0.png :width: 800 :align: center 然后点击右上角的按钮，在下拉菜单中选择“从项目中移除”，即可移除选择的图片： .. image:: Images/deletepng1.png :width: 800 :align: center 如果您想要删除多张图片，可以通过同时选择多张图片，然后同时删除它们。 标注数据管理批次 --------------- 当您将一批数据上传到DaoAI World上后，您上传的这批数据会被整合成一个批次。他们是一组图像，您可以在DaoAI World的标注界面中查看，您可以在 **标注中** 列表对每个批次单独进行标注和管理，同时把已经标注完成的批次添加到数据集 .. image:: Images/manage_unanno.png :width: 800 :align: center **批次管理** * 上传未标注的图像后，它们将被分配到"标注中列表中。 * 您可以对一批数据进行多次标注，并分批把标注好的数据添加到数据集中，这种情况下，剩余的数据将被划分为一个新的批次，与已标注好且发送到数据集图片分离。 **删除批次** .. warning:: 请注意，删除是永久性且不可逆转的。您需要确保此操作不会对您接下来的项目造成影响才可以进行删除操作。 您可以通过单击批次右上角的三个点并点击“删除数据集”来删除批次。 .. image:: Images/delete.png :width: 600 :align: center .. warning:: 再次提示，删除是永久性且不可逆转的。您需要确保此操作不会对您接下来的项目造成影响才可以进行删除操作。 创建新训练集 ------------ 创建新训练集功能是用标注过的图片创建一个训练集，用来训练深度学习模型。在此功能中你可以划分训练集测试集比例，添加预处理与数据增强等操作。不同的训练集会有 不同的版本，我们可以通过查看不同的版本的训练结果，来对比不同图像，预处理和数据增强对训练结果的影响。 **如何创建新数据集** 要创建新的数据集，请单击DaoAI World项目界面的侧栏中的 **创建** 。然后，在此界面中，您可以分配训练/测试集比例（可选，一般默认的为7:2:1原则）。在添加预处理和数据增强之前，需要生成数据集报告，该报告将会检测数据集中存在的标注问题，如标签错误，标签缺失等。 .. image:: Images/create_training.png :width: 600 :align: center 在数据集报告检测完成并通过后（即数据集中无无效标注），您可以为您的训练添加预处理及数据增强。在部分训练项目中，系统会自动启用部分预处理与数据增强功能，您可以选择关闭或者添加其他的预处理与数据增强功能。 .. image:: Images/default_preprocess.png :width: 600 :align: center **重新调整训练/测试集** 在新数据集的创建过程中，您还可以重新调整训练，验证和测试集的比例。如果您需要这么做，请转到 **分配训练/测试集**，并单击”重新平衡 **按钮**。 .. image:: Images/balance.png :width: 600 :align: center 预处理方法 ---------- 为训练模型准备数据的图像预处理步骤。 .. note:: 预处理可确保您的数据集使用标准格式（例如所有图像的大小相同）这个步骤能够统一数据集保持一致性，增强训练模型的精准度 预处理适用于 **训练集** ， **有效集** 和 **测试集** 中的所有图像（ **增强仅适用于训练集** ) 。 DAOAI WORLD中提供了以下的预处理选项: * **兴趣区域** 兴趣区域会更改图片大小，也可以选择缩放所需的尺寸。 分离兴趣区域可以从图像或者数据集中提取特定区域，实现有针对性的分析和对相关信息的集中检查。 在弹出的页面中通过调整水平区域与垂直区域中感兴趣的部分来划定范围。该范围会在图像中显示为一个矩形区域，同时该区域会施加在所有的图像上。 .. image:: Images/roi.png :width: 600 :align: center * **直方图均衡化** 直方图均衡化是一种用于增强图像对比度的技术。它通过重新分布整个光谱中的像素强度值，调高细节的可见性，确保更均衡和拉伸的直方图。直方图均衡化可以帮助AI模型更好的提取特征值。 .. image:: Images/histogram.png :width: 600 :align: center 数据增强方法 ------------ 使用数据增强功能以提高模型性能 数据增强对现有图像执行变换，并增加数据集中图像的数量。这最终使模型在更广泛的用例范围内更准确。 DaoAI World支持以下数据增强功能： .. image:: Images/augmentation.png :width: 600 :align: center .. note:: 我们建议一开始创建一个没有使用数据增强方法的项目。这样您可以评估原始数据集的质量。如果您添加了数据增强方法， 但数据集的性能未达到预期效果，则您将没有一个可以比较模型性能的基线。 如果您的性能在没有使用数据增强的情况下表现不佳，您可能需要研究类别平衡、数据集大小或其他方法。如果您拥有一个数据集并已经成功 训练了没有数据增强的模型时，您可以添加数据增强功能以进一步提高模型性能。 **添加数据增强功能** 要使用数据增强功能，请转到DaoAI World创建界面中。然后单击 **数据增强** 为您的数据添加具体的数据增强方法。 .. image:: Images/zengqiang.png :width: 600 :align: center **增强选项** 以下是DaoAI_World支持的数据增强功能。您可以自定义数据增强方法。 #. **翻转** * 添加水平或垂直翻转，降低模型对某个特定方向的敏感度。 * 翻转图像可以在很大程度上改善模型性能。 * 可以选择分别添加水平翻转或垂直翻转，并选择翻转可能性。 .. image:: Images/flip.png :width: 600 :align: center #. **旋转** * 通过旋转训练数据，帮助模型适应不同角度。 * 它帮助模型在相机或物体不平行的情况下检测对象。 * 可以通过滑动选择最大旋转角度。 .. image:: Images/rotation.png :width: 600 :align: center #. **缩放** * 通过变化位置和大小，帮助模型适应对物体和相机位置的平移。 * 可以通过滑动选择最大缩放比例。 .. image:: Images/scale.png :width: 600 :align: center #. **剪切变换** * 通过变化透视，帮助模型适应相机和物体的俯仰和偏斜。 * 可以通过滑动选择最大剪切比例，剪切变换会同时应用在四个方向上。 .. image:: Images/shear.png :width: 600 :align: center #. **位移** * 位移使图像中物体的位置变化，有助于增加训练样本的多样性，并减少过拟合。 * 可以通过滑动选择最大位移比例。 .. image:: Images/translate.png :width: 600 :align: center #. **模糊** * 通过添加随机的高斯模糊，帮助模型适应相机的不同对焦 * 当您的物体可能不处于焦点，或者您的模型的边缘不清晰时，可以使用添加模糊提高模型表现。 * 可以滑动调整模糊的最大像素值及可能性。 .. image:: Images/blur.png :width: 600 :align: center #. **色相** * 在AI图像训练中加入色相调整可以帮助提高模型对不同光照条件和颜色变化的泛化能力。 * 可以滑动调整色相强度。 .. image:: Images/hue.png :width: 600 :align: center #. **饱和度** * 在图像训练中家兔饱和度可以是训练模型更容易识别和学习图像中的关键特征，从而提高模型的准确性。 * 可以滑动调整饱和度强度。 .. image:: Images/saturation.png :width: 600 :align: center #. **饱和度增强** * 在图像训练中加入饱和增强可以使训练模型更容易的识别和学习图像中的关键特征，从而提高模型的准确性。 * 可以滑动调整饱和度增强强度。 .. image:: Images/vibrance.png :width: 600 :align: center #. **对比度** * 通过变化图像对比度，帮助模型适应不同光照条件。 * 可以调整对比度最大值和可能行 .. image:: Images/contrast.png :width: 600 :align: center #. **噪声** * 通过添加噪声，帮助模型适应相机的伪影。 * 可以调整噪声的最大像素值和可能性。 .. image:: Images/noise.png :width: 600 :align: center #. **马赛克** * 马赛克预处理可以作为数据增强的一种形式，生成具有不同马赛克畸变程度的训练图像变体。增加寻来你数据的多样性，同时提高模型的泛化能力。 * 可以调整马赛克的可能性。 .. image:: Images/mosaic.png :width: 600 :align: center 导出数据集 --------- 从 DaoAI World 中导出数据。 您可以随时从 DaoAI World 导出数据。您可以使用 DaoAI World Web 界面导出数据。 要导出数据集，首先要点击DaoAI World项目界面的侧栏中的 **数据集**，在数据集界面中点击 **导出数据集** 按钮导出数据。 .. image:: Images/export_data.png :width: 800 :align: center 在"导出数据集"界面 可以选择将数据下载为文件.zip或使用curl从命令行中下载。 .. image:: Images/export_data_select.png :width: 600 :align: center