深度学习

DaoAI InspecTRA中，用户可以加入深度学习功能，接下来本页将提供有关如何使用深度学习的说明。

../_images/dl_page.png

深度学习有两个部分组成，第一个部分数据收集功能部分，第二个部分为添加模型进行识别。

../_images/dl_two_part.png

深度学习模型

当前版本 DaoAI 3D InspecTRA 支持的深度学习模型分别有：

  • 实例分割(新)

  • 关键点检测(新)

  • 异常检测

  • 分类检测

  • 目标检测

  • 语义分割(新)

  • OCR(新)

每个模型的详细解读，请查阅 模型 。

从示例上分析，该使用哪一个模型，请查阅 展示实例 。

深度学习数据采集

../_images/enable_collect.png

启用数据收集功能的时候，必须要把 "Enable Collect" 选项打开。

../_images/add_cam.png

  1. 点击打开下拉式菜单；

  2. 选择用于收集数据的相机；

../_images/saved_data.png

收集数据功能必须连接相机，设置好上述步骤后，需要使用相机拍照：

  1. 点击拍摄，相机采图；继续点击拍摄，直到拍摄完所有数据；

  2. 点击下载按钮，下载文件；

../_images/file_no_extension.png

下载后的文件为 .zip 格式的压缩文件，解压后可以获得 .png 格式的图像文件。

深度学习模型

第二部分，是使用收集好的数据，使用DaoAI DeepWorld进行标注和训练。加载至DaoAI InspecTRA。

在 DaoAI World 下载的深度学习模型是一个 .zip 格式的文件，下载后点击 + 新训练模型 ，直接上传到 DaoAI 3D InspecTRA中即可使用。

深度学习模型结构

../_images/download_from_dw.png

在 DaoAI World 里下载模型后，你能看到是一个 .zip 格式的文件，不需要解压即可上传到 DaoAI 3D InspecTRA 使用。

正常情况下不需要了解模型的结构，直接使用模型即可。如果你觉得模型文件有问题，你可以解压文件检测模型结构是否正确：

../_images/zip_structure.png

如上图所示，从服务器下载的 .zip 模型文件中压缩了两个 .zip 压缩文件，分别是CPU使用的模型文件 cpu.zip 和 gpu.zip 。其中， gpu.zip 是加密的模型文件。 cpu.zip 的文件架构也如上图所示，有一个文件夹，其中包含了模型文件和配置文件。以上，即可判断一个模型为正确。

深度学习模型加载和配置

../_images/load_model.png
../_images/model_config.png

深度学习模型加载后，如上图显示，你可以看到模型的名字、标签和设置按钮。

  1. 模型名字旁边的切换按钮，是启用或者禁用模型的选项。

  2. 标签是显示当前模型中的所有标签及其数量。

../_images/enabled_active_learning.png

  1. 启用或者禁用主动学习功能，下载主动学习功能的数据。

点击按钮 "Open Config"，你可以对于主动学习功能进行设置。

../_images/config_active_random_threshold.png

点击后，设置菜单打开如上图所示。一共有两个主动学习的策略：随机采集(左)和临界点采集(右)。

  • 随机采集是按照设定的参数进行随机采样。

  • 临界点采集是按照设定的参数，对数据进行识别，根据其识别结果是否达到临界范围内进行采集。

参数设置详情如下：

  • 策略

    1. 目前支持的策略为两种：随机采集和临界点采集。

  • 随机度

    1. 此数值为随机数据中，被保存数据的数量，在总数量百分比。例子：随机度为50，达标的采集数据中，有一半的数据会被保留；随机度为100，达标的采集数据中，所有的数据会被保留。

  • 最小置信度

    1. 采集的数据中，只有识别结果大于此数值的数据，才属于达标，才能保存。

  • 最大置信度

    1. 采集的数据中，只有识别结果小于此数值的数据，才属于达标，才能保存。建议此数值设置为 1。

  • 几率

    1. 此数值和随机采集中的随机度一样，不过仅用于临界点采集策略。此几率能提高数据的随机性。

  • 选择标签

    1. 选择想要采集的数据的标签。通常用于收集某些特定的种类的物体，或者选择所有物体 "all"。

  • 收集限制

    1. 此参数为控制数据收集的最大数量。限制数据收集数量过大，导致内存或者电脑容量不够。

    2. 分钟：限制每分钟保存的数据最大值。

    3. 小时：限制每小时保存的数据最大值。

    4. 每天：限制每天保存的数据最大值。

  • 数据名称

    1. 输入该主动学习保存的数据集名称。

  • 数据集最大值

    1. 输入该主动学习保存的数据集的最大值。

  • 数据收集频率

    1. 主动学习保存的数据集的频率，分别为：每天，每周和每月。配合"数据集最大值"使用，在此频率内保存的数据集最多不能超越该设置。

../_images/download_active_learning.png

保存主动学习采集数据，点击该按钮可把数据下载。

../_images/file_no_extension.png

下载后的文件会是一个下载后的文件为 .zip 格式的压缩文件，解压后可以发现其中文件以batch的时间和结构存在。

../_images/extracted_data.png

深度学习工具

DaoAI InspecTRA中，用户可以加入各种深度学习工具，目前支持的工具有三种：物体检测(Object Detection)、分类检测(Classification)和异常检测(Amomaly Detection)。在使用工具前，必须先设置好深度学习模型，详情可参照： 深度学习模型。

../_images/tool_page.png

../_images/add_tool.png

  1. 根据你的需求，选择其中一个工具，选择添加工具；

  2. 点击到添加的工具；

  3. 你可以看见工具配置的地方，显示的是你点击的工具；

../_images/tool_config.png

  1. 选择列表中的一个相机；

  2. 选择添加的模型；

  3. 该模型中的所有标签；

  4. 模型识别到的物体数量；

  5. 识别到的物体的置信度；

../_images/detection_result.png

每次拍照时，2D图像的结果也会显示物体的识别结果和置信度。