深度学习 ======== DaoAI InspecTRA中，用户可以加入深度学习功能，接下来本页将提供有关如何使用深度学习的说明。 .. figure:: images/dl_page.png :align: center | 深度学习有两个部分组成，第一个部分数据收集功能部分，第二个部分为添加模型进行识别。 .. figure:: images/dl_two_part.png :align: center 深度学习模型 *************** 当前版本 DaoAI 3D InspecTRA 支持的深度学习模型分别有： * 实例分割(新) * 关键点检测(新) * 异常检测 * 分类检测 * 目标检测 * 语义分割(新) * OCR(新) 每个模型的详细解读，请查阅 `模型 `_ 。 从示例上分析，该使用哪一个模型，请查阅 `展示实例 `_ 。 .. TODO CHECK link every version 深度学习数据采集 *************** .. figure:: images/enable_collect.png :align: center 启用数据收集功能的时候，必须要把 "Enable Collect" 选项打开。 .. figure:: images/add_cam.png :align: center 1. 点击打开下拉式菜单； 2. 选择用于收集数据的相机； .. figure:: images/saved_data.png :align: center 收集数据功能必须连接相机，设置好上述步骤后，需要使用相机拍照： 1. 点击拍摄，相机采图；继续点击拍摄，直到拍摄完所有数据； 2. 点击下载按钮，下载文件； .. figure:: images/file_no_extension.png :align: center 下载后的文件为 ``.zip`` 格式的压缩文件，解压后可以获得 ``.png`` 格式的图像文件。 深度学习模型 ***************** 第二部分，是使用收集好的数据，使用DaoAI DeepWorld进行标注和训练。加载至DaoAI InspecTRA。 在 DaoAI World 下载的深度学习模型是一个 `.zip` 格式的文件，下载后点击 `+ 新训练模型` ，直接上传到 DaoAI 3D InspecTRA中即可使用。 深度学习模型结构 --------------- .. figure:: images/download_from_dw.png :align: center 在 DaoAI World 里下载模型后，你能看到是一个 `.zip` 格式的文件，不需要解压即可上传到 DaoAI 3D InspecTRA 使用。 正常情况下不需要了解模型的结构，直接使用模型即可。如果你觉得模型文件有问题，你可以解压文件检测模型结构是否正确： .. figure:: images/zip_structure.png :align: center 如上图所示，从服务器下载的 `.zip` 模型文件中压缩了两个 `.zip` 压缩文件，分别是CPU使用的模型文件 **cpu.zip** 和 **gpu.zip** 。其中， **gpu.zip** 是加密的模型文件。 **cpu.zip** 的文件架构也如上图所示，有一个文件夹，其中包含了模型文件和配置文件。以上，即可判断一个模型为正确。 深度学习模型加载和配置 --------------------- .. figure:: images/load_model.png :align: center .. figure:: images/model_config.png :align: center 深度学习模型加载后，如上图显示，你可以看到模型的名字、标签和设置按钮。 1. 模型名字旁边的切换按钮，是启用或者禁用模型的选项。 2. 标签是显示当前模型中的所有标签及其数量。 .. figure:: images/enabled_active_learning.png :align: center 3. 启用或者禁用主动学习功能，下载主动学习功能的数据。 点击按钮 "Open Config"，你可以对于主动学习功能进行设置。 .. figure:: images/config_active_random_threshold.png :align: center 点击后，设置菜单打开如上图所示。一共有两个主动学习的策略：随机采集(左)和临界点采集(右)。 - 随机采集是按照设定的参数进行随机采样。 - 临界点采集是按照设定的参数，对数据进行识别，根据其识别结果是否达到临界范围内进行采集。 参数设置详情如下： * 策略 #. 目前支持的策略为两种：随机采集和临界点采集。 * 随机度 #. 此数值为随机数据中，被保存数据的数量，在总数量百分比。例子：随机度为50，达标的采集数据中，有一半的数据会被保留；随机度为100，达标的采集数据中，所有的数据会被保留。 * 最小置信度 #. 采集的数据中，只有识别结果大于此数值的数据，才属于达标，才能保存。 * 最大置信度 #. 采集的数据中，只有识别结果小于此数值的数据，才属于达标，才能保存。建议此数值设置为 **1**。 * 几率 #. 此数值和随机采集中的随机度一样，不过仅用于临界点采集策略。此几率能提高数据的随机性。 * 选择标签 #. 选择想要采集的数据的标签。通常用于收集某些特定的种类的物体，或者选择所有物体 "all"。 * 收集限制 #. 此参数为控制数据收集的最大数量。限制数据收集数量过大，导致内存或者电脑容量不够。 #. 分钟：限制每分钟保存的数据最大值。 #. 小时：限制每小时保存的数据最大值。 #. 每天：限制每天保存的数据最大值。 * 数据名称 #. 输入该主动学习保存的数据集名称。 * 数据集最大值 #. 输入该主动学习保存的数据集的最大值。 * 数据收集频率 #. 主动学习保存的数据集的频率，分别为：每天，每周和每月。配合"数据集最大值"使用，在此频率内保存的数据集最多不能超越该设置。 .. figure:: images/download_active_learning.png :align: center 保存主动学习采集数据，点击该按钮可把数据下载。 .. figure:: images/file_no_extension.png :align: center 下载后的文件会是一个下载后的文件为 ``.zip`` 格式的压缩文件，解压后可以发现其中文件以batch的时间和结构存在。 .. figure:: images/extracted_data.png :align: center 深度学习工具 ************* DaoAI InspecTRA中，用户可以加入各种深度学习工具，目前支持的工具有三种：物体检测(Object Detection)、分类检测(Classification)和异常检测(Amomaly Detection)。在使用工具前，必须先设置好深度学习模型，详情可参照： :ref:`深度学习模型`。 .. figure:: images/tool_page.png :align: center | .. figure:: images/add_tool.png :align: center 1. 根据你的需求，选择其中一个工具，选择添加工具； 2. 点击到添加的工具； 3. 你可以看见工具配置的地方，显示的是你点击的工具； .. figure:: images/tool_config.png :align: center 4. 选择列表中的一个相机； 5. 选择添加的模型； 6. 该模型中的所有标签； 7. 模型识别到的物体数量； 8. 识别到的物体的置信度； .. figure:: images/detection_result.png :align: center 每次拍照时，2D图像的结果也会显示物体的识别结果和置信度。