零件装配的控制系统

注解
 
Altami有限公司参加了由高级研究基金会组织的装配生产操作员工作场所的控制视频图像手动操作的智能技术创造领域的最佳解决方案竞赛。 在PJSC“Kamaz”的技术和方法帮助的帮助下，与Skolkovo基金会合作。 公开比赛于2018年4月2日至8月23日举行。
 
 

 
转到装配过程阶段的详细说明
 

任命装配控制系统

系统指定的目的是监控由操作员制造的涡轮增压器子组件，以记录在控制任务的初始条件下给出的组装涡轮增压器的典型误差。
 
开发用于控制手动操作的技术的竞赛的初始任务是创建一个系统，该系统允许实时诊断涡轮增压器部件的正确组装并通过所提供的组装过程识别典型的组装错误。
 
 

控制系统的对象分类器

在比赛过程中，我们开发了一个对象分类器，它允许我们根据图像上的CAD模型高精度地对涡轮增压器元件进行分类，并确定图像中元素的坐标。
要解决这个问题，有几种基本的解决方法：
 

• 根据装配步骤监控图像中特定单元的存在
• 考虑时间背景（识别动作环境）控制手动动作 – 例如，控制紧固涡轮增压器的某些紧固件的动作。

 
 
 
选择第一个选项参加比赛，因为在比赛的第一阶段，对象位置控制的实现允许最准确地解决定位对象位置的问题。 将来，用于控制物体位置的分类器用于控制组件中涡轮增压器组件的存在。
 
 

比赛的阶段

比赛包括三个阶段：
 

• 训练 – 在这个阶段，可以获得两个样本，即培训和测试的视频集。 在视频中呈现了涡轮增压器的元件，其位于不同角度并且存在大量不是控制目标的物体（例如，手动工具，紧固件等）。
  在此阶段，控制系统的任务是从测试样本中识别视频上的元素，并获得最小矩形的坐标，最准确地描述视频中的元素。 根据IoU度量（交联结合），将获得的矩形坐标与专家安装的坐标数据进行比较。
• 测试 – 在这个阶段，任务类似于训练阶段，不同之处在于参与者关闭了涡轮增压器元件的视频记录的对照样本，其中对识别质量度量进行了总体验证。 对封闭样本的检查允许确认开发的系统确定具有高精度的对象，这些对象先前未用于在拍摄条件下调整或学习系统。
• 决赛。 在这个阶段，参与者展示了开发的控制技术在竞赛的最初任务中的应用 – 技术装配操作的控制。

 
 

装配控制系统的描述

最后，我们公司开发并演示了一个应用程序，它允许您在最少的操作员参与下执行装配操作的完整循环自动控制。 该应用程序基于开发的分类器，用于通过竞赛的第一和第二阶段。
 
开发的分类器是建立在深度训练的卷积神经网络的基础上的。 对于其训练，使用涡轮增压器的细节的真实图像和通过渲染CAD模型获得的虚拟图像。 对所有图像（例如旋转，透视变换，噪声）执行原始数据的失真操作，这允许获得对象的类别和位置的稳定识别，而不管对象的视角和环境如何。
在分类器的基本版本中使用15类源对象进行识别，分类器的技术能力允许同时分类和识别数千个类。

 

开发的控制系统的主要特点

• 无论拍摄条件，相机角度，相机型号如何识别涡轮增压器元件。
• 在组装期间识别涡轮增压器部件并识别组件结构中的各个元件。
• 控制涡轮增压器的某些元件的存在，作为组装单元的一部分。
• 控制组件结构中元件的正确安装。
• 识别典型的涡轮增压器装配误差。
• 家庭类视频设备上系统工作的可能性。
• 二手计算能力要求低。
• 根据给定的CAD模型进行对象分类的可能性。
• 在以下系统中与增强现实系统同步和组装指令输出的可能性：

           a. Microsoft HoloLens
           b. 爱普生Moverio

 
 
 
 
 
 
 
 
 
 
 
 
 
 

开发的控制系统的应用领域

应用开发的解决方案可用于技术愿景领域：
1. 显微镜 – 计数和分割具有难以参数化的形式或颜色的对象。
 
2. 电子产品 – 在板或布局上定位元素的位置。 其中一个应用程序可以是电子传输系统，其计算视频图像上的位置，捕获和传输电子组件。
 
3. 工业控制系统 – 执行已识别对象的分类和本地化，例如：
         a. 控制产品上标记的产品类别。
         b. 计算图像中某个类的对象（例如，计算图像中各个部分的数量和位置）。
         c. …
 
 

视频。 涡轮增压器组装过程的阶段

第一阶段是找到装配所需的元素
在此步骤中，检查摄像机控制区中的必要元素。
 

 
如果未找到任何元素，则会显示一条消息，指出此元素不在控制区中。
无论元件的位置如何都执行识别 – 例如，无论当前旋转或相对于摄像机的移动如何，都可以识别压缩机壳体。
 
可识别的项目：
1. 压缩机轮
2. 屏幕涡轮机
3. 轴承座
4. 压缩机外壳
5. 转子
6. 涡轮

 
 
第二阶段是转子和压缩机叶轮的组装
在此阶段，搜索由压缩机叶轮和转子组成的组件。
 

 
带字幕的绿松石框架突出了装配装置所需的元素。
在屏幕的中央，红框显示控制区域，其中检查组装单元的存在。 识别出装置后，包含装置的区域将以蓝框突出显示，控制框将其颜色更改为绿色，从而通知操作员装置的正确装配。
该组件包括安装在转子上的压缩机轮。
 
 
第三阶段 – 单元组装1号
在这个阶段，制造由涡轮机，转子和轴承壳体的筛网组成的1号机组。
此阶段操作员的任务是正确组装设备。
带字幕的绿松石框架突出了装配单元所需的元素。
在此阶段的视频录制开始时，显示了装置的错误装配，导致典型错误 – 未安装的涡轮机屏幕。 如果程序集不正确，系统将识别错误并显示有关错误装配的消息。
 

 
在正确组装设备并正确安装涡轮机屏幕后，设备开始被识别。 识别出装置后，包含装置的区域将以蓝框突出显示，控制框将其颜色更改为绿色，从而通知操作员装置的正确装配。
 

 
 
第四阶段 – 2号机组
在这个阶段，说明由组装的1号机组和压缩机盖组成的2号机组的组装。
 

 
如果操作员未将压缩机盖安装到1号机组，则不会转换到进一步的装配步骤。
将盖子安装在1号机组中并且组装后的元件位于控制区域（红框下方）后，系统将识别该元件并允许操作员进行下一个组装步骤。 识别元素后，控制框将显示为绿色，找到的元素将以蓝框突出显示。
 
 
第五阶段 – 3号机组
此阶段操作员的任务是将压缩机叶轮正确安装在2号机组的转子上。如果未安装压缩机叶轮或设置不正确，则会显示错误消息。
 
正确安装压缩机并垂直安装组装好的单元后，控制框将显示为绿色，识别出的元素将以蓝框突出显示。
 

 
 
第六阶段 – 单元组装No.4
在这个阶段，压缩机壳体安装在组装好的3号机组上。
 

 
带有文字的绿松石框架突出了压缩机盖，因为必须完成组装。 在压缩机盖安装在组装好的3号机组上，以及机组在控制区内的位置后，控制框架将显示为绿色，这意味着成功识别组装好的元件。 蓝色边框表示包含组装单元的区域。
 
 
第七阶段 – 涡轮增压器的组装
在组装的最后阶段，连接4号机组和涡轮机压缩机。
 

 
压缩机的涡轮机安装在组装好的4号机组上。在组装好的涡轮增压器位于控制区并识别后，控制框架将显示为绿色，并且在成功完成涡轮增压器组件时将显示一条消息。