CN109543571A - 一种面向复杂产品异形加工特征的智能识别与检索方法 - Google Patents

Abstract

本发明公开了一种面向复杂产品异形加工特征的智能识别与检索方法，先获取零件异形加工特征图纸；对异形加工特征的图纸进行预处理；将预处理后的图纸通过虚拟相机获得统一像素大小的图像；将获得的图像通过数据增强处理得到待训练的图像数据集1和数据集2；将上一层的数据集输入到ResNet；将ResNet训练的结果保存为.h5文件；输入特征一张或者几张新的图像样本并进行预处理；将预处理后的图像输入到.h5文件中；根据新样本的概率确定新样本的分类结果，最后输出新样本的分类结果。本发明通过将ResNet应用到复杂产品异形加工特征识别领域，通过对加工特征图纸进行预处理，并从不同位置获得异形加工特征的相关信息，可提高异形加工特征图像智能识别与检索的准确率。

Description

一种面向复杂产品异形加工特征的智能识别与检索方法

技术领域

本发明属于深度学习和异形加工特征识别及检索技术领域，具体涉及一种面向复杂产品异形加工特征的智能识别与检索方法。

背景技术

在航空航天、船舶、兵器、汽车等复杂产品中，零部件数目繁多，结构形状极其复杂，包含诸多异形加工特征。异形加工特征是指复杂产品中需要定制特殊非标刀具来完成的零件加工特征，例如航空发动机机匣中的环槽、V带面、环形曲面和尺寸干涉的加工特征等。异形加工特征与特殊制造工艺和非标加工刀具往往一一对应，因而，异形加工特征智能识别与检索对实现知识重用(尤其是制造工艺知识)、基于特征的刀具智能选配、制造过程智能化等均具有重要意义。然而，由于技术限制，当前零件加工特征的管理、识别与检索通常通过特征编码来实现，如数字编码、字符编码或二者的混合。特征编码通常在20位以上，当管理人员对某条加工特征信息进行查找和处理时，输入特征编码将会花费大量时间和精力，不能够快速准确地定位到需要查找的加工特征信息。另外，当零件的加工特征为异形加工特征时，由于其包含倒角、斜面、曲面和干涉信息等等，利用编码来识别与检索加工特征难以实现。因此，如何快速智能识别与检索加工特征已成为本领域技术人员亟待解决的技术问题。

卷积神经网络越来越多地被应用在图像识别领域，比如人脸识别和手写数字识别，而且都取得了不错的成绩。直到2016年，何凯明等提出残差网络即ResNet，在网络中引入了残差结构，解决了网络深度变深以后的性能退化问题，在ImageNet中进行图像分类、检测和定位表现最好，象征着卷积神经网络在图像识别领域取得突破性的研究，同时也为异形加工特征智能识别与检索提供了新的解决思路。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种面向复杂产品异形加工特征的智能识别与检索方法，能够很好的提取图纸中异形加工特征的信息，实现异形加工特征的快速智能识别与检索，不再通过编码来智能识别与检索加工特征，有利于提高企业特征智能识别与检索的快速性和准确性。

本发明采用以下技术方案：

一种面向复杂产品异形加工特征的智能识别与检索方法，包括以下步骤：

S1、获取零件异形加工特征图纸；

S2、对异形加工特征的图纸进行预处理；

S3、将预处理后的图纸通过虚拟相机获得统一像素大小的图像；

S4、将获得的图像通过数据增强处理得到待训练的图像数据集1和数据集2；

S5、将上一层的数据集输入到ResNet；

S6、将ResNet训练的结果保存为.h5文件；

S7、输入特征一张或者几张新的图像样本并进行预处理；

S8、将预处理后的图像输入到.h5文件中；

S9、根据新样本属于各个类别的概率确定新样本的分类结果，最后输出新样本的分类结果。

具体的，步骤S2中，预处理的方法为将图纸一分为二，图纸1中保留异形加工特征内容的相关参数；图纸2中不包含任何相关参数，表示如下：

其中，C_p为是否保留异形加工特征内容的相关参数。

具体的，步骤S3中，预处理后的图纸利用屏幕截图工具，将其设定活动窗口大小为m×n，活动窗口分别从左到右移动、从上到下以合适间隔移动次数为a、 b，表达式为：

其中，m、n分别为图像的宽和高，num为获取图像的总量，size为图像的尺寸大小。

具体的，步骤S4中，训练数据集1中包含的图像为从有标注的加工特征图纸中获得，每一张图像都包含异形特征加工内容的一个或者几个参数，能够实现有标注尺寸的异形加工特征图像识别；

训练数据集2在训练数据集1的基础上加入没有尺寸标注的图像，所训练的图像包含有尺寸参数标注的图像和无尺寸参数的图像，能够实现有标注尺寸和无标注尺寸的异形加工特征图像识别。

进一步的，训练数据集1中图像的总量total1为：

其中，i≥2，total1为训练数据集1中图像的总量，total₁为只包含异形特征加工内容一个参数的图像总量，total_i为包含异形特征加工内容不少于2个参数的图像总量；

训练数据集2中图像的总量total2为：

其中，total2为训练数据集2中图像的总量，total1为训练数据集1中图像的总量，为无尺寸参数的图像总量。

具体的，步骤S5中，ResNet中目标函数采用交叉熵损失函数进行评价，具体为：

其中，y为Softmax层输出的异形加工特征预测归属的类别，y_p是异形加工特征的真实类别。

进一步的，ResNet中采用Adam优化算法，具体为：

其中，β₁为0.9，β₂为0.9999，ε为10^-8，α为0.001，t表示次数，m_t是对梯度的一阶矩估计，θ_t是对梯度的二阶矩估计。

具体的，步骤S7中，预处理的方法包括大小归一化、减去像素平均值和灰度处理；大小归一化即把所有新的样本图像都归一化为训练数据集图像的大小；减去像素平均值即新的图像样本中的每个像素减去所有训练数据集图像的平均值。

进一步的，采用新的图像样本中的每个像素减去所有训练数据集图像的平均值，用于智能识别与检索新的异形加工特征图像样本x计算如下：

其中，为所有训练数据集图像的均值，s为所有训练数据集图像的标准差。

具体的，步骤S6和S8中，所有图像通过ResNet训练的模型和权重保存为.h5 文件，新的图像样本通过Softmax函数得到图像属于各个类别的概率，实现异形加工特征的快速智能识别与检索，Softmax函数的表达式为：

其中，i,k＝1,2,3…,j，j表示异形加工特征图像分类的数目，v_k表示节点属于第k类，v_i表示节点属于第i类。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种面向复杂产品异形加工特征的智能识别与检索方法，充分利用企业现有的异形加工特征图纸，进行预处理后获取异形加工特征图像数据集，利用 ResNet进行训练，神经网络层数多，能够对图像进行高效的表达，使其能够对任何一张新的异形加工特征图像进行智能识别与检索，具有很高的识别准确率，可以直接为企业使用。

进一步的，预处理中图纸一分为二时图纸1中保留异形加工特征内容的相关参数，其目的是为了屏幕截图软件获取图像时图像中能够包含与异形加工特征相关的加工内容参数，为制作训练数据集1做准备；图纸2中不包含任何相关参数，其目的是为了屏幕截图软件获取图像时图像中只包含异形加工特征的轮廓线条信息而不包含加工内容参数信息，为制作训练数据集2做准备。

进一步的，使用屏幕截图工具时，其活动窗口大小设定为m×n，其目的是为了控制训练数据集中图像的宽和高，让所有图像尺寸大小保持相同，将活动窗口分别从左到右移动、从上到下以合适间隔移动a、b次，其目的是为了控制我们从每一张图纸中获取图像的数目，保证从每个异形加工特征类别图纸中获取相同数目的图像。

进一步的，将获得的图像通过数据增强处理得到待训练的图像数据集1和数据集2，其目的是为了训练神经网络时有充足的数据量，防止神经网络训练时出现过拟合，可以让神经网络学习到更多的异形加工特征图像信息，使智能识别与检索更加准确。

进一步的，将获得的数据集分为训练集和验证集两部分，训练集用于让 ResNet学习到识别异形加工特征图像的能力，验证集用于评价ResNet识别异形加工特征图像能力的强弱，ResNet中采用的交叉熵代价函数与普通二次代价函数相比，能更有效的促进神经网络的训练，采用Adam优化算法能加快ResNet收敛速度，减少训练时间。

进一步的，利用新的异形加工特征图像测试ResNet训练结果的泛化能力，新的样本图像进行测试前需要进行预处理，由于训练集中的图像都是灰度图像且图像具有相同尺寸大小，因此需要将新样本图像进行灰度处理且缩放到训练数据集中图像的尺寸大小，归一化处理将图像中像素大小限定在[0,1]以内，以便进行测试对比。

进一步的，所有训练数据集通过ResNet训练的模型和权重根据神经网络API 标准存为.h5文件，新的样本图像智能识别与检索时只需调用.h5文件即可，识别时间在1秒以内，更符合实际应用需求。

综上所述，本发明通过将ResNet应用到复杂产品异形加工特征识别领域，通过对加工特征图纸进行合适的预处理，并从不同位置获得异形加工特征的相关信息，可提高异形加工特征图像智能识别与检索的准确率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明面向复杂产品异形加工特征的智能识别与检索方法工作流程图；

图2为本发明实例数据集1和数据集2部分示意图；

图3为本发明面向复杂产品异形加工特征的智能识别与检索方法的网络结构图；

图4为本发明实例数据集1和数据集2的网络训练结果图；

图5为本发明实例异型加工特征新图像样本智能识别与检索结果展示图。

具体实施方式

本发明一种面向复杂产品异形加工特征的智能识别与检索方法，包括以下步骤：

S1、获取零件异形加工特征图纸；

S2、对异形加工特征的图纸进行预处理；

预处理的方法即将图纸一分为二，图纸1中保留异形加工特征内容的相关参数；图纸2中不包含任何相关参数，则：

其中，C_p为是否保留异形加工特征内容的相关参数。

S3、将预处理后的图纸通过虚拟相机获得统一像素大小的图像；

预处理后的图纸利用屏幕截图工具，将其设定活动窗口大小为m×n，活动窗口分别从左到右移动、从上到下以合适间隔移动次数为a、b，表达式为：

其中，m、n分别为图像的宽和高，num为获取图像的总量，size为图像的尺寸大小。

S4、将获得的图像通过数据增强处理得到待训练的图像数据集1和数据集2；

训练数据集1中包含的图像都是从有标注的加工特征图纸中获得，即每一张图像都包含异形特征加工内容的一个或者几个参数，可实现有标注尺寸的异形加工特征图像识别，表达式为：

其中，i≥2，total1为训练数据集1中图像的总量，total₁为只包含异形特征加工内容一个参数的图像总量，total_i为包含异形特征加工内容不少于2个参数的图像总量。

训练数据集2在训练数据集1的基础上加入了没有尺寸标注的图像，即所训练的图像包含有尺寸参数标注的图像和无尺寸参数的图像，可实现有标注尺寸和无标注尺寸的异形加工特征图像识别，表达式为：

其中，total2为训练数据集2中图像的总量，total1为训练数据集1中图像的总量，为无尺寸参数的图像总量。

S5、将上一层的数据集输入到ResNet；

ResNet中采用Adam优化算法，并没有采用原始ResNet中的带动量的梯度下降算法，Adam优化算法的表达式为：

其中，β₁设为0.9，β₂设为0.9999，ε设为10^-8，α设为0.001，t表示次数，m_t是对梯度的一阶矩估计，θ_t是对梯度的二阶矩估计。

ResNet中目标函数采用交叉熵损失函数进行评价，表达式为：

其中，y为Softmax层输出的异形加工特征预测归属的类别，y_p是异形加工特征的真实类别。

S6、将ResNet训练的结果保存为.h5文件；

所有图像通过ResNet训练的模型和权重保存为.h5文件，新的图像样本通过Softmax函数得到图像属于各个类别的概率，实现异形加工特征的快速智能识别与检索，Softmax函数的表达式为：

其中，i,k＝1,2,3…,j，j表示异形加工特征图像分类的数目，v_k表示节点属于第k类，v_i表示节点属于第i类。

S7、输入特征一张或者几张新的图像样本并进行预处理；

预处理的方法包括大小归一化、灰度处理和减去像素平均值。大小归一化即把所有新的样本图像都归一化为训练数据集图像的大小；灰度处理即将新的样本图像转化为灰度图像；减去像素平均值即新的图像样本中的每个像素减去所有训练数据集图像的平均值，处理过程如下：

其中，为所有训练数据集图像的均值，s为所有训练数据集图像的标准差， x为用于智能识别与检索新的异形加工特征图像样本。

S8、将预处理后的图像输入到.h5文件中；

所有图像通过ResNet训练的模型和权重保存为.h5文件，新的图像样本通过Softmax函数得到图像属于各个类别的概率，实现异形加工特征的快速智能识别与检索，Softmax函数的表达式为：

其中，i,k＝1,2,3…,j，j表示异形加工特征图像分类的数目，v_k表示节点属于第k类，v_i表示节点属于第i类。

S9、根据新样本属于各个类别的概率，来确定新样本的分类结果，最后输出新样本的分类结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明一种面向复杂产品异形加工特征的智能识别与检索方法，首先获取企业实际生产中的零件异形加工特征图纸电子文档，然后对零件加工特征图纸进行预处理，即图纸复制两份，图纸1中只保留加工特征内容的相关参数，去除其他无关参数，为制作训练数据集1做准备；图纸2中不包含任何相关参数即去除所有标注的参数，为制作训练数据集2做准备。比如实例中加工内容为特征槽中的倒圆角R4、R1，那么预处理时图纸1中只保留R4、R1标注参数，去除其他标注参数，而图纸2中不包含R4、R1及其他参数。设C_p为是否保留异形加工特征内容的相关参数。

然后，将预处理后的图纸打开，缩放到合适比例，打开屏幕截图工具，设定窗口的大小为m×n，活动窗口分别从左到右移动、从上到下以合适间隔移动次数为a、b，但必须保证每张图像中都包含异形加工特征的全部信息或者局部信息，这样就可以获得统一像素大小的图像，这样通过图纸1获得的图像都是带标注尺寸的，通过图纸2获取的图像都是不带特征参数的。

其次，由于通过这种方式获取图像的数量还是比较少，不利于很好地训练 ResNet模型的权重等参数，而且为了避免神经网络出现过拟合，需要输入充足的数据量，因此利用数据增强处理来扩充的数据集，具体包含旋转变换、翻转变换、缩放变换和平移变换等等，将通过图纸1获取的图像通过数据增强处理扩充得到训练数据集1；将通过图纸2获取的图像同样通过数据增强处理，将扩充后的图像补充到训练数据集1中得到训练数据集2，即训练数据集2相比训练数据集1 只是新加入了从图纸2中获取的图像，其余都一样。实例中训练数据集1和训练数据集2如图2所示。

然后，将训练数据集1和训练数据集2分别输入到ResNet中进行模型训练，如图3所示，ResNet中隐含层表示为：

H(x)＝F(x)+x

残差网络的最后一层为Softmax层，Softmax函数得到训练的图像数据集属于各个类别的概率。

再次，根据训练数据集中图像属于各个类别的概率，来决定异形加工特征图像的分类结果。实例中数据集1和数据集2训练模型所得到的各个类别权重等结果分别保存在a1.h5和b2.h5文件中。

采用屏幕截图工具Hypersnap，活动窗口设定为256×256，获取的图像大小为256×256，训练数据集1和训练数据集2都包含相同的20个异形加工特征类别，训练网络采用深度为34层的ResNet即ResNet34，训练时迭代次数设置为 200次，采用训练数据集1进行ResNet34训练时，准确率可达到100％，损失函数值Loss为7.935％；采用训练数据集2进行ResNet34训练时，准确率可达到 100％，损失函数值Loss为2.347％。训练结果如图4所示，其中dataset1表示训练数据集1的训练结果，dataset2表示训练数据集2的训练结果。

然后，为了测试训练模型的泛化能力，输入异形加工特征新的图像样本进行测试。新的图像样本采用与获取训练数据集相同的方式获得，在进行新的异形加工特征图像样本智能识别与检索前，需要对其预处理，包括大小归一化、减去像素平均值和灰度处理。大小归一化即把所有需要进行智能识别与检索的样本图像都归一化为训练数据集图像的大小，实例中训练数据集图像大小设置为256×256 时，新的图像样本得将其大小归一化为256×256；减去像素平均值即新的图像样本中的每个像素减去所有训练数据集图像的平均值；灰度处理即将原始图像转化为灰度图像。

最后，分别调用a1.h5和b2.h5文件对新的异形加工特征样本图像进行智能识别与检索。实例中利用分别属于9个类别，一共50张新的并且经过预处理后的异形加工特征图像进行智能识别与检索来检验其模型的泛化能力，智能识别与检索结果如图5所示，采用数据集1训练得到的a1.h5进行智能识别与检索，准确率可达到98％(49/50)，采用数据集2训练得到的b2.h5进行智能识别与检索，准确率可达到100％(50/50)智能识别与检索，其中特征类别17中红色方框标出图像即为利用数据集1训练未能识别的图像，其原因为图像获取时缩小比例过大，导致参数标注字体太小，再加上训练数据集1中的图像都包含特征加工参数，未包含无参数的图像，学习能力与训练数据集2相比较弱一些，另外我们所有用于训练的图像大小为256×256，只需要将像素大小提升为512×512或者更高，特征类别17中未能识别的图像也将可以正确智能识别与检索，准确率也将提升为 100％(50/50)。此方法只需要输入一张从图纸获得的图片即可知道图像中的异形加工特征的类别，进而可以快速选出加工该特征所需的刀具，不再需要繁琐地输入特征编码来匹配对应的加工刀具，提高企业刀具选配的效率和准确率，减少企业成本。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种面向复杂产品异形加工特征的智能识别与检索方法，其特征在于，包括以下步骤：

S1、获取零件异形加工特征图纸；

S2、对异形加工特征的图纸进行预处理；

S3、将预处理后的图纸通过虚拟相机获得统一像素大小的图像；

S4、将获得的图像通过数据增强处理得到待训练的图像数据集1和数据集2；

S5、将上一层的数据集输入到ResNet；

S6、将ResNet训练的结果保存为.h5文件；

S7、输入特征一张或者几张新的图像样本并进行预处理；

S8、将预处理后的图像输入到.h5文件中；

S9、根据新样本属于各个类别的概率确定新样本的分类结果，最后输出新样本的分类结果。

2.根据权利要求1所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，步骤S2中，预处理的方法为将图纸一分为二，图纸1中保留异形加工特征内容的相关参数；图纸2中不包含任何相关参数，表示如下：

其中，C_p为是否保留异形加工特征内容的相关参数。

3.根据权利要求1所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，步骤S3中，预处理后的图纸利用屏幕截图工具，将其设定活动窗口大小为m×n，活动窗口分别从左到右移动、从上到下以合适间隔移动次数为a、b，表达式为：

其中，m、n分别为图像的宽和高，num为获取图像的总量，size为图像的尺寸大小。

4.根据权利要求1所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，步骤S4中，训练数据集1中包含的图像为从有标注的加工特征图纸中获得，每一张图像都包含异形特征加工内容的一个或者几个参数，能够实现有标注尺寸的异形加工特征图像识别；

训练数据集2在训练数据集1的基础上加入没有尺寸标注的图像，所训练的图像包含有尺寸参数标注的图像和无尺寸参数的图像，能够实现有标注尺寸和无标注尺寸的异形加工特征图像识别。

5.根据权利要求4所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，训练数据集1中图像的总量total1为：

total1＝total₁∪total_i

其中，i≥2，total1为训练数据集1中图像的总量，total₁为只包含异形特征加工内容一个参数的图像总量，total_i为包含异形特征加工内容不少于2个参数的图像总量；

训练数据集2中图像的总量total2为：

其中，total2为训练数据集2中图像的总量，total1为训练数据集1中图像的总量，为无尺寸参数的图像总量。

6.根据权利要求1所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，步骤S5中，ResNet中目标函数采用交叉熵损失函数进行评价，具体为：

其中，y为Softmax层输出的异形加工特征预测归属的类别，y_p是异形加工特征的真实类别。

7.根据权利要求6所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，ResNet中采用Adam优化算法，具体为：

其中，β₁为0.9，β₂为0.9999，ε为10^-8，α为0.001，t表示次数，m_t是对梯度的一阶矩估计，是对梯度的二阶矩估计。

8.根据权利要求1所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，步骤S7中，预处理的方法包括大小归一化、减去像素平均值和灰度处理；大小归一化即把所有新的样本图像都归一化为训练数据集图像的大小；减去像素平均值即新的图像样本中的每个像素减去所有训练数据集图像的平均值。

9.根据权利要求8所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，采用新的图像样本中的每个像素减去所有训练数据集图像的平均值，用于智能识别与检索新的异形加工特征图像样本x计算如下：

其中，为所有训练数据集图像的均值，s为所有训练数据集图像的标准差。

10.根据权利要求1所述的复杂产品异形加工特征的智能识别与检索方法，其特征在于，步骤S6和S8中，所有图像通过ResNet训练的模型和权重保存为.h5文件，新的图像样本通过Softmax函数得到图像属于各个类别的概率，实现异形加工特征的快速智能识别与检索，Softmax函数的表达式为：

其中，i,k＝1,2,3…,j，j表示异形加工特征图像分类的数目，v_k表示节点属于第k类，v_i表示节点属于第i类。