CN115496124B - 一种基于极小极大熵协同训练的高炉故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于极小极大熵协同训练的高炉故障诊断方法，属于工业过程监控、建模和仿真领域。首先，使用深度神经网络构建一个双视图特征提取器对高炉的历史数据与待测数据进行特征提取，其输出分别送入两个分类器以计算特征与每种炉况代表向量的余弦相似度。通过分类器和特征提取器分别交替最大化和最小化待测高炉数据的条件熵来实现对历史高炉数据的知识迁移。当两个分类器对高炉炉况识别结果一致，且至少一个分类器持高置信度时，将输出炉况标签分配于待测高炉数据。本发明解决了由于高炉故障样本少，数据分布随工况改变波动较大而造成的传统故障诊断方法准确率低的问题，能够广泛应用于对故障诊断有高可信度和准确度要求的工业系统。

Description

一种基于极小极大熵协同训练的高炉故障诊断方法

技术领域

本发明属于工业过程监控、建模和仿真领域，特别涉及一种基于极小极大熵协同训练的高炉故障诊断方法。

背景技术

高炉炼铁是铁素物质流转换的核心单元，是钢铁制造过程中能耗最大和生产成本最高的环节。随着高炉炼铁过程中工艺与技术的不断进步、仪表与自动化技术的持续性发展现代高炉炼铁呈现出规模大、结构复杂、生产单元之间耦合强及投资巨大等特点。高炉炼铁过程中的异常波动（或事故）若不及时发现，往往导致产品质量严重下降，或者延误生产计划的正常执行，造成巨大的经济损失和人员伤亡。高炉故障诊断对保证高炉实现安全高效生产具有重要意义。

在高炉炼铁的实际生产过程中，为了避免出现严重后果，在高炉系统运行出现一定故障预兆时，操作人员会对送风制度、布料制度或炉热制度进行调整，以避免故障的发生。因此，在现有的操作制度与运行情况下，构建高炉的故障诊断系统面临故障样本少、数据不平衡、标记缺失，以及标注样本代价昂贵且费时等问题，此外，由于原料产地不固定的问题，国内钢厂的高炉炼铁进料多数采用“百家矿”的形式。在不同的时间，进料的种类及其配比会发生明显变化，其次，高炉的生产运行过程存在多种工况切换。这些因素都造成了高炉数据随时间变化而发生改变，数据分布波动较大，训练数据与待测数据存在分布差异，影响故障诊断的可靠性与准确率。

目前应用于高炉的故障诊断方法可大致分为两种，即专家系统与基于数据驱动的智能故障诊断方法，专家系统对于相关知识与规则等先验知识有较高要求，而高炉涉及到的物理与化学反应极其复杂，内部所发生实际反应的准确情况难以获知。而且随着分布式控制系统各种智能化仪表以及控制设备在现代工业过程中的广泛使用，大量的过程数据被采集并存储下来。但是这些包含过程运行状态信息的数据在专家系统中往往没有被有效地利用。

另一方面，传统的基于数据驱动的智能故障诊断方法的成功应用有两个前提条件：1）大量有标签数据 2）训练与测试数据来自同一数据分布。但在高炉生产过程中，有标签的故障样本极少，也很难获得，而且由于矿石原料的品位与生产工况的不同，数据会发生较大的波动，导致训练数据与测试数据往往不能满足同一分布的条件。因此，现有的异常炉况诊断方法距离实际应用还有很大差距，需要探索新路径新方法。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于极小极大熵协同训练的高炉故障诊断方法。该方法首先，使用深度神经网络构建一个双视图特征提取器对高炉的历史数据与待测数据进行特征提取，然后其输出分别送入两个分类器以计算特征与每种炉况代表向量的余弦相似度。通过分类器和特征提取器分别交替最大化和最小化待测高炉数据的条件熵来实现对历史高炉数据的知识迁移。当两个分类器对高炉炉况识别结果一致，并且至少一个分类器持高置信度时，将输出的高炉炉况分配于待测高炉数据。利用实际工业高炉数据进行的实验表明，该方法在诊断高炉炼铁异常炉况方面取得了良好的效果。本发明方法，不仅利用深度神经网络提高了诊断精度，还利用极小极大熵方法与协同训练方法解决了由于高炉故障样本少，数据分布随工况改变波动较大而造成的传统故障诊断方法准确率低的问题，能够广泛应用于对故障诊断有高可信度和准确度要求的工业系统。

一种基于极小极大熵协同训练的高炉故障诊断方法，步骤如下：

步骤一：利用高炉历史数据对深度神经网络进行权值训练，该神经网络中特征提取器中最后一层全连接层中的向量值即为所提取的特征值，将高炉历史数据的故障诊断误差与双视图的权重内积的L1范数总和作为损失函数，在训练达到预设的迭代次数或损失函数低于预设值之后将权值固定；

步骤二：神经网络形成一种从高炉过程变量到高炉故障类别的非线性映射，通过神经网络计算有标签高炉数据进行分类，并计算分类损失值；

步骤三：将无标签高炉输入神经网络，计算神经网络输出值的熵值；

步骤四：使用随机梯度下降法，以最小化分类损失值，最大化熵值为目标对神经网络中的分类器参数进行更新，使分类器的权重向量向无标签的待测高炉数据偏移，获得待测高炉数据中的类中心；

步骤五：高炉待测数据的特征向量向相应的类别中心聚拢，来实现对待测高炉数据的低密度分离，使用随机梯度下降法，以最小化分类损失值且最小化熵值为目标对神经网络中的特征提取器参数进行更新；

步骤六：当两个分类器对高炉炉况识别结果一致，并且至少一个分类器对此结果持高置信度时，将输出的高炉炉况标签值分配于待测高炉数据；

步骤七：将获得炉况标签值的待测高炉数据从无标签高炉数据集中移除，并将其加入有标签高炉数据集；

步骤八：对步骤二到步骤七进行循环迭代，直到对所有无标签的待测高炉数据完成炉况识别。

步骤一所述的深度神经网络的结构如下：深度神经网络包含输入层、隐含层以及双视图输出层三部分；特征提取器包括输入层、隐含层两部分，其中输入层是高炉过程变量参数输入层，所述的参数为表征高炉生产状态的工业过程参数，包括透气性指数、冷风流量、热风流量、顶压、冷风压力、热风压力，一个高炉样本由35个时刻的高炉过程变量参数组成的矩阵构成；双视图输出层是高炉生产过程相关的故障类别层，输出包括难行、悬料、管道、崩料、炉热、炉凉；隐含层用于建立一个从高炉过程变量到高炉故障类别的非线性映射，因而从高炉历史故障数据中学习高炉故障诊断知识，建立高炉故障诊断模型；同一层的神经元没有连接，层与层之间的神经元全连接，每个连接都有一个权值，表征神经元之间联系程度的强弱；将样本在特征提取器中最后一个全连接层的输出特征通过不同的权重矩阵W ₁ 与W ₂ 分为两个互斥的视图以满足协同训练的条件；

(1)

其中d是权重向量的维度，为了便于参数优化，使用权重矩阵内积的L1范数来近似代替这个约束，双视图在神经网络中具体表现为两个不同的全连接层，其输出分别送往两个分类器进行高炉炉况识别；对双视图的特征向量进行归一化操作，当分类器C1和C2的预测结果一致，并且当至少有一个分类器对预测结果持高置信度时，给无标签目标样本分配伪标签，模型需要在两个分类器的输入特征不同的条件下对有标签高炉数据进行正确分类，对网络进行预训练的损失函数定义为最小化标记数据的分类损失和L1范数；目标函数定义如下，

(2)

是标准的交叉熵损失函数，D _l 是有标签高炉数据集，(x,y)为高炉样本与对应的炉况标签值，代表求取期望值函数，y为高炉数据炉况标签值，p(x)是神经网络输出层对高炉样本炉况的识别结果。

步骤四所述的分类器参数进行更新的步骤如下：在模型中引入了熵值，用于学习在待测高炉数据中具有分类信息的特征，熵值计算过程如下：

(3)

其中D _u 表示无标签高炉数据集，y为分类器输出的高炉样本对应炉况标签值；代表求取期望值函数，为高炉样本x在输出层中属于第i类炉况的概率值，k代表高炉炉况类别数；

通过熵的最大化来增加分类器权值W和高炉待测数据特征之间的相似性，从而使线性分类器的权重向量W趋近于待测高炉数据分布，获得待测高炉数据中的类别中心，

(4)

代表分类器的权重参数，是其相应的最优解，是超参数以调节熵值和分类误差的影响。

步骤五所述的特征提取器参数进行更新的步骤如下：通过降低特征提取器的分类损失和熵值来生成所需要的具有分类信息特征，

(5)

代表特征提取器的权重参数，是其相应的最优解，是超参数以调节熵值和分类误差的影响。

步骤八所述的循环迭代：分类器和特征提取器之间对抗性学习，同时减小分类损失的基础上，对分类器进行最大熵训练，对特征提取器进行最小熵训练，此过程不断进行循环迭代以保证模型性能。

所述的方法，应用于具有多种工况切换，进料种类多变，矿石品质不稳当，数据分布波动大且数据标签少的高炉炼铁生产过程。

本发明的有益效果：

针对高炉炼铁过程中数据波动大，标签缺失，数据不平衡等特点与科学难题，构建了基于极小极大熵协同训练的高炉故障诊断方法，充分挖掘高炉数据中蕴含的知识，解决了高炉历史数据多，但难以直接训练模型用于待测数据的问题，同时具有高可靠性与高准确率的优势，提高了炼铁过程的自动化、智能化水平。

附图说明

图1所示为本发明方法的流程框图。

图2所示为待测数据原始分布经t-sne可视化结果显示。

图3所示为本发明方法对高炉待测数据进行高炉故障分类后经t-sne可视化结果显示。

具体实施方式

本发明的目的在于提供一种基于加权联合分布适配神经网络的高炉故障诊断方法，流程框图如图1所示，考虑到高炉生产信息的非线性与非高斯性质，利用深度神经网络可以无限逼近于非线性函数的优势进行特征提取，模型结构包括一个双视图特征提取器，然后对应设置了两个分类器，用于计算特征与每个类中心的余弦相似度，当两个分类器对高炉炉况识别结果一致，并且至少一个分类器持高置信度时，将输出的高炉炉况分配于待测高炉数据。通过熵的最大化来增加分类器权值和高炉待测数据特征之间的相似性，从而使线性分类器的权重向量趋近于待测高炉数据分布。通过降低特征提取器的分类损失和熵值使高炉待测数据特征向类中心聚集以生成在高炉待测数据上有分类信息的特征。最后通过循环迭代的方式保证模型在高炉故障诊断方面的性能。本方法有助于实现高炉故障诊断中的知识与决策增强，保证高炉故障诊断的可信度与精确度。下面利用某钢铁厂2号高炉采集的高炉故障数据来验证本发明方法的有效性。

高炉从上到下分为炉喉、炉身、炉腰、炉腹、炉缸五部分，焦炭、矿石和熔剂在下降的过程中会炉内不同部位经历不同变化，直到到达炉缸底部完全转化为铁水和炉渣。由于高炉体积庞大且炉内发生复杂的化学反应，保证其安全平稳运行是极其重要的。高炉故障主要分为4类：难行（difficult）、悬料（hanging）、管道（channeling）、崩料（collapsing）。在生产过程中采集到的数据包括透气性指数、冷风流量、热风流量、顶压、冷风压力、热风压力等29个参数。在实际生产中，采用三班倒制度来组织工人对高炉炼铁过程进行监控与操作管理，这耗费了很大的人力成本，而且控制方式比较粗放，主要凭借几个参数来进行炉况判断，难以及时诊断出高炉运行过程中存在的问题并及时进行精确控制。本发明方法可以一定程度上解决这个问题，具有实际应用价值。

接下来结合该具体过程对本发明的实施步骤进行详细阐述：

一、构建深度神经网络进行特征提取

（1）深度神经网络包含输入层、隐含层以及双视图输出层三部分。特征提取器包括输入层、隐含层两部分，其中输入层是高炉过程变量参数输入层，包括透气性指数、冷风流量、热风流量、顶压、冷风压力、热风压力等表征高炉生产状态的工业过程参数，考虑到高炉数据的时序性，我们对输入的高炉样本进行了扩展，一个高炉样本由35个时刻的高炉过程变量参数组成的矩阵构成。双视图输出层是高炉故障类别层，输出包括难行、悬料、管道、崩料、炉热、炉凉等与高炉生产过程相关的高炉故障，隐含层的作用是建立一个从高炉过程变量到高炉故障类别的非线性映射，因而可以从高炉历史故障数据中学习高炉故障诊断知识，建立高炉故障诊断模型。同一层的神经元没有连接，层与层之间的神经元是全连接的，每个连接都有一个权值，表征神经元之间联系程度的强弱。对于不同工业应用领域而言，对深度神经网络隐含层的层数要求是不同的，定义隐藏层大于等于2的神经网络即为深度神经网络，深度神经网络的数学模型为：

其中，为神经网络第i层第j个隐藏层单元的输出，记为神经网络第i层，则h ₀ 为神经网络输入层，h _k+1 为神经网络输出层；j的取值根据网络第i层的神经元的个数决定，记第i层的神经元个数为Z _i ，则每层j的取值为1到Z _i ；为第i层第j个神经元对应的权值矩阵；为第i层第j个神经元对应的偏置项，b _k+1 为输出层单元对应的偏置项，和分别是隐层单元和输出单元的激活函数，y代表神经网络的输出。

（2）我们将样本在特征提取器中最后一个全连接层的输出特征通过不同的权重矩阵W ₁ 与W ₂ 分为两个互斥的视图以满足协同训练的条件。

(1)

其中d是权重向量的维度。为了便于参数优化，我们使用权重矩阵内积的L1范数来近似代替这个约束，双视图在神经网络中具体表现为两个不同的全连接层，其输出分别送往两个分类器进行高炉炉况识别。由于分类器的权重向量的方向往往可以代表相关类别的归一化特征，因此我们对双视图的特征向量进行归一化操作，以分类器C1为例，它的权重向量为，k代表高炉炉况总数。C1将归一化的特征向量作为输入，输出为，其中是C1相应视图的输出值。然后，C1的输出被送入softmax层，得到各类高炉炉况的概率分布，我们将其表示为

(8)

表示softmax函数，为高炉数据，分类器C2的工作过程与C1基本相同，这里不再重复。最后，当C1和C2的预测结果一致，并且当至少有一个分类器对预测结果持高置信度时，我们给无标签目标样本分配伪标签。

模型需要在两个分类器的输入特征不同的条件下对有标签高炉数据进行正确分类。因此，对网络进行预训练的损失函数可以定义为最小化标记数据的分类损失和L1范数。目标函数可以定义如下。

(2)

是标准的交叉熵损失函数，D _l 是有标签高炉数据集，(x,y)为高炉样本与对应的炉况标签值，代表求取期望值函数，y为高炉数据炉况标签值，p(x)是神经网络输出层对高炉样本炉况的识别结果。

二、对分类器进行极大熵训练

由于初始有标签高炉数据集中没有待测高炉数据，分类器的权重向量将偏离待测高炉数据分布。为了学习在待测高炉数据中具有分类信息的特征，我们在模型中引入了熵值。

(3)

其中D _u 表示无标签高炉数据集，y为分类器输出的高炉样本对应炉况标签值；代表求取期望值函数，为高炉样本x在输出层中属于第i类炉况的概率值，k代表高炉炉况类别数。

为了获得高炉待测数据中的类中心，我们通过熵的最大化来增加分类器权值W和高炉待测数据特征之间的相似性，从而使线性分类器的权重向量W趋近于待测高炉数据分布。为了获得待测高炉数据中的类别中心。

(4)

代表分类器的权重参数，是其相应的最优解，是超参数以调节熵值和分类误差的影响。

三、对特征提取器进行极小熵训练

为了获得在待测高炉数据中具有分类信息的特征，我们需要将待测高炉数据特征聚集在类中心。我们通过降低特征提取器的分类损失和熵值来生成所需要的具有分类信息特征。

(5)

代表特征提取器的权重参数，是其相应的最优解，是超参数以调节熵值和分类误差的影响。

四、进行迭代求解

对步骤二与三进行循环迭代，我们的方法可以被表述为分类器和特征提取器之间的对抗性学习。在其同时减小分类损失的基础上，对分类器进行最大熵训练，而对特征提取器进行最小熵训练。为了实现对抗性学习，我们将此过程不断进行循环迭代以保证模型性能。

五、代入工业实际数据进行验证

我们取某炼铁厂容积为2650m³的2号高炉在2017年10月的生产数据作为高炉历史数据即源域数据，将11月份的高炉生产数据作为待测数据即目标域数据，其中包含35个参数，采样率一致。将训练所得到的模型在待测数据即11月份的高炉生产数据进行有效性验证。

图2，3所示分别为11月份高炉待测数据的原始分布以及本发明方法对高炉待测数据进行高炉故障分类后经t-sne可视化结果显示。从故障诊断结果可以看出模型效果很好。分类效果明显，能够准确地对高炉故障样本进行分类，因此可以运用于实际工业生产中。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于极小极大熵协同训练的高炉故障诊断方法，其特征在于，步骤如下：

步骤一：利用高炉历史数据对深度神经网络进行权值训练，该神经网络中特征提取器中最后一层全连接层中的向量值即为所提取的特征值，将高炉历史数据的故障诊断误差与双视图的权重内积的L1范数总和作为损失函数，在训练达到预设的迭代次数或损失函数低于预设值之后将权值固定；

步骤二：神经网络形成一种从高炉过程变量到高炉故障类别的非线性映射，通过神经网络计算有标签高炉数据进行分类，并计算分类损失值；

步骤三：将无标签高炉输入神经网络，计算神经网络输出值的熵值；

步骤四：使用随机梯度下降法，以最小化分类损失值，最大化熵值为目标对神经网络中的分类器参数进行更新，使分类器的权重向量向无标签的待测高炉数据偏移，获得待测高炉数据中的类中心；

步骤五：高炉待测数据的特征向量向相应的类别中心聚拢，来实现对待测高炉数据的低密度分离，使用随机梯度下降法，以最小化分类损失值且最小化熵值为目标对神经网络中的特征提取器参数进行更新；

步骤六：当两个分类器对高炉炉况识别结果一致，并且至少一个分类器对此结果持高置信度时，将输出的高炉炉况标签值分配于待测高炉数据；

步骤七：将获得炉况标签值的待测高炉数据从无标签高炉数据集中移除，并将其加入有标签高炉数据集；

步骤八：对步骤二到步骤七进行循环迭代，直到对所有无标签的待测高炉数据完成炉况识别。

2.根据权利要求1所述的方法，其特征在于，步骤一所述的深度神经网络的结构如下：深度神经网络包含输入层、隐含层以及双视图输出层三部分；特征提取器包括输入层、隐含层两部分，其中输入层是高炉过程变量参数输入层，所述的参数为表征高炉生产状态的工业过程参数，包括透气性指数、冷风流量、热风流量、顶压、冷风压力、热风压力，一个高炉样本由35个时刻的高炉过程变量参数组成的矩阵构成；双视图输出层是高炉生产过程相关的故障类别层，输出包括难行、悬料、管道、崩料、炉热、炉凉；隐含层用于建立一个从高炉过程变量到高炉故障类别的非线性映射，因而从高炉历史故障数据中学习高炉故障诊断知识，建立高炉故障诊断模型；同一层的神经元没有连接，层与层之间的神经元全连接，每个连接都有一个权值，表征神经元之间联系程度的强弱；将样本在特征提取器中最后一个全连接层的输出特征通过不同的权重矩阵W ₁ 与W ₂ 分为两个互斥的视图以满足协同训练的条件；

(1)

其中d是权重向量的维度，为了便于参数优化，使用权重矩阵内积的L1范数来近似代替这个约束，双视图在神经网络中具体表现为两个不同的全连接层，其输出分别送往两个分类器进行高炉炉况识别；对双视图的特征向量进行归一化操作，当分类器C1和C2的预测结果一致，并且当至少有一个分类器对预测结果持高置信度时，给无标签目标样本分配伪标签，模型需要在两个分类器的输入特征不同的条件下对有标签高炉数据进行正确分类，对网络进行预训练的损失函数定义为最小化标记数据的分类损失和L1范数；目标函数定义如下，

(2)

是标准的交叉熵损失函数，D _l 是有标签高炉数据集，(x,y)为高炉样本与对应的炉况标签值，代表求取期望值函数，y为高炉数据炉况标签值，p(x)是神经网络输出层对高炉样本炉况的识别结果。

3.根据权利要求2所述的方法，其特征在于，步骤四所述的分类器参数进行更新的步骤如下：在模型中引入了熵值，用于学习在待测高炉数据中具有分类信息的特征，熵值计算过程如下：

(3)

其中D _u 表示无标签高炉数据集，y为分类器输出的高炉样本对应炉况标签值；代表求取期望值函数，为高炉样本x在输出层中属于第i类炉况的概率值，k代表高炉炉况类别数；

通过熵的最大化来增加分类器权值W和高炉待测数据特征之间的相似性，从而使线性分类器的权重向量W趋近于待测高炉数据分布，获得待测高炉数据中的类别中心，

(4)

代表分类器的权重参数，是其相应的最优解，是超参数以调节熵值和分类误差的影响。

4.根据权利要求3所述的方法，其特征在于，步骤五所述的特征提取器参数进行更新的步骤如下：通过降低特征提取器的分类损失和熵值来生成所需要的具有分类信息特征，

(5)

代表特征提取器的权重参数，是其相应的最优解，是超参数以调节熵值和分类误差的影响。

5.根据权利要求1所述的方法，其特征在于，步骤八所述的循环迭代：分类器和特征提取器之间对抗性学习，同时减小分类损失的基础上，对分类器进行最大熵训练，对特征提取器进行最小熵训练，此过程不断进行循环迭代以保证模型性能。

6.根据权利要求1所述的方法，其特征在于，应用于具有多种工况切换，进料种类多变，矿石品质不稳当，数据分布波动大且数据标签少的高炉炼铁生产过程。