+

CN114077755B - 保护隐私的可控轻量化联邦学习方法、系统和检测方法 - Google Patents

保护隐私的可控轻量化联邦学习方法、系统和检测方法 Download PDF

Info

Publication number
CN114077755B
CN114077755B CN202210057267.9A CN202210057267A CN114077755B CN 114077755 B CN114077755 B CN 114077755B CN 202210057267 A CN202210057267 A CN 202210057267A CN 114077755 B CN114077755 B CN 114077755B
Authority
CN
China
Prior art keywords
model
subnet
global
data
snapshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210057267.9A
Other languages
English (en)
Other versions
CN114077755A (zh
Inventor
孙知信
徐玉华
赵学健
孙哲
胡冰
宫婧
汪胡青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210057267.9A priority Critical patent/CN114077755B/zh
Publication of CN114077755A publication Critical patent/CN114077755A/zh
Application granted granted Critical
Publication of CN114077755B publication Critical patent/CN114077755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了保护隐私的可控轻量化联邦学习方法、系统和检测方法，预先设定模型、参数与模型压缩所需的调节因子。子网利用本地数据对初始模型进行训练，并根据调节因子计算本地模型压缩快照。确定最优节点的压缩模型为基准根据快照与设定的通道恢复阈值进行首轮模型聚合与压缩形成全局压缩模型。子网再利用本地数据对全局压缩模型进行训练，对各子网训练的模型再直接聚合，依次迭代直至收敛。无需收集各子网训练集数据或存储训练集数据从而保证了本地数据的隐私性，并通过可控轻量化联邦学习减少网络通信负担与本地计算负载。

Description

保护隐私的可控轻量化联邦学习方法、系统和检测方法
技术领域
本发明涉及网络流量检测、网络隐私保护等网络安全技术领域，以及联邦学习、数据模型压缩等大数据技术领域，具体涉及保护隐私的可控轻量化联邦学习方法、系统和检测方法。
背景技术
随着网络规模的不断扩大，网络流量不断增加，分布式网络流量检测技术也不断深化。不同的子网的训练数据往往不是独立同分布的，各本地数据自身的差异可能会导致局部和全局模型训练不当，造成大量的虚假预警。因此需要进行多检测器协作的分布式流量检测。跨域的协同检测过程可能需要每个涉及域的详细网络数据，然而直接将网络数据进行交互，会造成网络隐私泄露。现在已有研究团队利用联邦学习技术来实现网络流量检测，通过参数来代替数据本身进行交互从而保护本地网络隐私安全，例如已公开专利“基于联邦学习的流量识别方法及装置”（中国专利公开号CN111970277A）、“一种基于联邦学习的流量分类方法及系统”（中国专利公告号CN111865815B）。但是这些研究直接将各本地模型参数直接进行聚合，没有进行轻量化处理，然而神经网络深度学习模型规模较为庞大，当海量的模型参数直接传输时会给造成较大的网络负担，同时影响分布式网络协作流量检测的可扩展性。
虽然也有团队对联邦学习中的模型压缩方法进行研究，例如专利“基于联邦学习的目标检测方法、装置、设备”（中国专利公开号CN112257774A），但是该研究首先通过全局服务器收集各分布式网络的数据来对模型进行压缩，而在这过程可能就会造成各子网数据隐私的泄露。
发明内容
鉴于现有技术中存在可能会造成各子网数据隐私泄露的技术问题，本发明提供保护隐私的可控轻量化联邦学习方法、系统和检测方法。
实现上述目的，本发明提供如下技术方案：
第一方面，本发明提供保护隐私的可控轻量化联邦学习方法，包括：各子网节点基于本地训练集以及预设的模型及参数训练本地模型；利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；
根据各子网节点的训练集中数据的数目确定最优子网节点，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照；
对所述其它子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；
各子网节点利用本地训练集对全局压缩模型进行训练，直至各对子网节点训练后的模型进行加权聚合后的模型收敛，获得最终的聚合后的模型。
进一步地，所述模型采用卷积神经网络模型。
再进一步地，所述利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括同时满足以下公式的第i层的第c个输出通道确定为需要修剪的输出通道，
Figure 53828DEST_PATH_IMAGE001
其中
Figure 822064DEST_PATH_IMAGE002
表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射 值；
Figure 940192DEST_PATH_IMAGE003
表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的平均值；
Figure 336539DEST_PATH_IMAGE004
，
Figure 899499DEST_PATH_IMAGE006
为调节因子且均大于0，
Figure 14085DEST_PATH_IMAGE007
表示模型第i层的第c个输出通道的平均零激活百分比，
Figure 670326DEST_PATH_IMAGE008
为模型第层所有输出通道的平均零激活百分比的平均值。
再进一步地，所述压缩快照包括需要被修剪的输出通道是第几层神经网络，以及需要修剪的输出通道的ID号。
进一步地，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它各子网节点的压缩快照确定全局快照，包括：在所述其它子网节点的压缩快照中对基准快照中所有需要被修剪的输出通道进行扫描，并统计被修剪的输出通道是否存在于其它子网节点的压缩快照中；
当某个输出通道不存在于其它子网节点的压缩快照中，则记录相应的子网节点，当记录的子网节点数量大于设定的输出通道恢复阈值时，则将该输出通道在基准快照中进行删除；最后获得全局快照。
进一步地，通过以下公式确定最优子网节点：
Figure 186758DEST_PATH_IMAGE009
其中
Figure 903041DEST_PATH_IMAGE010
为第i个子网节点的模型的数据不均衡度，
Figure 504924DEST_PATH_IMAGE011
为第i个子网节点的本地训 练集的数据量占所有训练数据的比例，
Figure 964855DEST_PATH_IMAGE012
为最优子网节点。
进一步地，判断加权聚合后的模型是否收敛的方法包括：确定各子网节点训练的模型的损失函数和损失函数标准差的平均值；
各子网节点训练的模型的损失函数和与损失函数标准差的平均值都小于等于设定阈值，则确定对子网控制器训练后的模型进行加权聚合后的模型收敛。
第二方面，本发明提供保护隐私的可控轻量化联邦学习系统，包括数据层，子网控制层和全局控制层；
所述数据层，用于各子网进行数据转发通信；
所述子网控制层设置多个子网控制器，所述全局控制层设置全局控制器；
所述全局控制器用于向所有子网控制器传输预设的模型及参数与模型压缩所需的调节因子；
所述子网控制器用于进行数据采集并进行特征提取形成本地训练集；接收全局控制器传输的模型、参数和所述调节因子；利用本地训练集、模型及参数训练本地模型，利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；各所述子网控制器将本地训练集中数据的数目、模型和压缩快照传输至全局控制器。
全局控制器根据各子网控制器获得的训练集中数据的数目确定最优子网控制器，以最优子网控制器的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网控制器以外的其它子网控制器生成的压缩快照确定全局快照；
全局控制器对各子网控制器训练的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型。
进一步地，所述子网控制器利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括同时满足以下公式的第i层的第c输出通道确定为需要修剪的通道，
Figure 335793DEST_PATH_IMAGE001
其中
Figure 82033DEST_PATH_IMAGE013
表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射 值；
Figure 780998DEST_PATH_IMAGE003
表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的平均值；
Figure 169254DEST_PATH_IMAGE004
，
Figure 535645DEST_PATH_IMAGE006
为调节因子且均大于0，
Figure 452785DEST_PATH_IMAGE007
表示模型第i层的第c个输出通道的平均零激活百分比，
Figure 904626DEST_PATH_IMAGE014
为模型第i层所有输出通道的平均零激活百分比的平均值。
本发明还提供了保护隐私的可控轻量化联邦学习检测方法，采用如第一方面提供的技术方案任意一种可能的实施方式所提供的保护隐私的可控轻量化联邦学习方法获得模型；
输入采集获取的网络流量数据，利用最终获得的模型进行流量检测。
本发明取得以下有益技术效果：本发明中无需进行各子网数据的收集，而是由各子网节点在本地进行模型训练与压缩，再对各子网节点的压缩模型进行处理与聚合形成能够体现全局数据特性的全局压缩模型。
另外在此过程中，系统可以通过参数调整实现全局压缩模型的规模控制，从而实现可控的轻量化联邦学习，且全局控制器不用收集与掌握具体的流量隐私信息。
通过最终训练的全局压缩模型对本地流量进行检测，整个过程中本地的训练数据都不需要进行传输交互，从而保护了分布式网络的本地数据隐私安全。
附图说明
图1是具体实施例提供的支持隐私保护的可控轻量化联邦学习系统框架示意图；
图2是具体实施例提供的支持隐私保护的可控轻量化联邦学习方法流程示意图。
具体实施方式
以下结合说明书附图和具体实施例对本发明做进一步说明。
实施例1：保护隐私的可控轻量化联邦学习方法，方法流程如图2所示，包括：
各子网节点基于本地训练集以及全局节点预设的模型及参数训练本地模型；利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；
全局节点根据各子网节点的训练集中数据的数目确定最优子网节点，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照；
全局节点对各子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；
各子网节点利用本地训练集对全局压缩模型进行训练，直至各对子网节点训练后的模型进行加权聚合后的模型收敛，获得最终的聚合后的模型。
各子网节点的交换机数据转发通信。全局节点向所有子网节点传输与部署初始化的卷积神经网络深度学习模型、参数与模型压缩所需的调节因子。子网节点利用本地训练数据对初始模型进行训练，并根据调节因子计算本地模型压缩快照。全局节点挑选出各子网节点中的最优子网节点，将最优子网节点的压缩模型为基准快照；根据基准快照、通道恢复阈值和各子网节点的压缩快照确定全局快照；
全局节点对各子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照以及通道恢复阈值，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；
子网节点再利用本地数据对全局压缩模型进行训练，全局节点再将各子网节点训练后的模型直接聚合，依次迭代直至聚合后的模型收敛。由于无需收集各子网训练集数据或存储训练集数据从而保证了本地数据的隐私性，并通过可控轻量化联邦学习减少网络通信负担与本地计算负载。本实施例提供的联邦学习方法具体包括以下步骤：
步骤1，全局节点预先确定初始化的深度学习模型、参数与控制模型规模的压缩参数，即调节因子。
步骤2，子网节点通过本地交换机进行数据采集，并进行特征提取形成本地训练集。子网节点利用本地训练数据集，对初始化的模型进行训练。在第一轮模型聚合通信前，为了减少冗余的模型参数提高通信效率，子网节点根据预设的调节因子，计算本地训练的深度学习网络模型各层中需要剪枝的输出通道，并同时生成各压缩快照，压缩快照中记录各个子网模型中具体的剪枝通道。
本实施例中，模型采用卷积神经网络。
其中步骤2中，各子网节点计算需要剪枝的输出通道形成压缩快照的方法如下：
卷积神经网络中使用多个卷积层，卷积层包含多个卷积核即为多个输出通道，输入训练实例数据与卷积层的卷积核进行卷积运算，得到的值通过激活函数ReLU（RectifiedLinear Units）函数输出多个特征映射值。各输出通道通过激活函数输出的平均特征映射值与平均零激活百分比的均值作为的阈值来进行可控压缩。
定义平均零激活百分比(APZ)来衡量各层输出通道神经元通过ReLU映射后的零激 活百分比。令
Figure 830994DEST_PATH_IMAGE015
表示第i层的第c个输出通道通过ReLU函数后的输出值。那么第i层的第c 个输出通道的平均零激活百分比
Figure 786312DEST_PATH_IMAGE016
则表示为如下公式：
Figure 405512DEST_PATH_IMAGE017
Figure 79070DEST_PATH_IMAGE018
为第k个训练实例在模型第i层的第c个输出通道通过ReLU函数后输出的第j个特征映射值。其中，若Relu映射后的值为0则
Figure 809128DEST_PATH_IMAGE019
为1，否则
Figure 618952DEST_PATH_IMAGE020
的值 为0。M代表
Figure 409054DEST_PATH_IMAGE021
输出特征映射的总数。N代表训练实例的总数。
为了判别卷积神经网络第i层的某个输出通道的参数冗余性是否过大，可以将该 层的
Figure 569908DEST_PATH_IMAGE014
作为阈值进行比较，
Figure 838078DEST_PATH_IMAGE014
为模型第i层所有输出通道的平均零激活百分比的平均 值，
Figure 767988DEST_PATH_IMAGE014
的计算公式如下，其中H为该层的输出通道的数目。
Figure 728991DEST_PATH_IMAGE022
虽然可以通过平均零激活百分比来衡量网络每层输出通道的冗余度，同时也需要 衡量各输出通道的贡献度。因此还需计算每层输出通道通过ReLU函数之后的平均特征映射 值。
Figure 111562DEST_PATH_IMAGE023
表示模型第i层的第c个输出通道通过ReLU函数输出的平均特征映射值，表示 如下：
Figure 183423DEST_PATH_IMAGE024
其中
Figure 233419DEST_PATH_IMAGE018
为第k个训练实例在模型第i层的第c个输出通道通过ReLU函数后输出 的第j个特征映射值。
当
Figure 99743DEST_PATH_IMAGE025
越大时，说明该输出通道的权值贡献度就越大，对于数据分类的影响就 越大。
为了保留有用的输出通道，可以将
Figure 235190DEST_PATH_IMAGE026
与该层的
Figure 845163DEST_PATH_IMAGE027
作为阈值进行比较，
Figure 749665DEST_PATH_IMAGE027
表示模型第层的所有输出通道通过ReLU函数输出的平均特征映射值的平均值，
Figure 786891DEST_PATH_IMAGE027
的计算公式如下。
Figure 403774DEST_PATH_IMAGE028
在计算本地模型需要剪枝的输出通道时，可将平均零激活百分比较高，而权值贡 献度较低的输出通道剪枝，剪枝条件如以下公式。其中
Figure 817438DEST_PATH_IMAGE029
，
Figure 576446DEST_PATH_IMAGE030
为调节因子且均大于0，通过 调整
Figure 50153DEST_PATH_IMAGE029
，
Figure 894612DEST_PATH_IMAGE030
的值可以调整压缩模型的大小。
Figure 846388DEST_PATH_IMAGE031
同时满足以上两个公式的第i层的第c输出通道确定为需要修剪的通道。
然后通过key-value形式的快照，记录本地训练模型需要剪枝的输出通道，其中key记录第几层神经网络，value记录需要修剪的输出通道的ID号。
步骤3，全局节点利用各子网训练集各类数据的数目计算各子网训练性能，并选出最优子网节点。以最优子网节点的压缩快照为基准快照，并设置通道恢复阈值，然后对除最优子网节点的其它所有子网节点的压缩快照进行扫描，当基准快照中某个被修剪的输出通道不存在于其它节点的快照中，且这些节点数量大于设定的通道恢复阈值时，则将该输出通道在基准快照中进行删除，形成全局快照。其次，全局控制器对子网控制器的训练模型进行加权聚合形成全局模型，然后根据全局快照，对聚合的全局模型的各层输出通道进行修剪形成全局压缩模型。
其中步骤3中，根据子网节点的训练集数据总量情况和数据不均衡度计算各子网训练集性能，根据各子网训练集性能选出最优子网节点,具体步骤如下：
当第i个子网节点的本地训练集的数据量占所有训练数据的比例
Figure 725482DEST_PATH_IMAGE032
越大，且第i 个子网节点的数据不均衡度
Figure 104511DEST_PATH_IMAGE033
越小，该子网节点的模型的精度就有可能越高。
Figure 436266DEST_PATH_IMAGE032
与
Figure 926153DEST_PATH_IMAGE033
的 计算公式如下：
Figure 190912DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE035
其中，
Figure 412946DEST_PATH_IMAGE036
为第i个子网节点训练数据数量，
Figure 231998DEST_PATH_IMAGE037
为第j个子网控制器训练数据数量，n 为数据的种类数目；
Figure 525576DEST_PATH_IMAGE038
为第i个子网节点中第j种类别数据的数目；
Figure 113683DEST_PATH_IMAGE039
为第i个子网控制器 中各类数据的平均数目。
因而，可以集合各节点的训练数据数量占所有训练数据总量的比例和数据不均衡 度通过以下公式找到最优节点，
Figure 100094DEST_PATH_IMAGE040
表示第i个节点训练数据的性能评估值。但是最优子网 节点的压缩模型结构只能体现其所对应的子网的训练数据特性。
Figure 406441DEST_PATH_IMAGE041
其中步骤3中，以最优子网节点的压缩模型为基准，进行模型聚合与压缩，具体步骤如下：
首先，将最优节点的压缩快照作为基准快照，对基准快照中所有需要被修剪的输 出通道，在其它子网节点的压缩快照中进行扫描，并统计被修剪的输出通道是否存在于其 它子网节点的压缩快照中。当基准快照中某个被修剪的输出通道不存在于其它子网节点的 压缩快照中，则进行记录，当这些子网节点数量大于设定的通道恢复阈值Z时（
Figure 503710DEST_PATH_IMAGE042
，K 为所有的子网控制器节点数目），则将该输出通道在基准快照中进行删除，获得全局快照。 而当设定值Z越大时，需要从基准快照中删除的通道数会越小。
然后，利用加权平均公式，对所有子网节点训练的模型的权重进行聚合，计算出全局模型。
Figure 946324DEST_PATH_IMAGE043
Figure 103636DEST_PATH_IMAGE044
为第i个子网控制器训练数据数量，
Figure 897280DEST_PATH_IMAGE045
表示第1轮聚合的第i个子网控制器 的模型权值。
其次，根据全局快照，对全局模型的各层输出通道进行剪枝形成全局压缩模型。
因而系统管理员可以通过设定的调节因子、通道恢复阈值来控制全局压缩模型规模大小。
步骤4，各子网节点利用本地数据对全局压缩模型进行训练，当到达规定训练次 数，计算各子网模型t次训练的损失函数值的均值
Figure 532660DEST_PATH_IMAGE046
与标准差
Figure 95360DEST_PATH_IMAGE047
。
Figure 157994DEST_PATH_IMAGE048
Figure 297988DEST_PATH_IMAGE049
其中
Figure 143584DEST_PATH_IMAGE050
为第k个子网控制器第j轮的t次训练的损失函数值的标准差，
Figure 560790DEST_PATH_IMAGE051
为第i 次训练的损失函数，
Figure 59905DEST_PATH_IMAGE046
是第j轮的t次训练的损失函数平均值。
步骤5，对各子网节点训练的模型进行加权聚合，然后计算本轮聚合通信的各子网 节点训练的模型的损失函数和S、损失函数标准差的平均值
Figure 562561DEST_PATH_IMAGE052
，计算公式如下（其中K是子 网节点的个数）：
Figure 274165DEST_PATH_IMAGE053
Figure 936091DEST_PATH_IMAGE054
若各子网节点的模型的损失函数和S、损失函数标准差的平均值
Figure 475613DEST_PATH_IMAGE055
都小于等于 设定阈值，则聚合后的全局模型收敛；，否则子网节点重复步骤4。
可选地，还包括步骤6，各子网节点利用本地数据对收敛的全局模型进行微调，获得微调后的最新模型。
实施例2：与实施例1相对应地，本实施例提供保护隐私的可控轻量化联邦学习系统，该系统框架如图1所示，分为数据层，子网控制层和全局控制层。在数据层，各子网的交换机数据转发通信。而子网层控制器主要负责对本地的交换机进行管理，并对本地数据(本实施例采用网络流量数据)进行检测，彼此之间并互不通信，子网控制器也不会向外传输本地数据以防止隐私泄露。在全局层，全局控制器向所有子网控制器传输与部署初始化的流量检测卷积神经网络深度学习模型、参数与模型压缩所需的调节因子。子网控制器利用本地流量训练数据对初始模型进行训练，并根据调节因子计算本地模型压缩快照。全局控制器挑选出最优节点的压缩模型为基准快照；根据基准快照与设定的通道恢复阈值进行首轮模型聚合与压缩形成全局压缩模型，并将全局压缩模型发送至子网控制器。子网控制器再利用本地数据对全局压缩模型进行训练，全局控制器再直接聚合，依次迭代直至收敛。子网控制器利用收敛模型进行本地检测，由于全局控制器无需收集各子网训练集数据或存储训练集数据从而保证了本地数据的隐私性，并通过可控轻量化联邦学习减少网络通信负担与本地计算负载。本实施例包括以下：
1）子网控制器在全局控制器中进行注册，由全局控制器对子网控制器进行统一管理，然后全局控制器向所有子网控制器传输与部署初始化的流量检测深度学习模型参数与控制模型规模的压缩参数。
2）子网控制器通过本地交换机进行流量数据采集，并进行特征提取形成本地流量检测训练集。子网控制器利用本地训练数据集，对初始化的检测模型进行训练。在第一轮模型聚合通信前，为了减少冗余的模型参数提高通信效率，子网控制器根据接收的压缩参数，计算本地训练的深度学习网络模型各层中需要剪枝的输出通道，并同时生成各压缩快照，压缩快照中记录各个子网模型中具体的剪枝输出通道。本地控制器将本地各类训练数据的数目、各子网控制器训练模型、剪枝快照传输至全局控制器。
其中各子网控制器计算需要剪枝的输出通道形成压缩快照的方法如下：卷积神经网络中使用多个卷积层，卷积层包含多个卷积核即为多个输出通道，输入训练实例数据与卷积层的卷积核进行卷积运算，得到的值通过激活函数ReLU（Rectified Linear Units）函数输出多个特征映射值。各输出通道通过激活函数输出的平均特征映射值与平均零激活百分比的均值作为的阈值来进行可控压缩。
定义平均零激活百分比(APZ)来衡量各层通道神经元通过ReLU映射后的零激活百 分比。令
Figure 590200DEST_PATH_IMAGE015
表示第i层的第c个输出通道通过ReLU函数后的输出值。那么第i层的第c个通 道的平均零激活百分比
Figure 246440DEST_PATH_IMAGE016
表示为如下公式：
Figure 762872DEST_PATH_IMAGE056
Figure 479156DEST_PATH_IMAGE057
为第k个训练实例在模型第i层的第c个输出通道通过ReLU函数后输出的第j 个特征映射值。其中，若Relu映射后的值为0则
Figure 81038DEST_PATH_IMAGE019
为1，否则
Figure 540970DEST_PATH_IMAGE020
的值 为0。M代表
Figure 911908DEST_PATH_IMAGE021
输出特征映射的总数。N代表训练实例的总数。
为了判别卷积神经网络第i层的某个输出通道的参数冗余性是否过大，可以将该 层的
Figure 799093DEST_PATH_IMAGE014
作为阈值进行比较，
Figure 622692DEST_PATH_IMAGE014
为模型第i层所有输出通道的平均零激活百分比的平均 值,
Figure 886314DEST_PATH_IMAGE014
的计算公式如下，其中H为该层的通道数目。
Figure 111759DEST_PATH_IMAGE058
虽然可以通过平均零激活百分比来衡量网络每层通道的冗余度，同时也需要衡量各通道的贡献度。因此还需计算每层输出通道通过ReLU函数之后的平均特征映射值。
Figure 169845DEST_PATH_IMAGE059
表示模型第i层的第c个输出通道通过ReLU函数输出的平均特征映射值， 表示如下：
Figure 746320DEST_PATH_IMAGE060
其中
Figure 548054DEST_PATH_IMAGE018
为第k个训练实例在模型第i层的第c个输出通道通过ReLU函数后输出 的第j个特征映射值。
当
Figure 628005DEST_PATH_IMAGE061
越大时，说明该输出通道的权值贡献度就越大，对于流量分类的影响就 越大。
为了保留有用的输出通道，可以将
Figure 122572DEST_PATH_IMAGE061
与该层的
Figure 920764DEST_PATH_IMAGE027
作为阈值进行比较，
Figure 260609DEST_PATH_IMAGE003
表示模型第i层的所有输出通道通过ReLU函数输出的平均特征映射值的平均值，
Figure 460646DEST_PATH_IMAGE003
的计算公式如下。
Figure 126114DEST_PATH_IMAGE062
在计算本地模型需要剪枝的输出通道时，可将平均零激活百分比较高，而权值贡 献度较低的通道剪枝，剪枝条件如以下公式。其中
Figure 146023DEST_PATH_IMAGE063
、
Figure 555138DEST_PATH_IMAGE030
为调节因子且均大于0，通过调整
Figure 609682DEST_PATH_IMAGE029
，
Figure 180472DEST_PATH_IMAGE030
的值可以调整压缩模型的大小。
Figure 953256DEST_PATH_IMAGE064
同时满足以上两个公式的第i层的第c输出通道确定为需要修剪的通道。
然后通过key-value形式的快照，记录本地训练模型需要剪枝的输出通道，其中key记录第几层神经网络，value记录需要修剪的输出通道的ID号。然后，子网控制器将剪枝快照、子网控制器训练后模型参数矩阵、本地各类训练数据数目、模型训练后的损失函数值传输至全局控制器。
3）在首轮聚合通信时，全局控制器接收到各子网控制器的训练模型、快照和训练数据的数目参数后，利用各子网训练集各类数据的数目计算各子网训练性能，并选出最优子网控制器。以最优子网控制器的压缩快照为基准，并设置输出通道恢复阈值，然后对除最优子网的其它所有子网的压缩快照进行扫描，当基准快照中某个被修剪的输出通道不存在于其它节点的快照中，且这些节点数量大于设定的通道恢复阈值时，则将该输出通道在基准快照中进行删除，形成全局快照。其次，全局控制器对子网控制器的训练模型进行加权聚合形成全局模型，然后根据全局快照，对聚合的全局模型的各层输出通道进行修剪形成全局压缩模型，最后将全局压缩模型发送至各子网控制器。
其中3）中，全局控制器接收到全部子网控制器节点数据总量情况和数据不均衡度计算各子网训练集性能，根据各子网训练集性能选出最优子网控制器节点,具体步骤如下：
当某子网控制器节点的训练数据量占所有训练数据的比例
Figure 900483DEST_PATH_IMAGE032
越大，且第i个子网 节点的数据不均衡度
Figure 809533DEST_PATH_IMAGE033
越小，该节点的子网模型的精度就有可能越高。
Figure 816804DEST_PATH_IMAGE032
与
Figure 811304DEST_PATH_IMAGE033
的计算公 式如下：
Figure 562223DEST_PATH_IMAGE065
Figure 325779DEST_PATH_IMAGE066
其中，
Figure 232512DEST_PATH_IMAGE036
为第i个子网控制器训练数据数量；n为数据的种类数目；
Figure 979888DEST_PATH_IMAGE038
为第i个子 网控制器中第j种类别数据的数目；
Figure 268919DEST_PATH_IMAGE039
为第i个子网控制器中各类数据的平均数目。
因而，全局控制器可以集合各节点的训练数据数量占所有训练数据总量和数据不 均衡度通过以下公式找到最优节点，
Figure 152561DEST_PATH_IMAGE040
表示第i个节点训练数据的性能评估值。但是最优 节点的子网压缩模型结构只能体现其所对应的子网的训练数据特性。
Figure 236055DEST_PATH_IMAGE041
其中全局控制器以最优子网控制器的压缩模型为基准，进行模型聚合与压缩，具体步骤如下：
首先，全局控制器将最优解点的快照最为基准，对基准的快照中所有需要被修剪 的输出通道，在其它子网控制器的快照中进行扫描，并统计被修剪的输出通道是否存在于 其它子网控制器的快照中。当基准快照中某个被修剪的输出通道不存在于其它节点的快照 中，则进行记录，当这些节点数量大于设定的通道恢复阈值是Z时（
Figure 205148DEST_PATH_IMAGE042
，K为所有的子 网控制器节点数目），则将该输出通道在基准快照中进行删除，获得全局快照。而当设定值Z 越大时，需要从基准快照中删除的通道数会越小。
然后，全局控制器对利用加权平均公式，对所有子网控制器的训
练模型的权重进行聚合，计算出全局模型。
Figure 297868DEST_PATH_IMAGE043
Figure 36017DEST_PATH_IMAGE044
为第i个子网控制器训练数据数量，
Figure 555992DEST_PATH_IMAGE045
表示第1轮聚合的第i个子网控制器 的模型权值。
其次，根据全局快照，对全局模型的各层输出通道进行剪枝形成全局压缩模型，并将全局压缩模型发送至各子网控制器。
因而系统管理员可以通过设定压缩参数、通道恢复阈值来控制全局压缩模型规模大小。
4）子网控制器利用本地数据对全局压缩模型进行训练，当到达规定训练次数，计 算各子网模型t次训练的损失函数值的均值
Figure 12381DEST_PATH_IMAGE046
与标准差
Figure 643213DEST_PATH_IMAGE067
。
Figure 501448DEST_PATH_IMAGE068
Figure 192323DEST_PATH_IMAGE049
其中
Figure 870429DEST_PATH_IMAGE069
为第k个子网控制器第j轮的t次训练的损失函数值的标准差，
Figure 304953DEST_PATH_IMAGE070
为第i 次训练的损失函数，
Figure 17694DEST_PATH_IMAGE046
是第j轮的t次训练的损失函数平均值。然后，子网控制器将损失函 数值的均值、损失函数值的标准差、本地训练模型发送给全局控制器。
5）为了使各子网模型的收敛达到平衡状态，全局控制器对各子网控制器的训练模 型进行加权聚合，然后计算本轮聚合通信的各子网训练模型的损失函数和S、损失函数标准 差的平均值
Figure DEST_PATH_IMAGE071
，计算公式如下（其中K是子网控制器的个数）：
Figure 145050DEST_PATH_IMAGE053
Figure 576031DEST_PATH_IMAGE054
若各子网检测模型的损失函数和S、损失函数标准差的平均值
Figure 548666DEST_PATH_IMAGE055
都小于等于 设定阈值，则将聚合后的模型与收敛信息发送至子网控制器，否则将聚合后的模型与非收 敛信息发送至各子网控制器，子网控制器重复步骤4）。
可选地，还包括6）各子网控制器则利用本地数据对全局模型进行微调，然后利用微调后的最新模型对本地流量进行检测。当检测出异常流量时，各子网控制器通过有效措施对异常攻击进行有效缓解。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.保护隐私的可控轻量化联邦学习方法，其特征在于，包括：
各子网节点基于本地训练集以及全局节点预设的模型及参数训练本地模型；各子网节点利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；
全局节点根据各子网节点的训练集中数据的数目与数据不均衡度确定最优子网节点，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照；
全局节点对各子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；
各子网节点利用本地训练集对全局压缩模型进行训练，直至各对子网节点训练后的模型进行加权聚合后的模型收敛，获得最终的聚合后的模型；
所述利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括将同时满足以下公式的第i层的第c个输出通道确定为需要修剪的输出通道，
Figure 842247DEST_PATH_IMAGE001
其中
Figure 521490DEST_PATH_IMAGE002
表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射值；
Figure 280498DEST_PATH_IMAGE003
表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的均值；
Figure 754205DEST_PATH_IMAGE004
，
Figure 598664DEST_PATH_IMAGE005
为调节因子且均大于0，
Figure 550440DEST_PATH_IMAGE006
表示模型第i层的第c个输出通道的平均零激活百分比，
Figure 695113DEST_PATH_IMAGE007
为模型第i层所有输出通道的平均零激活百分比的平均值。
2.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照，包括：在所述其它子网节点的压缩快照中对基准快照中所有需要被修剪的输出通道进行扫描，并统计被修剪的输出通道是否存在于其它子网节点的压缩快照中；
当某个输出通道不存在于其它子网节点的压缩快照中，则记录相应的子网节点，当记录的子网节点数量大于设定的通道恢复阈值时，则将该输出通道在基准快照中进行删除；最后获得全局快照。
3.根据权利要求2所述的保护隐私的可控轻量化联邦学习方法，其特征在于，所述压缩快照包括需要被修剪的输出通道是第几层神经网络，以及需要修剪的输出通道的ID号。
4.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，通过以下公式确定最优子网节点：
Figure 74142DEST_PATH_IMAGE008
其中
Figure 405897DEST_PATH_IMAGE009
为第i个子网节点的数据不均衡度，
Figure 161364DEST_PATH_IMAGE010
为第i个子网节点的本地训练集的数据量占所有训练数据的比例，
Figure 629385DEST_PATH_IMAGE011
表示第i个节点训练数据的性能评估值，
Figure 585840DEST_PATH_IMAGE012
为最优子网节点。
5.根据权利要求4所述的保护隐私的可控轻量化联邦学习方法，其特征在于，第i个子网节点的本地训练集的数据量占所有训练数据的比例
Figure 529525DEST_PATH_IMAGE013
与第i个子网节点的数据不均衡度
Figure 964049DEST_PATH_IMAGE014
的计算公式如下：
Figure 411210DEST_PATH_IMAGE015
Figure 132042DEST_PATH_IMAGE016
其中，
Figure 703969DEST_PATH_IMAGE017
为第i个子网控制器训练数据数量，
Figure 676604DEST_PATH_IMAGE018
为第j个子网控制器训练数据数量，n为数据的种类数目；K为所有的子网控制器节点数目；
Figure 243851DEST_PATH_IMAGE019
为第i个子网控制器中第j种类别数据的数目；
Figure 135584DEST_PATH_IMAGE020
为第i个子网控制器中各类数据的平均数目。
6.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，判断加权聚合后的模型是否收敛的方法包括：确定各子网节点训练的模型的损失函数和与损失函数标准差的平均值；
各子网节点训练的模型的损失函数和与损失函数标准差的平均值都小于等于设定阈值，则确定对子网控制器训练后的模型进行加权聚合后的模型收敛。
7.保护隐私的可控轻量化联邦学习系统，其特征在于，包括数据层，子网控制层和全局控制层；
所述数据层，用于各子网进行数据转发通信；
所述子网控制层设置多个子网控制器，所述全局控制层设置全局控制器；
所述全局控制器用于向所有子网控制器传输预设的模型及参数与模型压缩所需的调节因子；
所述子网控制器用于进行数据采集并进行特征提取形成本地训练集；接收全局控制器传输的模型、参数和所述调节因子；利用本地训练集、模型及参数训练本地模型，利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；各所述子网控制器将本地训练集中数据的数目、模型和压缩快照传输至全局控制器；
全局控制器根据各子网控制器获得的训练集中数据的数目与数据不均衡度确定最优子网控制器，以最优子网控制器的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网控制器以外的其它子网控制器生成的压缩快照确定全局快照；
全局控制器对各子网控制器训练的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；
所述子网控制器利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括同时满足以下公式的第i层的第c输出通道确定为需要修剪的通道，
Figure 929228DEST_PATH_IMAGE001
其中
Figure 830188DEST_PATH_IMAGE021
表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射值；
Figure 121448DEST_PATH_IMAGE022
表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的均值；
Figure 449662DEST_PATH_IMAGE004
，
Figure 465022DEST_PATH_IMAGE005
为调节因子且均大于0，
Figure 169673DEST_PATH_IMAGE023
表示模型第i层的第c个输出通道的平均零激活百分比，
Figure 586879DEST_PATH_IMAGE024
为模型第层所有输出通道的平均零激活百分比的平均值。
8.保护隐私的可控轻量化联邦学习流量数据检测方法，其特征在于，采用如权利要求1~6任意一项权利要求所述的保护隐私的可控轻量化联邦学习方法获得模型；
输入采集获取的网络流量数据，利用最终获得的模型进行流量检测。
CN202210057267.9A 2022-01-19 2022-01-19 保护隐私的可控轻量化联邦学习方法、系统和检测方法 Active CN114077755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210057267.9A CN114077755B (zh) 2022-01-19 2022-01-19 保护隐私的可控轻量化联邦学习方法、系统和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057267.9A CN114077755B (zh) 2022-01-19 2022-01-19 保护隐私的可控轻量化联邦学习方法、系统和检测方法

Publications (2)

Publication Number Publication Date
CN114077755A CN114077755A (zh) 2022-02-22
CN114077755B true CN114077755B (zh) 2022-05-31

Family

ID=80284532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057267.9A Active CN114077755B (zh) 2022-01-19 2022-01-19 保护隐私的可控轻量化联邦学习方法、系统和检测方法

Country Status (1)

Country Link
CN (1) CN114077755B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114492847B (zh) * 2022-04-18 2022-06-24 奥罗科技(天津)有限公司 一种高效个性化联邦学习系统和方法
CN117592094A (zh) * 2023-10-20 2024-02-23 深圳信息职业技术学院 隐私数据集处理方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355739A (zh) * 2020-03-06 2020-06-30 深圳前海微众银行股份有限公司 横向联邦学习的数据传输方法、装置、终端设备及介质
CN112070207A (zh) * 2020-07-31 2020-12-11 华为技术有限公司 一种模型训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272945A1 (en) * 2019-02-21 2020-08-27 Hewlett Packard Enterprise Development Lp System and method of decentralized model building for machine learning and data privacy preserving using blockchain

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355739A (zh) * 2020-03-06 2020-06-30 深圳前海微众银行股份有限公司 横向联邦学习的数据传输方法、装置、终端设备及介质
CN112070207A (zh) * 2020-07-31 2020-12-11 华为技术有限公司 一种模型训练方法及装置

Also Published As

Publication number Publication date
CN114077755A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN114077755B (zh) 保护隐私的可控轻量化联邦学习方法、系统和检测方法
CN114091356A (zh) 一种联邦学习方法及装置
CN105577685A (zh) 云计算环境中的自主分析入侵检测方法及系统
CN110113353A (zh) 一种基于cvae-gan的入侵检测方法
CN113469376B (zh) 基于区块链的联邦学习后门攻击的防御方法和装置
CN112420187A (zh) 一种基于迁移联邦学习的医疗疾病分析方法
CN106412912A (zh) 一种面向车联网的节点信任评估方法
CN108632269A (zh) 基于c4.5决策树算法的分布式拒绝服务攻击检测方法
CN105791213A (zh) 一种策略优化装置及方法
CN110022531A (zh) 一种本地化差分隐私城市垃圾数据报告和隐私计算方法
CN104270372A (zh) 一种参数自适应的网络安全态势量化评估方法
CN116502171B (zh) 一种基于大数据分析算法的网络安全信息动态检测系统
CN113904872A (zh) 一种针对匿名服务网站指纹攻击的特征提取方法及系统
CN111698241A (zh) 物联网云平台系统、验证方法和数据管理方法
US20210051170A1 (en) Method and apparatus for determining a threat using distributed trust across a network
CN116861994A (zh) 一种抗拜占庭攻击的隐私保护联邦学习方法
CN115834409B (zh) 面向联邦学习的安全聚合方法及系统
CN116597498A (zh) 一种基于区块链和联邦学习的公平人脸属性分类方法
CN119997005B (zh) 一种卫星互联网流量安全防护方法及系统
CN116319437A (zh) 一种网络连通性检测方法及装置
Aljammal et al. Performance Evaluation of Machine Learning Approaches in Detecting IoT-Botnet Attacks.
CN116132081A (zh) 基于集成学习的软件定义网络ddos攻击协同防御方法
KR102561702B1 (ko) 시스템 장애 모니터링 방법 및 장치
TWI797808B (zh) 機器學習系統及方法
Chen et al. Edge-based protection against malicious poisoning for distributed federated learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载