+

WO2018131409A1 - 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体 - Google Patents

情報処理方法、情報処理装置及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
WO2018131409A1
WO2018131409A1 PCT/JP2017/045684 JP2017045684W WO2018131409A1 WO 2018131409 A1 WO2018131409 A1 WO 2018131409A1 JP 2017045684 W JP2017045684 W JP 2017045684W WO 2018131409 A1 WO2018131409 A1 WO 2018131409A1
Authority
WO
WIPO (PCT)
Prior art keywords
layers
layer
similarity
information processing
models
Prior art date
Application number
PCT/JP2017/045684
Other languages
English (en)
French (fr)
Inventor
祐介 内田
茂之 酒澤
有希 永井
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to CN201780082338.8A priority Critical patent/CN110168572A/zh
Priority to JP2018561890A priority patent/JP6708755B2/ja
Priority to EP17891539.3A priority patent/EP3570220B1/en
Publication of WO2018131409A1 publication Critical patent/WO2018131409A1/ja
Priority to US16/424,108 priority patent/US11586909B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988—Graph matching

Definitions

  • the present invention relates to a technique for determining modification of a model parameter in a neural network.
  • a neural network is a mathematical model that aims to express characteristics in the brain of a living body by computer simulation. This refers to all models in which an artificial neuron (unit) that forms a network by synaptic connections changes the strength of synaptic connections through learning and has problem-solving ability.
  • Patent Documents 1 to 3 and Non-Patent Documents 1 to 3 disclose techniques for optimizing the structure of a neural network.
  • Patent Document 2 discloses a technique for efficiently setting the weight of a large-scale convolutional neural network.
  • patent document 3 is disclosing the technique which detects an acoustic event using a neural network.
  • Non-Patent Documents 1 and 2 disclose convolutional neural networks suitable for image recognition.
  • Non-Patent Document 3 discloses a technique for estimating the part of speech of a word using a neural network.
  • Non-Patent Document 2 discloses that learning for two to three weeks is required using four GPUs (Graphics Processing Unit). For this reason, Non-Patent Documents 4 and 5 disclose diverting part of model parameters that have been learned in advance, or re-learning with the model parameters that have been learned in advance as initial values.
  • the present invention provides a technique for detecting a modification even if a part of a model of a neural network is modified or relearned.
  • an information processing method reads a layer structure and a parameter of each layer from two neural network models, respectively, and displays the two neural network models as a graph in a hidden layer. Comparing each layer configured in the above by a breadth-first search or a depth-first search in order from the input layer, and determining the degree of coincidence of the models of the two neural networks based on the similarity between the layers. Yes.
  • the modification can be detected.
  • the general functional block diagram of a neural network Explanatory drawing of the information processing method by one Embodiment. Explanatory drawing showing the neural network with which the some layer was comprised by the graph form. Explanatory drawing showing the relationship of convolution with input data and a feature map. Explanatory drawing showing the production
  • FIG. 1 is a general functional configuration diagram of a neural network.
  • a neural network is basically represented by a superposition (or graph structure) of a plurality of types of layers.
  • the neural network receives teacher data in which input data and correct labels are associated with each other. Then, the neural network learns model parameters so that the final output result for the input data matches the correct answer label (approximate the output for the input according to the task).
  • the forward-propagating neural network has three layers: an input layer (input layer), a hidden layer (hidden layer), and an output layer (output layer). Propagate in one direction from the input layer to the output layer.
  • the hidden layer can be composed of multiple layers. Each layer has a plurality of units (neurons), and a parameter for an input from a unit in the front layer to a unit in the rear layer is referred to as “weight”. Learning is to calculate an appropriate “weight” as a parameter for this input.
  • FIG. 1 also shows a convolutional neural network (Convolutional Neural Network, CNN) as a forward propagation type neural network.
  • CNN convolutional Neural Network
  • Learning means to update the weight of each layer optimally using the error between the output data from the output layer for the input data and the correct answer label for the input data.
  • a “loss function” is defined. Errors are propagated one after another from the output layer side to the input layer side by the “error back propagation method”, whereby the weight of each layer is updated little by little. Finally, a convergence calculation is performed to adjust the weight of each layer to an appropriate value so as to reduce the error.
  • FIG. 1 shows a model learned in a neural network.
  • the “model” is a layer in which “layer structure” and “parameter” are stored in association with each layer inherent in the hidden layer.
  • the layer structure is indicated by the type of layer, the filter size, the number of filters, and the like.
  • the parameter is an element of a learned weight (weight filter).
  • FIG. 2 is an explanatory diagram of an information processing method executed by the information processing apparatus according to this embodiment.
  • the information processing apparatus of the present embodiment compares two neural network models.
  • the information processing apparatus executes the following two steps.
  • the layer structure and parameters for each layer are read from each neural network model.
  • models There are various types of models depending on the deep learning framework. For example, in the case of Caffe, the network configuration is described in a prototxt file, and learned parameters are stored in a caffemodel file (see Non-Patent Document 11). In the case of TensorFlow, the learned model is stored in a ckpt file (see Non-Patent Document 12). Further, in the case of Chainer, a learned model is saved in the HDF5 format (see Non-Patent Document 13). These neural network models are essentially represented by "layer structure" and "parameters", even in different forms. In S1, these different models are read and stored internally in a common format. In S1, these various models are read in a comparable format.
  • FIG. 3 is an explanatory diagram showing a neural network in which a plurality of layers are configured in a graph.
  • a plurality of layers are configured in a graph shape as a forward propagation type.
  • hidden layer types include the following. Convolutional layer Activation function Pooling layer Full-connected layer
  • each layer configured in the form of a graph in the hidden layer is traced and compared in order from the input layer (lowermost layer) by “width-first search” or “depth-first search”.
  • the breadth-first search (breadth first search) is a search starting from the layer closest to the input layer.
  • the depth-first search (depth first search) is a search from the input layer to the output layer as long as it is connected.
  • ⁇ Determination of the types of layers to be compared> when the “types” of the layers are different, the similarity is set to 0, and the comparison from the layer to the subsequent layer is not executed. That is, if the types of layers are different, it can be determined that there is no possibility of modification as a relationship between models (model non-identity determination). Specifically, the two models are compared in order from the input layer (lowest layer) to determine whether or not they are the same. For both models, the next layer is selected and compared while tracing by breadth-first search or depth-first search.
  • the comparison can be skipped assuming that the layers are the same. For example, it is assumed that the input and the output are the same for the layer that only outputs the output after changing the order of the inputs. For example, a fully connected layer that only changes the order of input and a 1 ⁇ 1 pooling layer are applicable.
  • the convolutional layer can be considered as a kind of all the coupling layers, all the coupling layers that output the same output as the convolutional layer can be determined to be the same.
  • the simplest method is to determine only the “kind” between layers.
  • the layer structure and parameters of the model may be altered. Therefore, when the types of layers to be compared are the same, the layer structure and parameters are further compared to execute the same determination between the layers. Specifically, when the types of the layers are the same, the model determination of the layers is finally performed based on the layer structure and the similarity of the parameters. Below, the same determination of the same kind of layers is explained in detail.
  • FIG. 4 is an explanatory diagram showing the convolution relationship between the input data and the feature map.
  • the process in FIG. 4 is performed by a convolution layer (same for all coupling layers).
  • one feature map is generated by using one weight filter for input data.
  • the sizes of the input data, the weight filter, and the feature map are as follows.
  • Input data 32 x 32 x 3 elements
  • Weight filter 5 x 5 x 5 elements (parameters)
  • Feature map N number of 28 ⁇ 28 element weight filters are prepared and used as parameters. That is, “weight” means N weight filters. However, the bias term is not considered here.
  • FIG. 5 is an explanatory diagram showing generation of a feature map using a weight filter.
  • one weight filter composed of 5 ⁇ 5 ⁇ 3 elements is applied to input data, and the sum of the products of the elements is used as the value of one element of the feature map. . Then, the same weight filter is moved with respect to the input data to generate one feature map.
  • the number of elements to be moved (movement amount) is referred to as “stride”. It is also possible to provide a zero-padding region in which the element 0 is filled at the peripheral edge (edge) of the input data. As a result, the same number of weight filters can be applied to the edge elements of the input data.
  • FIG. 6 is an explanatory diagram showing the relationship between N weight filters and N-stage feature maps.
  • the weight filter is composed of N pieces. According to FIGS. 4 and 5, one feature map is generated from one weight filter. Therefore, as shown in FIG. 6, an N-stage feature map is generated from the N weight filters.
  • one 5 ⁇ 5 ⁇ 3 filter is applied to 32 ⁇ 32 (image size) ⁇ 3 (RGB channel) input.
  • convolution is performed using N (plural) filters.
  • a convolution layer with 128 filters has 76 ⁇ 128 parameters. In the simplest case, this parameter is used as a feature vector, and a distance is calculated using some scale.
  • the model can be reused (modified) by intentionally changing the filter structure while maintaining the effect of the weight filter. For example, it can be modified such that (1) the size of the filter is increased, (2) the order of the filters is changed, and (3) additional filters are deleted.
  • the same determination can be made even when the structure of the weight filter is changed.
  • FIG. 7 is an explanatory diagram of processing for estimating the true filter size from the weighting filter of the convolution layer.
  • the true filter size may be 2 ⁇ 2, 3 ⁇ 3, 4 ⁇ 4.
  • a 5 ⁇ 5 ⁇ 3 weight filter is applied as a filter for an input having a plurality of channels (for example, RGB).
  • channels for example, RGB
  • absolute values are taken for each of 5 ⁇ 5 parameters for each channel, and three absolute values at the same position of each filter corresponding to the three channels are added.
  • the true filter size is 3 ⁇ 3. This is estimated from the minimum rectangle that is equal to or greater than the threshold value for the absolute value of each parameter of the filter.
  • the threshold value is set to 0.2, and thereby the true filter size is estimated to be 3 ⁇ 3.
  • the parameter of the weight filter to be compared is corrected to the estimated true filter size.
  • the true filter sizes in the convolution layers to be compared do not match, it is determined that the convolution layers are not the same. For example, when the filter size of one convolution layer is 3 ⁇ 3 ⁇ 3 and the filter size of the other convolution layer is 5 ⁇ 5 ⁇ 3, it is determined that these convolution layers do not match.
  • each weight filter is regarded as one vector, and each convolution layer is expressed as a vector set. For example, it is assumed that the filter size of one convolution layer is 5 ⁇ 5 ⁇ 3 and the number of filters is 128, the filter size of the other convolution layer is 5 ⁇ 5 ⁇ 3, and the number of filters is 64.
  • FIG. 8 is an explanatory diagram for comparing parameters within the true filter size between convolutional layers.
  • each filter parameter is regarded as a feature vector, and a distance between a set of feature vectors of one convolution layer and a set of feature vectors of the other convolution layer is calculated.
  • a “bipartite graph” is constructed by calculating a pair of feature vectors whose distance is equal to or less than a predetermined threshold between two feature vector sets. Then, the maximum number of matches calculated by solving the maximum matching problem from the bipartite graph is set as the similarity.
  • each feature vector can be quantized, and the quantized histogram can be used as the feature vector of the convolution layer, and its distance can be used.
  • each feature vector can be quantized, and the similarity between the quantized histograms can be made the similarity between vector sets.
  • a bipartite graph is obtained by dividing a vertex (parameter) set into two subsets so that there are no edges between vertices in each set.
  • vertex parameter
  • V1 and V2 When divided into two vertex sets V1 and V2, there is no edge between vertices between V1 and V2, but there is an edge between any two points between V1 and V2.
  • the number of matches refers to a number in which no two sides belonging to the edge set are adjacent to each other, and the maximum matching refers to the number of edges in the edge set that has the largest number of edges.
  • the similarity between the vector sets of the convolution layers to be compared is defined as the similarity between the convolution layers. And when the similarity of convolution layers is more than a predetermined threshold value, it can determine with two convolution layers being the same.
  • the total coupling layer is expressed by a parameter of the number of output dimensions ⁇ (number of input dimensions + 1) (the number of output dimensions ⁇ the number of input dimensions when no bias term is included).
  • the (input dimension number + 1) -dimensional weight (coefficient for input) is regarded as a feature vector, and the entire connection layer is expressed as a set of feature vectors.
  • ⁇ Comparison between activated layers> When comparing the activation layers, if the types of the activation layers are the same and the distance between the parameters is equal to or less than a predetermined threshold, the distance is calculated as the similarity. In other cases, the similarity is 0. And when the similarity of activation layers is more than a predetermined threshold value, it can determine with two activation layers being the same.
  • the type of the activation layer is any of linear combination, sigmoid function, hard sigmoid function, tanh function (hyperbolic tangent function), soft sine function, soft plus function, and ReLU (Rectified Linear Unit).
  • ⁇ Comparison between pooling layers> When comparing pooling layers, when the types of pooling layers are the same and the distance between parameters is equal to or less than a predetermined threshold, the distance is calculated as the similarity. In other cases, the similarity is 0. And when the similarity of pooling layers is more than a predetermined threshold value, it can determine with two pooling layers being the same.
  • the type of the pooling layer is either a maximum value (max) pooling or an average value (average) pooling.
  • the parameters are filter size and stride (interval for applying the filter).
  • one neural network is the one in which the other neural network has been modified or re-learned Can be determined.
  • a multilayer neural network only a part of another neural network may be reused. Therefore, when a predetermined number of layers or more match, one neural network can determine that the other neural network has been modified or relearned.
  • the predetermined number can be 1 or more. Further, instead of determining whether the entire neural network is modified, it is possible to determine whether each layer matches or does not match and output the determination result. That is, it can be configured to determine whether a certain layer of one neural network is used in the other neural network.
  • one neural network determines the type of the layer as a determination condition, such as determining that a part of the other neural network has been altered or relearned. Can be used.
  • the predetermined number can be 1.
  • the modification can be detected by comparing the models.
  • FIG. 9 is a configuration diagram of the information processing apparatus according to the present embodiment.
  • the reading unit 10 reads the layer structure and parameters for each layer of the models of the two neural networks to be compared.
  • the determination unit 20 determines the modification by comparing the layer structures and parameters of the models of the two neural networks read by the reading unit 10.
  • the information processing method or information processing apparatus described above can also be realized by a computer program.
  • the program When the program is executed by one or more processors of the computer, the computer causes the computer to execute the information processing method described above.
  • the program when the program is executed by one or more processors of the computer, the program causes the computer to function as the information processing apparatus described above.
  • the computer program is stored on a non-transitory computer readable storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

情報処理方法は、２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、を含んでいる。

Description

情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
　本発明は、ニューラルネットワーク(Neural Network)におけるモデルパラメータの改変を判定する技術に関する。
　近年、画像認識や音声認識、自然言語処理の分野において、ニューラルネットワークが注目されている。ニューラルネットワークとは、生体の脳における特性を計算機上のシミュレーションによって表現することを目指した数学モデルをいう。シナプスの結合によってネットワークを形成した人工ニューロン（ユニット）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般をいう。
　特許文献１～３及び非特許文献１～３は、ニューラルネットワークの構造を最適化する技術を開示している。また、特許文献２は、大規模な畳み込みニューラルネットワークの重みを効率的に設定する技術を開示している。更に、特許文献３は、ニューラルネットワークを用いて、音響イベントを検出する技術を開示している。更に、非特許文献１及び２は、画像認識に適した畳み込みニューラルネットワークを開示している。更に、非特許文献３は、ニューラルネットワークを用いて、単語の品詞を推定する技術を開示している。
　大規模なニューラルネットワークのモデルパラメータに対しては、長時間の学習が必要となる。例えば、非特許文献２は、４つのＧＰＵ(Graphics Processing Unit)を用いて２～３週間の学習が必要であることを開示している。このため、非特許文献４及び５は、予め学習済みのモデルパラメータの一部を流用することや、予め学習済のモデルパラメータを初期値として再学習することを開示している。
特開２０１５－１１５１０号公報 特開２０１５－５２８３２号公報 特開２０１５－５７６３０号公報
A. Krizhevsky, I. Sutskever and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," NIPS'12. K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," ICLR'15. X. Ma and E. Hovy, "End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF," ACL'16. S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," NIPS'15. W. Liu, et al., "SSD: Single Shot MultiBox Detector," ECCV'16. P.-T. Yu, H.-H. Tsai, and J.-S. Lin, "Digital watermarking based on neural networks for color images," in Signal Processing, vol. 81, no. 3,2001. M. Elarbi, C. B. Amar, and H. Nicolas, "Video Watermarking Based on Neural Networks," in Proc. of ICME, 2006. Fei-Fei Li & Andrej Karpathy & Justin Johnson、Lecture 7、Convolutional Neural Networks、27 Jan 2016、[online]、［平成２９年１月４日検索］、インターネット＜URL:http://cs231n.stanford.edu/slides/winter1516_lecture7.pdf＞ 正則化、[online]、［平成２９年１月５日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E6%AD%A3%E5%89%87%E5%8C%96＞ A. Krogh and J. A. Hertz, "A Simple Weight Decay Can Improve Generalization," in Proc. of NIPS, 1992. Caffe、[online]、［平成２９年１月５日検索］、インターネット＜URL:http://caffe.berkeleyvision.org/＞ TensorFlow、[online]、［平成２９年１月５日検索］、インターネット＜URL:https://www.tensorflow.org/＞ Chainer、[online]、［平成２９年１月５日検索］、インターネット＜URL:http://chainer.org/＞
　前述したように、大規模なニューラルネットワークを用いて、全てのモデルパラメータを最初から学習する場合、大量の計算コストや労力が必要となる。そのため、研究機関が、学習済みのモデルパラメータを、流用可能なライセンス形態で、配布する場合もある。
　しかしながら、商用サービスにおいては、学習済みのモデルパラメータ自体が、そのサービスにおけるコアな技術であり、一般には流用が禁止される。
　例えば画像等の不正利用であれば、目視による発見が容易である。しかしながら、モデルパラメータの不正利用を目視により発見することは容易ではない。
　本発明は、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、改変を検出する技術を提供するものである。
　本発明の一態様によると、情報処理方法は、２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、を含んでいる。
　本発明によれば、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、改変を検出することができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
ニューラルネットワークの一般的な機能構成図。 一実施形態による情報処理方法の説明図。 複数の層がグラフ状に構成されたニューラルネットワークを表す説明図。 入力データと特徴マップとの畳み込みの関係を表す説明図。 重みフィルタを用いた特徴マップの生成を表す説明図。 Ｎ個の重みフィルタとＮ段の特徴マップとの関係を表す説明図。 畳み込み層の重みフィルタから推定された真のフィルタサイズの説明図。 畳み込み層同士の比較方法の説明図。 一実施形態による情報処理装置の構成図。
　以下、本発明の実施形態について、図面を用いて詳細に説明する。
　図１は、ニューラルネットワークの一般的な機能構成図である。
　ニューラルネットワークには、様々な構成があるが、ニューラルネットワークは、基本的には複数種類の層の重ね合わせ（又はグラフ構造）で表現される。ニューラルネットワークには、入力データと正解ラベルとが対応付けられた教師データが入力される。そして、ニューラルネットワークは、入力データに対する最終的な出力結果が正解ラベルと一致するように、モデルパラメータを学習する（タスクに応じて入力に対する出力を近似させる）。
　図１によれば、順伝播型ニューラルネットワークは、入力層(input layer)と、隠れ層(hidden layer)と、出力層(output layer)との３つの層を有し、入力されたデータは、入力層から出力層へ向けて一方向に伝播する。隠れ層は、複数の層から構成され得る。各層は、複数のユニット（ニューロン）を持ち、前方層のユニットから後方層のユニットへの入力に対するパラメータを、「重み(weight)」と称す。学習とは、この入力に対するパラメータとして、適切な「重み」を算出することにある。図１には、順伝播型ニューラルネットワークとして、畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)も示されている。
　学習とは、入力データに対する出力層からの出力データと、当該入力データに対する正解ラベルとの誤差を用いて、各層の重みを最適に更新することをいう。その誤差を算出するために、「損失関数」(loss function)が定義される。誤差は、「誤差逆伝播法」によって、出力層側から入力層側へ向けて次々に伝播され、これにより各層の重みを少しずつ更新していく。最終的に、誤差が小さくなるように、各層の重みを適切な値に調整する収束計算を実行する。
　また、図１には、ニューラルネットワークの中で学習されたモデルが表されている。「モデル」とは、隠れ層に内在する層毎に、「層構造」、「パラメータ」を対応付けて記憶したものである。層構造は、層の種類やフィルタサイズ、フィルタ数等により示される。パラメータは、学習された重み（重みフィルタ）の要素である。
　図２は、本実施形態における情報処理装置が実行する情報処理方法の説明図である。
　本実施形態の情報処理装置は、２つのニューラルネットワークのモデルの比較を行う。情報処理装置は、以下の２つのステップを実行する。
　（Ｓ１）各ニューラルネットワークのモデルから、各層について層構造とパラメータとを読み込む。モデルとしては、深層学習フレームワークによって、様々な形式がある。例えば、Caffeの場合、ネットワーク構成がprototxtファイルで記述され、学習済みのパラメータはcaffemodelファイルに保存される（非特許文献１１参照）。また、TensorFlowの場合、学習済みのモデルはckptファイルに保存される（非特許文献１２参照）。更に、Chainerの場合、HDF5フォーマットにて学習済みのモデルが保存される（非特許文献１３参照）。これらニューラルネットワークのモデルは、異なる形式であっても、本質的には、「層構造」及び「パラメータ」によって表現される。Ｓ１では、これら異なる形式のモデルを読み込み、内部的には共通のフォーマットで記憶する。Ｓ１では、これら様々な形式のモデルを比較可能な形式で読み込む。
　（Ｓ２）２つのニューラルネットワークのモデルの層構造及びパラメータを比較して同一か否かを判定する。両方のモデルについて、同一と判定された場合、一方のモデルが改変または再学習されて、他方のモデルが生成された可能性がある。
　図３は、複数の層がグラフ状に構成されたニューラルネットワークを表す説明図である。
　図３によれば、複数の層がグラフ状に、順伝播型として構成されている。隠れ層の種類としては、例えば以下のようなものがある。
　　　畳み込み層(convolutional layer)
　　　活性化層(activation function)
　　　プーリング層(pooling layer)
　　　全結合層(full-connected layer)
　Ｓ２によれば、隠れ層でグラフ状に構成された各層同士を、入力層（最下層）から順に「幅優先探索」又は「深さ優先探索」で辿って比較していく。幅優先探索(breadth first search)とは、入力層に近い層から順に探索するものである。深さ優先探索(depth first search)とは、入力層から繋がる限り出力層まで探索するものである。
　＜比較する層同士の種類の判定＞
　一形態によると、層同士の「種類」が異なる場合、類似度を０とし、当該層から後段の層における比較を実行しない。即ち、層同士の種類が異なると、モデル同士の関係として改変された可能性はない（モデルの非同一判定）と判定することができる。具体的には、２つのモデルについて、入力層（最下位層）から順に層同士の種類を比較して、同一か否かを判定する。両モデルについて、幅優先探索又は深さ優先探索によって辿りながら、次の層同士を選択して比較していく。
　また、層同士の「種類」が異なっていても、当該層について、入力と出力とが同一である場合、その層は同一のものであるとして、その比較をスキップすることもできる。例えば、入力の順序を入れ替えて出力するだけの層も、入力と出力とが同一であるとする。例えば、入力の順序を入れ替えるだけの全結合層や、１×１のプーリング層が該当する。
　例えば、比較する層同士の「種類」が異なる場合（例えば畳み込み層と活性化層）、２つの層は不一致であると判定される。但し、畳み込み層は、全結合層の一種と考えることができるために、畳み込み層と同一の出力を出力する全結合層は、同一と判定することができる。
　上記のとおり、最も簡単な方法としては、層同士の「種類」のみを判定する。しかしながら、層同士は同じ種類のものであっても、モデルの層構造及びパラメータが改変される場合もある。そこで、比較する層同士の種類が同一である場合、更に、層構造及びパラメータを比較して、層同士の同一判定を実行する。具体的には、層同士の種類が同一である場合、更に、層構造やパラメータの類似度から、最終的に、層同士のモデルの同一判定を実行する。以下では、同じ種類の層同士の同一判定について、具体的に詳述する。
　＜畳み込み層同士の比較＞
　最初に、畳み込み層における層構造（フィルタ数）及びパラメータ（重みフィルタ）について説明する。
　図４は、入力データと特徴マップとの畳み込みの関係を表す説明図である。
　図４における処理は、畳み込み層（全結合層も同様）によって実行される。図４によれば、入力データに対して、１個の重みフィルタを使用することで１つの特徴マップを生成している。なお、本実施形態において、入力データ、重みフィルタ及び特徴マップのサイズは以下の通りである。
　　　入力データ　：３２×３２×３個の要素
　　　重みフィルタ：５×５×５個の要素　（パラメータ）
　　　特徴マップ　：２８×２８個の要素
重みフィルタは、Ｎ個分用意され、これがパラメータとなる。即ち、「重み」とは、Ｎ個の重みフィルタを意味する。但し、ここでは、バイアス項は考慮しないものとする。
　図５は、重みフィルタを用いた特徴マップの生成を表す説明図である。
　図５に示す様に、５×５×３個の要素からなる１個の重みフィルタを、入力データに充てて、その各要素の積の和を、特徴マップの１個の要素の値とする。そして、同じ重みフィルタを、入力データに対して移動させて、１枚の特徴マップを生成する。ここで、移動させる要素の数（移動量）を「ストライド(stride)」と称す。入力データの周囲の縁（ふち）には、要素０を埋めたゼロパディング(zero-padding)の領域を設けることもできる。これによって、入力データの縁の要素にも、同数の重みフィルタをあてることができる。
　図６は、Ｎ個の重みフィルタとＮ段の特徴マップとの関係を表す説明図である。
　重みフィルタは、Ｎ個から構成される。図４及び図５によれば、１個の重みフィルタから１枚の特徴マップが生成されている。したがって、図６に示す様に、Ｎ個の重みフィルタからＮ段の特徴マップが生成される。
　前述した図４及び図５によれば、３２×３２（画像サイズ）×３（ＲＧＢチャンネル）の入力に対し、５×５×３のフィルタ１つを適用している。このフィルタは５×５×３＋１＝７６個のパラメータを持つ。通常、畳み込み層では、Ｎ個（複数）のフィルタを用いて畳み込みを実行する。例えば、１２８個のフィルタを持つ畳み込み層は、７６×１２８個のパラメータを持つ。最も単純には、このパラメータを特徴ベクトルとして、何らかの尺度を用いて距離を計算し、一定以下の距離であれば一致したと判定することができる。
　しかしながら、重みフィルタの効果を維持したまま、意図的にフィルタの構造を変更することで、モデルの再利用（改変）を行うことができる。例えば、（１）フィルタのサイズを大きくしたり、（２）フィルタの順序を変更したり、（３）フィルタを追加削除する、ように改変することができる。これに対し、本実施形態によれば、重みフィルタの構造が変更された場合であっても、同一判定をすることができる。
　畳み込み層同士を比較する場合、重みフィルタのパラメータによって判定するべく、以下のＳ２１１～Ｓ２１４のステップを実行する。
　（Ｓ２１１）畳み込み層の重みフィルタについて真の（実際の）フィルタサイズを推定する。具体的には、重みフィルタにおける各チャンネル（例えばＲＧＢ＝３）のパラメータの絶対値を累積する。その累積値が所定閾値以上となる箇所（パラメータ）を全て含む最小の矩形を、真のフィルタサイズとして推定する。
　図７は、畳み込み層の重みフィルタから真のフィルタサイズを推定する処理の説明図である。
　例えばフィルタが５×５のサイズであれば、真のフィルタサイズは、２×２，３×３，４×４である可能性がある。図７によれば、複数のチャンネル（例えばＲＧＢ）を持つ入力に対するフィルタとしては、５×５×３の重みフィルタが適用されている。この場合、各チャンネルに対する５×５のパラメータそれぞれについて絶対値を取り、３つのチャネルに対応する各フィルタの同一位置の３つの絶対値を加算する。図７のように、中心の３×３以外のパラメータの絶対値が小さい場合、真のフィルタサイズは３×３であると推定することができる。これは、フィルタの各パラメータの絶対値について、閾値以上となる最小の矩形から推定される。図７では、閾値を０．２とし、これにより、真のフィルタサイズを３×３であると推定している。
　（Ｓ２１２）比較する重みフィルタのパラメータを推定された真のフィルタサイズに修正する。比較する畳み込み層同士における真のフィルタサイズが一致しなかった場合、畳み込み層同士は同一でないと判定される。例えば一方の畳み込み層のフィルタサイズが３×３×３であり、他方の畳み込み層のフィルタサイズが５×５×３である場合、これら畳み込み層同士は、一致しないと判定される。
　（Ｓ２１３）比較する畳み込み層同士について、真のフィルタサイズが一致する場合、次にパラメータ同士を比較する。このとき、各重みフィルタのパラメータを１つのベクトルとみなして、各畳み込み層をベクトル集合として表現する。例えば、一方の畳み込み層のフィルタサイズが５×５×３、フィルタ数が１２８であり、他方の畳み込み層のフィルタサイズが５×５×３、フィルタ数が６４である場合を想定する。
　図８は、畳み込み層同士の真のフィルタサイズ内のパラメータを比較する説明図である。
　パラメータ同士の比較は、各フィルタのパラメータを特徴ベクトルとみなし、一方の畳み込み層の特徴ベクトルの集合と、他方の畳み込み層の特徴ベクトルの集合との間の距離を算出する。例えば、２つの特徴ベクトル集合間について、距離が所定閾値以下となる特徴ベクトルのペアを算出することによって「二部グラフ」を構成する。そして、二部グラフから最大マッチング問題を解くことによって算出した最大のマッチ数を、類似度とする。また、画像認識におけるBag-of-Visual Wordsを用いて、各特徴ベクトルを量子化し、量子化ヒストグラムを畳み込み層の特徴ベクトルとし、その距離を用いることもできる。更に、各特徴ベクトルを量子化し、量子化ヒストグラム間の類似度を、ベクトル集合間の類似度とすることもできる。
　二部グラフとは、頂点（パラメータ）集合を２つの部分集合に分割し、各集合内の頂点同士の間には辺が無いようにしたものである。２つの頂点集合Ｖ１，Ｖ２に分割したとき、Ｖ１同士・Ｖ２同士の頂点間には辺が存在しないが、Ｖ１とＶ２間の任意の２点間に辺が存在するグラフである。マッチ数とは、辺集合に属するいずれの２辺も隣接していない数を言い、最大マッチングとは、辺集合のうち辺の数が最大のものをいう。
　（Ｓ２１４）比較する畳み込み層同士のベクトル集合間の類似度を、畳み込み層同士の類似度とする。そして、畳み込み層同士の類似度が、所定閾値以上である場合、２つの畳み込み層は、同一であると判定することができる。
　＜全結合層同士の比較＞
　全結合層同士を比較する場合、全結合層に対する重みを特徴ベクトルとみなして、全結合層をベクトル集合として表現する。そして、比較する全結合層同士のベクトル集合間の類似度（例えばベクトル集合間の距離）を、全結合層同士の類似度とする。そして、全結合層同士の類似度が、所定閾値以上である場合、２つの全結合層は、同一であると判定することができる。
　全結合層がバイアス項を含む場合、全結合層は、出力次元数×（入力次元数＋１）のパラメータで表現される（バイアス項を含まない場合は、出力次元数×入力次元数）。このパラメータに対し、（入力次元数＋１）次元の重み（入力に対する係数）を、特徴ベクトルとみなし、この特徴ベクトルの集合として全結合層を表現する。
　＜活性化層同士の比較＞
　活性化層同士を比較する場合、活性化層の種類が同じであり、パラメータ同士の距離が所定閾値以下である場合、当該距離を類似度として算出する。それ以外の場合、類似度を０とする。そして、活性化層同士の類似度が、所定閾値以上である場合、２つの活性化層は、同一であると判定することができる。活性化層の種類は、線形結合、シグモイド関数、ハードシグモイド関数、ｔａｎｈ関数(hyperbolic tangent function)、ソフトサイン関数、ソフトプラス関数、ＲｅＬＵ(Rectified Linear Unit)のいずれかである。
　＜プーリング層同士の比較＞
　プーリング層同士を比較する場合、プーリング層の種類が同じであり、パラメータ同士の距離が所定閾値以下である場合、当該距離を類似度として算出する。それ以外の場合、類似度を０とする。そして、プーリング層同士の類似度が、所定閾値以上である場合、２つのプーリング層は、同一であると判定することができる。プーリング層の種類は、最大値(max)プーリング、平均値(average)プーリングのいずれかである。パラメータは、フィルタサイズ及びストライド（フィルタを適用する間隔）である。
　そして、一方のニューラルネットワークにおいて比較が行われなかった層がなく、比較が行われた各層の比較結果がすべて一致した場合、一方のニューラルネットワークは、他方のニューラルネットワークが改変又は再学習されたものと判定することができる。
　また、多層ニューラルネットワークにおいては、他のニューラルネットワークの一部だけを再利用することがあり得る。したがって、所定数以上の層が一致すると、一方のニューラルネットワークは、他方のニューラルネットワークが改変又は再学習されたものと判定することができる。なお、所定数は１以上とすることができる。また、ニューラルネットワーク全体の改変を判定するのではなく、層単位で一致・不一致を判定し、判定結果を出力する構成とすることもできる。つまり、一方のニューラルネットワークのある層が、他方のニューラルネットワークにおいて流用されているかを判定する構成とすることもできる。
　また、たとえば、一致する畳み込み層が所定数以上あると、一方のニューラルネットワークは、他方のニューラルネットワークの一部が改変又は再学習されたものと判定するといった様に、層の種類を判定条件に使用することができる。なお、所定数は１とすることができる。
　また、比較した各層について一致、不一致を判定するのではなく、類似度を合計して、一方のニューラルネットワークと他方のニューラルネットワークの類似度を判定するものとすることもできる。
　以上、詳細に説明したように、本実施形態によれば、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、モデル同士を比較することによって改変を検出することができる。
　図９は、本実施形態による情報処理装置の構成図である。読込部１０は、比較対象の２つのニューラルネットワークのモデルの各層について、層構造とパラメータとを読み込む。判定部２０は、読込部１０が読み込んだ、２つのニューラルネットワークのモデルの層構造及びパラメータを比較して改変を判定する。
　また、上述した情報処理方法又は情報処理装置は、コンピュータプログラムにより実現することもできる。当該プログラムは、コンピュータの１つ以上のプロセッサで実行されると、当該コンピュータに、上述した情報処理方法を実行させる。或いは、当該プログラムは、コンピュータの１つ以上のプロセッサで実行されると、当該コンピュータを上述した情報処理装置として機能させる。コンピュータプログラムは、一時的ではないコンピュータ可読記憶媒体に記憶される。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１７年１月１３日提出の日本国特許出願特願２０１７－００３８４９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (13)

  1. 　２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、
    　前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、
    を含む、情報処理方法。
  2. 　前記２つのニューラルネットワークのモデルの一致度を判定することは、比較する層同士の種類が異なる場合、前記類似度を０とし、当該層から後段の層における比較を実行しないことを含む、請求項１に記載の情報処理方法。
  3. 　前記２つのニューラルネットワークのモデルの一致度を判定することは、畳み込み層同士を比較する場合、
    　畳み込み層の重みフィルタについて真のフィルタサイズを推定することと、
    　比較する重みフィルタのパラメータを推定された真のフィルタサイズに修正することと、
    　各重みフィルタのパラメータを１つのベクトルとして、畳み込み層をベクトル集合で表現することと、
    　比較する畳み込み層同士のベクトル集合間の類似度を、畳み込み層同士の類似度とすることと、
    を含む、請求項１に記載の情報処理方法。
  4. 　前記真のフィルタサイズを推定することは、
    　前記重みフィルタにおける各チャンネルのパラメータの絶対値を累積することと、
    　累積した値が所定閾値以上となる箇所を全て含む最小の矩形を、真のフィルタサイズとして推定することと、
    を含む、請求項３に記載の情報処理方法。
  5. 　前記２つのニューラルネットワークのモデルの一致度を判定することは、全結合層同士を比較する場合、
    　全結合層に対する重みを特徴ベクトルとして全結合層をベクトル集合で表現することと、
    　比較する全結合層同士のベクトル集合間の類似度を、全結合層同士の類似度とすることと、を含む請求項１に記載の情報処理方法。
  6. 　前記ベクトル集合間の類似度は、
    　距離が所定閾値以下となる特徴ベクトルのペアを算出することによって二部グラフを構成することと、
    　前記二部グラフから最大マッチング問題を解くことによって最大のマッチ数を算出することと、
    により求められる、請求項３又は５に記載の情報処理方法。
  7. 　前記ベクトル集合間の類似度は、
    　各特徴ベクトルを量子化することと、
    　量子化ヒストグラム間の類似度を求めることと、
    により求められる、請求項３又は５に記載の情報処理方法。
  8. 　前記２つのニューラルネットワークのモデルの一致度を判定することは、活性化層同士を比較する場合、
    　活性化層の種類が同じであり、パラメータ同士の距離が所定閾値以下であると、当該距離を類似度とし、それ以外の場合には、類似度を０とすることを含む、請求項１に記載の情報処理方法。
  9. 　前記活性化層の種類は、線形結合、シグモイド関数、ハードシグモイド関数、ｔａｎｈ関数(hyperbolic tangent function)、ソフトサイン関数、ソフトプラス関数、又は、ＲｅＬＵ(Rectified Linear Unit)である、請求項８に記載の情報処理方法。
  10. 　前記２つのニューラルネットワークのモデルの一致度を判定することは、プーリング層同士を比較する場合、
    　プーリング層の種類が同じであり、パラメータ同士の距離が所定閾値以下であると、当該距離を類似度とし、それ以外の場合には、類似度を０とすることを含む、請求項１に記載の情報処理方法。
  11. 　前記プーリング層の種類は、最大値プーリング、又は、平均値プーリングであり、
    　前記パラメータは、フィルタサイズ、及び、フィルタを適用する間隔である、請求項１０に記載の情報処理方法。
  12. 　２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込む読込手段と、
    　前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定する判定手段と、
    を備えている、情報処理装置。
  13. 　プログラムを格納したコンピュータ可読記憶媒体であって、
    　前記プログラムは、コンピュータの１つ以上のプロセッサで実行されると、前記コンピュータに、
    　２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、
    　前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、
    を実行させる、コンピュータ可読記憶媒体。
PCT/JP2017/045684 2017-01-13 2017-12-20 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体 WO2018131409A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780082338.8A CN110168572A (zh) 2017-01-13 2017-12-20 信息处理方法、信息处理装置、计算机可读存储介质
JP2018561890A JP6708755B2 (ja) 2017-01-13 2017-12-20 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
EP17891539.3A EP3570220B1 (en) 2017-01-13 2017-12-20 Information processing method, information processing device, and computer-readable storage medium
US16/424,108 US11586909B2 (en) 2017-01-13 2019-05-28 Information processing method, information processing apparatus, and computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017003849 2017-01-13
JP2017-003849 2017-01-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/424,108 Continuation US11586909B2 (en) 2017-01-13 2019-05-28 Information processing method, information processing apparatus, and computer readable storage medium

Publications (1)

Publication Number Publication Date
WO2018131409A1 true WO2018131409A1 (ja) 2018-07-19

Family

ID=62840093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045684 WO2018131409A1 (ja) 2017-01-13 2017-12-20 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US11586909B2 (ja)
EP (1) EP3570220B1 (ja)
JP (1) JP6708755B2 (ja)
CN (1) CN110168572A (ja)
WO (1) WO2018131409A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027375A (ja) * 2018-08-09 2020-02-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020044566A1 (ja) * 2018-08-31 2020-03-05 オリンパス株式会社 データ処理システムおよびデータ処理方法
CN112348177A (zh) * 2019-07-05 2021-02-09 安徽寒武纪信息科技有限公司 神经网络模型验证方法、装置、计算机设备和存储介质
KR20210099991A (ko) * 2020-02-05 2021-08-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 딥 러닝 처리 장치, 방법, 기기 및 저장 매체
CN113408693A (zh) * 2020-03-16 2021-09-17 三星电子株式会社 识别图像的方法和设备
WO2022102532A1 (ja) * 2020-11-13 2022-05-19 株式会社エンビジョンＡｅｓｃジャパン データ処理装置、モデル生成装置、データ処理方法、モデル生成方法、及びプログラム
US11586909B2 (en) 2017-01-13 2023-02-21 Kddi Corporation Information processing method, information processing apparatus, and computer readable storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190244062A1 (en) * 2018-02-04 2019-08-08 KaiKuTek Inc. Gesture recognition method, gesture recognition system, and performing device therefore
CN113506550B (zh) * 2021-07-29 2022-07-05 北京花兰德科技咨询服务有限公司 一种人工智能阅读显示器及显示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966703A (ja) * 1982-10-08 1984-04-16 Fanuc Ltd 数値制御装置の加工制御情報保護方式
JP2013025356A (ja) * 2011-07-15 2013-02-04 Hitachi Solutions Ltd プログラムの流用検出方法
JP2014026389A (ja) * 2012-07-25 2014-02-06 Denso Corp モデル比較装置、識別子生成装置、モデル作成装置、モデル比較ツール、識別子生成ツール、及び、モデル作成ツール
JP2015011510A (ja) 2013-06-28 2015-01-19 株式会社デンソーアイティーラボラトリ ニューラルネットワーク最適化方法、ニューラルネットワーク最適化装置及びプログラム
JP2015052832A (ja) 2013-09-05 2015-03-19 国立大学法人 東京大学 重み設定装置および方法
JP2015057630A (ja) 2013-08-13 2015-03-26 日本電信電話株式会社 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
JP2017003849A (ja) 2015-06-12 2017-01-05 株式会社ジャパンディスプレイ 表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166539A (en) * 1990-07-09 1992-11-24 Nippon Telegraph And Telephone Corporation Neural network circuit
US5240009A (en) * 1991-03-25 1993-08-31 Ventritex, Inc. Medical device with morphology discrimination
US7379507B2 (en) * 2004-10-01 2008-05-27 Industrial Technology Research Institute Method and device for modulation recognition of digitally modulated signals with multi-level magnitudes
US8977578B1 (en) * 2012-06-27 2015-03-10 Hrl Laboratories, Llc Synaptic time multiplexing neuromorphic network that forms subsets of connections during different time slots
US20160041982A1 (en) * 2014-08-05 2016-02-11 Facebook, Inc. Conditioned Search Ranking Models on Online Social Networks
US9418458B2 (en) * 2015-01-05 2016-08-16 Superfish Ltd. Graph image representation from convolutional neural networks
JP6620439B2 (ja) * 2015-07-01 2019-12-18 株式会社リコー 学習方法、プログラム及び学習装置
US10740676B2 (en) * 2016-05-19 2020-08-11 Nec Corporation Passive pruning of filters in a convolutional neural network
KR20190032433A (ko) * 2016-07-18 2019-03-27 난토믹스, 엘엘씨 분산 머신 학습 시스템들, 장치, 및 방법들
WO2018131409A1 (ja) 2017-01-13 2018-07-19 Kddi株式会社 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966703A (ja) * 1982-10-08 1984-04-16 Fanuc Ltd 数値制御装置の加工制御情報保護方式
JP2013025356A (ja) * 2011-07-15 2013-02-04 Hitachi Solutions Ltd プログラムの流用検出方法
JP2014026389A (ja) * 2012-07-25 2014-02-06 Denso Corp モデル比較装置、識別子生成装置、モデル作成装置、モデル比較ツール、識別子生成ツール、及び、モデル作成ツール
JP2015011510A (ja) 2013-06-28 2015-01-19 株式会社デンソーアイティーラボラトリ ニューラルネットワーク最適化方法、ニューラルネットワーク最適化装置及びプログラム
JP2015057630A (ja) 2013-08-13 2015-03-26 日本電信電話株式会社 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
JP2015052832A (ja) 2013-09-05 2015-03-19 国立大学法人 東京大学 重み設定装置および方法
JP2017003849A (ja) 2015-06-12 2017-01-05 株式会社ジャパンディスプレイ 表示装置

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
A. KRIZHEVSKYI. SUTSKEVERG. E. HINTON: "ImageNet Classification with Deep Convolutional Neural Networks", NIPS'12
A. KROGHJ. A. HERTZ: "A Simple Weight Decay Can Improve Generalization", PROC. OF NIPS, 1992
CAFFE, 5 January 2017 (2017-01-05), Retrieved from the Internet <URL:http://caffe.berkeleyvision.org>
CHAINER, 5 January 2017 (2017-01-05), Retrieved from the Internet <URL:http://chainer.org>
FEI-FEI LIANDREJ KARPATHYJUSTIN JOHNSON, LECTURE 7, CONVOLUTIONAL NEURAL NETWORKS, 27 January 2016 (2016-01-27), Retrieved from the Internet <URL:http://cs231n.stanford.edu/slides/winter1516_lecture7.pdf>
K. SIMONYANA. ZISSERMAN: "Very Deep Convolutional Networks for Large-Scale Image Recognition", ICLR'15
M. ELARBIC. B. AMARH. NICOLAS: "Video Watermarking Based on Neural Networks", PROC. OF ICME, 2006
P.-T. YUH.-H. TSAIJ.-S. LIN: "Digital watermarking based on neural networks for color images", SIGNAL PROCESSING, vol. 81, no. 3, 2001, XP004230565, DOI: doi:10.1016/S0165-1684(00)00239-5
REGULARIZATION, 5 January 2017 (2017-01-05), Retrieved from the Internet <URL:https://ja.wikipedia.org/wiki/%E6%AD%A3%E5%89%87%E5%8C%96>
S. RENK. HER. GIRSHICKJ. SUN: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", NIPS'15
TENSORFLOW, 5 January 2017 (2017-01-05), Retrieved from the Internet <URL:https://www.tensorflow.org>
W. LIU ET AL.: "SSD: Single Shot MultiBox Detector", ECCV'16
X. MAE. HOVY: "End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF", ACL'16

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11586909B2 (en) 2017-01-13 2023-02-21 Kddi Corporation Information processing method, information processing apparatus, and computer readable storage medium
JP2020027375A (ja) * 2018-08-09 2020-02-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7000586B2 (ja) 2018-08-31 2022-01-19 オリンパス株式会社 データ処理システムおよびデータ処理方法
WO2020044566A1 (ja) * 2018-08-31 2020-03-05 オリンパス株式会社 データ処理システムおよびデータ処理方法
JPWO2020044566A1 (ja) * 2018-08-31 2021-06-10 オリンパス株式会社 データ処理システムおよびデータ処理方法
CN112348177A (zh) * 2019-07-05 2021-02-09 安徽寒武纪信息科技有限公司 神经网络模型验证方法、装置、计算机设备和存储介质
CN112348177B (zh) * 2019-07-05 2024-01-09 安徽寒武纪信息科技有限公司 神经网络模型验证方法、装置、计算机设备和存储介质
JP7181264B2 (ja) 2020-02-05 2022-11-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 深層学習処理装置、方法、デバイス及び記憶媒体
JP2021140733A (ja) * 2020-02-05 2021-09-16 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 深層学習処理装置、方法、デバイス及び記憶媒体
KR20210099991A (ko) * 2020-02-05 2021-08-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 딥 러닝 처리 장치, 방법, 기기 및 저장 매체
KR102642849B1 (ko) 2020-02-05 2024-03-04 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 딥 러닝 처리 장치, 방법, 기기 및 저장 매체
US12141228B2 (en) 2020-02-05 2024-11-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Deep learning processing apparatus and method, device and storage medium
CN113408693A (zh) * 2020-03-16 2021-09-17 三星电子株式会社 识别图像的方法和设备
WO2022102532A1 (ja) * 2020-11-13 2022-05-19 株式会社エンビジョンＡｅｓｃジャパン データ処理装置、モデル生成装置、データ処理方法、モデル生成方法、及びプログラム
JP7443218B2 (ja) 2020-11-13 2024-03-05 株式会社Ａｅｓｃジャパン データ処理装置、モデル生成装置、データ処理方法、モデル生成方法、及びプログラム

Also Published As

Publication number Publication date
CN110168572A (zh) 2019-08-23
JP6708755B2 (ja) 2020-06-10
EP3570220B1 (en) 2023-10-11
JPWO2018131409A1 (ja) 2019-11-07
US11586909B2 (en) 2023-02-21
US20190279087A1 (en) 2019-09-12
EP3570220A4 (en) 2020-01-22
EP3570220A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
JP6708755B2 (ja) 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
JP6727340B2 (ja) 情報処理装置、方法及びコンピュータ可読記憶媒体
Chen et al. Multi-modal fusion network with multi-scale multi-path and cross-modal interactions for RGB-D salient object detection
US10891541B2 (en) Devices, systems, and methods for feature encoding
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
Poon et al. Sum-product networks: A new deep architecture
CN109754078A (zh) 用于优化神经网络的方法
US20210150347A1 (en) Guided training of machine learning models with convolution layer feature data fusion
US20180336469A1 (en) Sigma-delta position derivative networks
CN104268594A (zh) 一种视频异常事件检测方法及装置
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN105894469A (zh) 基于外部块自编码学习和内部块聚类的去噪方法
CN113159071A (zh) 一种跨模态图像-文本关联异常检测方法
CN109887075B (zh) 用于三维模型构建的三维点云模型训练方法
US11354535B2 (en) Device and method with sensor-specific image recognition
CN113158970A (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN113688882A (zh) 一种记忆增强的连续学习神经网络模型的训练方法及装置
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法
CN114328904A (zh) 内容处理方法、装置、计算机设备和存储介质
EP4032028A1 (en) Efficient inferencing with fast pointwise convolution
CN116109841B (zh) 一种基于动态语义向量的零样本目标检测方法及装置
Xie et al. Adding Gaussian Noise to DeepFool for Robustness based on Perturbation Directionality.
KR20190125694A (ko) 학습 및 추론 장치 및 그 방법
MacDonald et al. A Flow Artist for High-Dimensional Cellular Data
CN119443216A (zh) 一种确定多模态数据一致性特征表示的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891539

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018561890

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017891539

Country of ref document: EP

Effective date: 20190813

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载