+

WO2018197693A1 - Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées - Google Patents

Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées Download PDF

Info

Publication number
WO2018197693A1
WO2018197693A1 PCT/EP2018/060929 EP2018060929W WO2018197693A1 WO 2018197693 A1 WO2018197693 A1 WO 2018197693A1 EP 2018060929 W EP2018060929 W EP 2018060929W WO 2018197693 A1 WO2018197693 A1 WO 2018197693A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
value
interest
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2018/060929
Other languages
English (en)
Inventor
Patrick Pirim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Another Brain
Original Assignee
Another Brain
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Another Brain filed Critical Another Brain
Priority to KR1020197028748A priority Critical patent/KR102454841B1/ko
Priority to US16/499,820 priority patent/US11164049B2/en
Priority to EP18718863.6A priority patent/EP3616132A1/fr
Priority to CN201880025028.7A priority patent/CN110520869B/zh
Priority to JP2019554641A priority patent/JP6909307B2/ja
Publication of WO2018197693A1 publication Critical patent/WO2018197693A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • Automated method and device capable of ensuring the perceptive invariance of a spatio-temporal event dynamically with a view to extracting from it
  • the present invention relates to an automated method and device capable of ensuring the perceptive invariance of a spatio-temporal event dynamically with a view to extracting unified semantic representations and memorizing them in association with a specific label. It also relates to a system for simplified memorization of the learning of networks of neuronal populations. The invention makes it possible to ensure a bijective relation between the space of the event, its contextual representation and its own representation.
  • the invention is particularly applicable for the simplification of treatments of neuronal populations implemented on silicon for the analysis of various signals, including multidimensional signals such as the semantic representation of perception of images, sound or other modalities perceived independently. or simultaneously for example.
  • signals including multidimensional signals such as the semantic representation of perception of images, sound or other modalities perceived independently. or simultaneously for example.
  • the memory of the human being is fundamentally associative: we retain better when we can connect the new information to knowledge already acquired and firmly anchored in our memory. And this link will be all the more effective because it has a meaning for us.
  • memory is today considered as a continual process of recategorization resulting from a continuous change of neuronal antagonistic pathways and the parallel processing of information in the brain.
  • the perceptual invariance ensures a simplification of the categorization to be memorized by inscribing only one representation. The recall of an event, a scene or an object uses the inverse invariance function by putting the memorized information back in situation.
  • the patent US2012308136 called "apparatus and methods forinstalle-code invariant object recognition” published on December 6, 2012 describes a bioinspired process based on action potential.
  • the information is encoded in a variant as a pulse latency pattern with respect to an occurrence of a time event; For example, the appearance of a new visual frame or motion of the image.
  • the pattern of the pulses advantageously is substantially insensitive to image parameters such as size, position and orientation, so that the identity of the image can be easily decoded.
  • the associated device of the invention is based on the automatic perception of edges and curvatures described in the patent FR2858447, whose inventor is the same as the present application, "method and automated device of perception with determination and characterization of edges and of object boundaries, of a space, construction of contours and applications "and in which digital signals representing by parameters objects of a space are analyzed by a set of units or elementary modules for calculating histograms of same type, today bilinear and called "dynamic attractor".
  • This device allows integration of the various processes into an electronic component.
  • the invention thus relates to an automated method capable of calculating the perceptive invariance of an event occurring in a space, represented by pixels forming together a multidimensional x, y space, evolving over time at a succession of moments T, said data each associated with a temporal parameter A, B, ... being in the form of DATA (A), DATA (B), ... signals consisting of a sequence A xyt , B xyt , ... of binary number a bits associated with synchronization signals for defining the moment T of the space and the position x, y in this space, to which the signals A xy t, B xyt , ... received at a given instant, relative to at least one parameter for calculating the invariance of said event, according to the invention:
  • a bilinear bilinear space-time histogram computation is performed, based on the elementary results of oriented edges and associated curvatures previously calculated, in order to identify an area of interest of the space, related to the event, according to the statistical criteria of curvature and oriented edge applied to a spatial parameter, in order to recover, for the area of interest thus identified at the end of the moment T: at. a median value of edge oriented bo 0 and curvature cb 0 ,
  • a zone of interest is selected in the upstream repository x, y, before scaling k, by giving it a repository X, Y, such that these new coordinates are defined according to the old coordinates x, y by a translation of the origin ki 0 , kj 0 and a rotation of the reference frame by an angle b 0 , such that:
  • the scale of this area of interest is adapted so that it fits in a square centered by 2 Z pixels, truncating the number of bit u constituting the range k.ap 0 or k. bp 0 the largest, in order to keep only the z most significant bits of this range.
  • the scaling of factor k is parametrically carried out by a Gaussian filtering calculation of size 2w + 1, the value w being the parameter of the filtering matrix, in association with a factor decimation function k on the space x, y for a moment T,
  • a calculation of the parameters w and k is performed as a function of the median value of curvature cb 0 defined in the previous step d), by comparing the new median curvature value cb 0 with two bounds of increasing values La and Lb, for 0 ⁇ w ⁇ w_max, such as: at. cbo ⁇ The value of w is increased by one.
  • Flag Val 0 b. The ⁇ cbo ⁇ Lb the value of w remains unchanged.
  • Flag Val 1
  • iteration is carried out by iteration, at the end of each moment T, of an update of Gaussian filtering parameters w and of decimation k in step a) in order to maintain the value of median curvature cb 0 between two increasing bounds.
  • the scaling of factor k is parameterized by the use of a dedicated sensor on the space x, y during a time T,
  • a zone of interest is selected in the upstream reference system x, y, by the use of a dedicated sensor on the space x, y during a time T, by assigning it a zone dimension k.ap 0 by k.bp 0 in an X, Y repository of this space x, y, such that these new coordinates are defined according to the old coordinates x, y, by a translation of the origin ki 0 , kj 0 a rotation of the reference frame an angle bo 0 , and a ratio of homothety 1/2 (u "z) ,
  • each of these data is transformed into a global, dynamic and structural type positioned in the repository X1, Y1,
  • a bilinear bilinear space-time histogram computation is carried out on the basis of the elementary results of global, dynamic and structural type positioned in the repository X1, Y1 calculated previously, in order to identify an integrated area of interest. in a square of 2-dimensional Z side of the space, representing part of the event, according to global, dynamic and structural statistical criteria to a spatial parameter repository X1, Y1, in order to recover for the zone of interest thus identified at the end of the moment T, at least, a structural semantic representation:
  • a new bilinear space-time histogram computation is reiterated, by inhibiting the information of the previously identified main zones so as to identify other areas of interest within an area of the space 2 Z square of uninhibited side, up to n computation sequences or when a remaining uninhibited zone of this space no longer produces an area corresponding to said statistical criterion, in order to recover it, for the zone of interest thus identified at the end of the moment T, at least, a structural semantic representation:
  • the invention also relates to a device for calculating the automatic perceptual invariance of an event occurring in a space, represented by pixels forming together a multidimensional x, y space, evolving over time at a succession of moments T, said associated data.
  • a time parameter A, B ... being in the form of DATA (A), DATA (B), ... signals consisting of a sequence Axyt, Bxyt, ... of a bit number of a bits associated with synchronization signals for defining the moment T of the space and the position x, y in this space, to which the signals Axyt, Bxyt, ... received at a given instant, with respect to at least one parameter for the invariance calculation of said event.
  • the device for calculating automatic perceptual invariance comprises:
  • a looped bilinear space-time histogram computation unit based on the elementary results of oriented edges and associated curvatures previously calculated, in order to identify an area of interest of the space, related to the event , according to the statistical criteria of curvature and oriented edge applied to a spatial parameter, in order to recover it, for the zone of interest thus identified at the end of the moment T:
  • a servo unit implemented if necessary, by iteration at the end of each moment T, by updating the change of scale parameters k in step a) in order to maintain the median curvature value cb 0 between two increasing limits.
  • the scaling factor calculation unit k consisting of a Gaussian filtering calculation of size 2w + 1, the value w being the parameter of the filtering matrix, in association with an affine function of the factor k decimation parameter w on the space x, y for a moment T, It comprises, the unit of calculation of the parameters w and k is a function of the median value of curvature cbO defined in the previous step d), by comparing the new value of median curvature cb0 to two bounds of increasing values La and Lb, for 0 ⁇ w ⁇ w_max, such as:
  • the servocontrol unit by iteration at the end of each moment T, update gaussian filtering w and decimation parameters k in step a) in order to maintain the median curvature value cb 0 between two increasing limits.
  • the zone of interest selection unit in the upstream repository x, y is made by the use of a dedicated sensor on the space x, y during a frame sequence, by assigning it a dimension of zone k.ap 0 by k.bp 0 in a reference X, Y, of this space x, y, such that these new coordinates are defined according to the old coordinates x, y, by a translation of the origin ki 0 , kj 0 a reference rotation of an angle bo 0 , and a homothety ratio 1/2 (u "z) ,
  • a translation unit transforming each of these data into a global, dynamic and structural type positioned in the repository X1, Y1, b) a bilinear bilinear space-time histogram computation unit, calculating, from the basic results of type global, dynamic and structural positioned in the repository X1, Y1 previously calculated, in order to identify an area of interest integrated in a square of dimension Z 2 of space side, representing a part of the event, in global, dynamic and structural statistical criteria to a spatial parameter of repository X1, Y1, in order to recover, for the area of interest thus identified at the end of time T, at least, a structural semantic representation:
  • the device comprises means for associative storage between the semantic representation ensuring the invariance and its associated label, the label representing the event in a unified manner, and the representation of the area of interest identified, its context.
  • FIG. 1 is a representation, in its generality, of the automated perceptive invariance method allowing the invariant extraction of the perceived semantic representations of the event in its context according to the invention
  • FIG. 2 is a representation, in its generality, of the perceptual invariance device according to the invention.
  • FIG. 3 is a detailed description of the process of calculating parameters allowing perceptive invariance by the use of a dynamic attractor;
  • FIG. 4 is an application integrating the visual perceptual invariance by opto-mechanical implementation of two visual sensors;
  • FIG. 5 is a use of a vision device integrating two units of semantic, context and local representation of a label (100), in relation with an associative memory (10);
  • FIG. 6 is an example of a semantic representation unit of an associative memory label (100) in combination of dynamic attractor units (80_i) associated with a translation transfer unit (71);
  • Figs. 7a and 7b are illustrations of the transfer function of the translation unit (71);
  • FIGS. 8a to 8d are illustrations of the organization of the bilinear histogram calculations of the dynamic attractor unit (80_i);
  • FIG. 9 is an illustration of the extraction, by a dynamic attractor (80_0), of contextual semantic representations of a perceived element of the vision device of FIG. 5.
  • FIG. 1 describes the generic process of perceptive invariance from an example of dynamic management, in sequences, of the interaction between the event, signal (HD) referenced (x, y), its context, signal (MAP1 ) referenced (i, j), and its representation, signal (MAP2) referenced (X, Y).
  • MAP1 two-dimensional data
  • a first moment T starts at time (t0) by the representation of the event in its context which must be global, like a homogeneous convex region of general curvature (cb 0 ) sufficient.
  • the filter parameter w equal to zero defines the output stream (MAP1) which is analyzed a computation of curled bilinear histograms corresponding to a dynamic attractor (80_0) and deduces therefrom at the end of the moment T a curvature value (cb 0 ) .
  • This curvature value (cb 0 ) is compared with two bounds of increasing values La and Lb, for 0 ⁇ w ⁇ w_max:
  • the associated values of w and k are updated for the next T time.
  • the sequence of moments T (t3) to (t5) involve dynamic attractors by dynamic recruitment in order to recover, for the zone of interest thus identified at the end of the moment T , a structural semantic representation, by inhibiting the information of the main zones previously identified so as to identify other areas of interest within a zone of the square space of 2 Z of uninhibited side.
  • the first dynamic attractor (80_1) in moment T (t3) focuses on the most important accumulation of points, here the curvature cbi and its orientation boi of the figure "2" its position ⁇ - ⁇ , ⁇ and its dimension ap-i, bp-i, then, by inhibiting the information of the previously identified main zone, at time T (t4), a second dynamic attractor (80_2) extracts its horizontal base, curvature cb 2 and its orientation bo 2 , its position x 2 , y 2 and its dimension ap 2 , bp 2 , the first dynamic attractor remains hooked and finally, at time T (t5), a third dynamic attractor (80_3 ) extracts its oblique curvature cb 3 and its orientation bo 3 , its position x 3 , y 3 and its dimension ap 3 , bp 3 .
  • FIG. 2 represents the perceptual invariance device in association with the method described above in FIG. 1, and comprises the following units:
  • the transduction unit (130) The transduction unit (130)
  • An event (90) is perceived by a transducer (130) which outputs a data stream (HD xyt ), associated with pixels together forming a multidimensional space evolving over time and represented at a succession of moments T, said data associated with each to a time parameter HD, being in the form of DATA (HD) signals, consisting of a sequence (HD xyt ), a binary number of a bits synchronized by a clock (Ck) and the x, y positions of dimension respectively of o and p bits, of a data sequencer (150).
  • This stream (HDx y t) is connected to the input of a Gaussian filter unit (200) and to the input of a buffer memory (600).
  • the decimation unit (Dec) is composed of:
  • a data sequencing unit (150) generating the x and y addresses as well as data synchronization signals in this decimation unit (Dec),
  • a gaussian filtering unit (200) synchronized by a clock (Ck) and the x, y positions of a data sequencer (150) and parameterized by the filtering value (w).
  • This unit performs a Gaussian-type two-dimensional filtering function by convolving a Gaussian matrix of size 2w + 1 on the input data, the result is a two-dimensional data stream lmG ( Xy t), output in sequence to a unit of decimation (300).
  • a decimation unit (300) receiving the input stream lmG (Xyt) and outputting the two-dimensional data stream ⁇ ⁇ to the oriented edge calculation unit (350), selecting in two dimensions x and y, an element all the k elements.
  • the conversion unit (71 ') is composed of:
  • An oriented edge calculation unit (350) transforming each bit-coded incoming data item i, j, of the flow MAP1 (i jt) into an angular value Bo, position i, j, corresponding to the presence of 'an edge indicated by the flag (Valid) to one or a neutral value if not, flag (Valid) to zero.
  • These values constitute the stream ImBo (ijt) coded on a bit
  • a bending calculation unit (360), receiving a flow ImBo (ijt), in order to calculate a notion of curvature (Cb), position i, j, corresponding to the angular local variations found or to a neutral value otherwise, flag (Valid) to zero.
  • These values constitute the stream ImCb (ijt) coded on a bit,
  • the dynamic attractor (80_0), described more precisely in FIG. 3, calculates two-dimensional spatio-temporal histograms at each elementary moment validated by the flag (Valid) to one on the instantaneous truncated data pairs i, j, and Bo, Cb each pair comprising 2z bits as a set allowing calculation of two-dimensional spatio-temporal histograms delivering at the end of the moment T a result, if presence of the element, A center of gravity position of the element i 0 , jo, and a zone binary signal Z_ROI
  • the unit of calculation of the perceptive invariance (Inv) comprises:
  • the associated values of w and k are transmitted for the following time T, (w) at the unit (200) and (k) at the unit (300).
  • a selection unit of the region of interest receives the coordinates of the center of gravity i 0 , jo, the coefficient k of decimation, the angular orientation bo 0 , and the coordinates x, y of the stream (HD (xyt) ), and calculates new coordinates X0, Y0 according to the function:
  • An address multiplexer (520) transfers the previously computed addresses, for the valid area of interest (Z_ROI), to the address port of the buffer (600).
  • Wr write command
  • the ROI unit comprises:
  • a scaling unit (542) truncating the X1 and Y1 values on the most significant z bits to generate an X and Y address each over a range of 2 Z values, corresponding to the size of the square of 2 Z aside.
  • MAP2 The data flow (MAP2) resulting from the reading of the memory (600) in address X, Y, corresponding to the invariant information of the perceived element.
  • FIG. 3a describes the process of calculating the parameters allowing the perceptual invariance by the use of a dynamic attractor (80_0) consisting of two sets of bilinear histogram calculation units (81_S) and (81_P) receiving the signals and each producing a classification value whose product (V) serves as validation of the calculations:
  • the first subset (81 _S) receiving two signals carrying the time parameters Bo, Cb and,
  • the two subsets jointly producing a binary signal Z_ROI representing a zone of interest and a binary signal BC representing the value of the temporal parameter of this zone,
  • An AND operator 86 combining the output binary signals Z_ROI and BC, the output of this operator serving as validation signal (78) for calculating sets of bilinear histogram calculation units,
  • An external sequencer initializing the memories of these sets of bilinear histogram calculation units at the start of the moment T, then validating the calculation during the moment T, to identify an area of interest of the space linked to the event , according to the statistical criteria of curvature and oriented edge applied to a spatial parameter and at the end of the moment T, recovering for the area of interest thus identified:
  • Each set of bilinear histogram calculation unit (81_S) and (81_P) comprises:
  • An analysis memory unit (82) having memories with addresses, each associated with possible values of 2.2 Z bits of the signal Bo, Cb for the unit (81_S) and i, j for the unit ( 81_P) and whose writing is controlled by a "Write" signal
  • the classification unit (83) operates in the same way by replacing the parameters Bo, Cb, by i, j.
  • the classification binary signal is validated if the first parameter is between criteria A and B, and at the same time if the second parameter is between criteria C and D.
  • Figure 3b shows the structural result of the element calculated by the spatio-temporal bilinear histograms during the moment T.
  • the pair of parameters Bo and Cb form a 2D representation, with the origin of the upper left corner of a horizontal square of dimension 2 Z -1, Bo on one axis and Cb on the other axis.
  • a third vertical axis represents the accumulation of each couple.
  • the cumulation maximum is represented by the pair of values bo 0 , cb 0 .
  • FIG. 3c represents the spatial result of the element calculated by the spatio-temporal bilinear histograms during the moment T.
  • the pair of parameters i and j form a 2D representation, with as origin the upper left corner of a square horizontal dimension 2 Z -1, i on one axis and j on the other axis.
  • a third vertical axis represents the accumulation of each couple.
  • the maximum cumulation is represented by the pair of values i 0 , j0.
  • the spatial range of the element has for dimension apO and bpO centered on i 0 , jo, and oriented by an angle equal to bo 0 centered in i 0
  • Figure 3d shows the region of interest ROI, spatial result of the calculated element previously reported on the upstream repository x, y.
  • the data of this zone of interest ROI are defined according to the coordinates X and Y, origin in the center of the zone of interest and dimension -k.ap 0 ⁇ X ⁇ k.ap 0 and -k.bp 0 ⁇ Y ⁇ k.bp 0 .
  • FIG. 4 describes a generic device for perceptive invariance of an event (90) from two coupled cameras, the first camera C1 outputting a low resolution MAP1 signal associated with pixels together forming a multidimensional space evolving over time and represented at a succession of moments T, on a large field and the second camera C2 movable relative to the first high resolution on a narrow field issuing a MAP2 signal associated with pixels together forming a multidimensional space evolving in time and represented in FIG. a succession of moments T.
  • the event perceived by the camera C1 is analyzed globally by the semantic representation unit of a label (100_1) which provides information,
  • FIG. 5 depicts a generic perceptual invariance device from a single, high resolution, wide field camera outputting an HD signal. It is an extension and generalization of the device described in FIG.
  • the unit of generic semantic representation (100_0), described in detail in FIG. 6, receives, as input, the signal ⁇ ⁇ , its position (i, j) and incorporates an associative memory unit (10) in association with:
  • a translation transfer unit (71) which includes the unit (71 ') and is extended to the global and dynamic perception, described in detail in FIG. 7a and,
  • a dynamic attractor unit (80_0) that includes, as described in FIG. 2,
  • This unit of generic semantic representation (100_0) delivers, at the end of the moment T, the information to the invariance calculation unit as previously described in FIG. 2 as well as to an associative memory unit by adding to it additional information of elementary semantic representations global and dynamic, the set of these representations forms a message that is read by the associative memory (10) and delivers a label value (Loutj). Conversely, this label value can be reintroduced into this same associative memory (10) as a value Lin i, the output of this memory then provides a message, which has been previously learned, which drives the classifiers (84) for a confirmation of information acquired.
  • the generic semantic representation unit (100_1) receives, as input, the signal MAP2 ( xYt), its position (X, Y) and having n dynamic attractor units, delivers up to n sub-messages to an associative memory (10). ) which deduces, if already known, a label (LoutJ). As previously described, an inverse function, which introduces the label (LinJ) into the associative memory (10) of the unit (100_2), drives the classifiers (84) to confirm the acquired information.
  • FIG. 6 illustrates an example of use of the associative memory (10) in combination of dynamic attracting units (80_i) and of a translation transfer unit (71) defining the semantic representation unit of a label ( 100). For clarity, the sequencing signals have been omitted.
  • Spatiotemporal data (70) from an upstream element, receiver (92) or associative memory unit processing results (10), not shown here, are delivered on the input port (E, P (i, j)) of a translation transfer unit (71) which in turn synchronously outputs, clocked by a clock signal (Ck), elementary semantic representations referenced in position on its output ports (G ), (D), (S), and (P).
  • Each output port (G), (D), (S), and (P) is connected independently and respectively on the G bus (72), the D bus (73), the S bus (74) and the bus.
  • P (75) all of identical size of 2z bits.
  • the n dynamic attractor units (80_1) to (80_n) connect to these four buses, respectively on their input port (G), (D), (S), and (P).
  • the dynamic attractor unit (80_1) The dynamic attractor unit (80_1)
  • the dynamic attractor unit (80_1) is shown in greater detail in order to explain its operation, knowing that all the dynamic attracting units (80_1) to (80_n) are of identical constitution.
  • This dynamic attractor unit (80_1) includes:
  • Each statistical processing unit (81_x) comprises:
  • a bilinear histogram calculation unit (82), comprising ⁇ A given input (x) corresponding to (G) or (D) or (S) or (P) according to the statistical processing unit (81 _x)
  • ⁇ a sequencing unit, not shown here, depending on the operating mode, either sequentially or by number of events, which ensures cyclically in sequence, the initialization phase, the histogram calculation stage, the phase update registers (R) and the automatic classification phase.
  • the initialization phase consists of zeroing the storage memory of the histogram calculations and initializing the various calculation registers.
  • each data item (x) presented corresponds to an input signal (V) that validates the calculation or not.
  • the registers (R) are updated as well as the registers of the automatic classification unit (83).
  • the calculated values are, the number of calculations (NBPTS), the median (Med), the value of the maximum (RMAX), its position (PosRMX) and the classification limits (A), (B), (C), and (D).
  • o two classification units, automatic (83) and request (84) each receive the coded data on 2z bits of the input port (x) and each deliver a valid classification binary signal for the z bits of high weight between its classification terminals (A) and (B) and for the low-order z bits between its classification terminals (C) and (D),
  • a Boolean classification validation unit (85) receives the binary classification signals of the two automatic classification units (83) and request (84). The logical AND between these two binary classification signals is transmitted out of the statistical processing unit (81 _x).
  • a Boolean space-time classification unit (86) receives the binary classification signals from the four statistical processing units (81_G), (81_D), (81_S), and (81_P) to form a logical AND which is transmitted to the histogram calculation validation unit (87).
  • a histogram calculation enable unit (87) comprises a two-input AND logic unit, one inverted (88) and a two-input OR logical unit (89).
  • the logical unit AND (88) receives in live the binary signal coming from the logical unit AND (86) and reverses the input binary signal (Cin) of the unit (80_1) and delivers a binary calculation validation signal of histogram on the input (V) of each statistical processing unit (81_G), (81_D), (81 _S), and (81_P).
  • the OR logic unit (89) receives the input binary signal (Cin) from the unit (80_1) and the histogram calculation enable binary signal of the AND logic unit (88) and outputs a binary signal of Inhibit on the output port (Cout) of the unit (80_1).
  • An output register unit (76) has the registers (RSi-1) to (RSi-q) updated each time the value (NBPTS) is exceeded relative to an externally parameterized threshold.
  • the order of the registers (RSi-1) to (RSi-p) corresponds to the median values (Med- ⁇ , Med 2 ) and to the classification range (Pi, P 2 ) defined by the difference between the terminals of classification (B) minus (A) and (D) minus (C) for each statistical processing unit (81_G), (81_D), (81 _S), and (81_P).
  • the output register unit (76) includes the registers (RSi-1) to (RSi-8).
  • a number of registers (RSi-x) are not used because they are irrelevant.
  • the visual perception of a text has a uniform overall mode (same colors and non-displacement), only the structuring aspect brings relevant information, which reduces the eight starting registers to three: centroid, dimension and structure.
  • An input register unit (77) has the registers (RSo-1) to (RSo-q) representing the same organization as that of the output register unit (76).
  • the Associative Memory unit (10), described in the preceding figures, in its generic implementation has for interface with the dynamic attracting units (80_1) to (80_n) the message (MEin_i) consisting of n sub-messages (RSin_1) to (RSin_n) and the message (MEoutJ) consisting of n sub-messages (RSout_1) to (RSout_n).
  • Sub-message (RSin_1) is transmitted from the output register unit (76) of the dynamic attractor unit (80_1) to the input port (In) of the memory sub-unit (2_1) of the unit Associative memory (10).
  • the sub-message (RSin_2) is transmitted from the output register unit (76) of the dynamic attractor unit (80_2) to the input port (In) of the memory sub-unit (1_2) of the associative memory unit (10), and the transmission continues in the same order up to the rank n.
  • the sub-message (RSout_1) is transmitted from the output port (Out) of the memory sub-unit (2_1) of the associative memory unit (10) to the input register unit (77) of the dynamic attractor unit (80_1).
  • the sub-message (RSout_2) is transmitted from the output port (Out) of the memory sub-unit (1_2) of the associative memory unit (10) to the input register unit (77) of the dynamic attractor unit (80_2), and the transmission continues in the same order up to the rank n.
  • the associative memory unit (10) comprises:
  • a first set composed of n memory subunits, each composed of 2 m words of m bits, denoted by (2_1) to (2_n), and each receiving on their input port (In) respectively the sub-message ( RSin_1) for the memory sub-unit (2_1) to the sub-message (RSin_n) for the memory sub-unit (2_n),
  • a second set consisting of a memory sub-unit of 2 V words of v bits (1) receiving on the input port (In) the label (LinJ) and,
  • a maximum likelihood calculation unit (4) to select the most represented r, s or other value. This unit (4) receives from the output port
  • each memory subunit (2_1) to (2_n) a value r, or others respectively on an input port (L_i) to (L_n) with their respective validating signal on the input respectively (V_1) at (V_n).
  • the internal sequencing is provided by a clock signal (CK) introduced into the unit (4).
  • CK clock signal
  • the choice of the maximum likelihood is set on the output port (L_i), a v-bit bus passes this value to the input port (Adr) of the memory sub-unit (1) which delivers on its output port (Out) the value of the label (Lout_i).
  • the presentation of (LinJ) on the input port (In) of the memory sub-unit (1) causes the delivery of the value j on its output port (Cadr), this value j is transmitted to the bus (AB) through a link value choice unit (10) and is presented to all memory subunits (2_1) to (2_n) which each delivers on its output port (Out) the -message respectively (RSout_1) to (RSout_n) which together form the message (MEoutJ).
  • the sub-messages (RSin_1) to (RSin_n), corresponding to the message (MEin_i), are respectively presented on the input port (In) of each sub-memory unit (2_1) to (2_n ) which each deliver a value r, or others on their respective output port (Cadr) in association with a validating bit signal outputted by the output (M) of the same memory subunit.
  • the sub-message presented is absent from the memory sub-unit, it delivers on its output (M) a binary signal of non-validation, the value present on its output port (Cadr) is then ignored.
  • Each received message (MEin) of n.m bits is composed of n sub-messages (RSin_x) of m bits, x varying from 1 to n.
  • each message (MEout) of n.m bits delivered by the associative memory is composed of n sub-messages (RSout_x) of m bits, x varying from 1 to n.
  • Each sub-message is segmented into q elements (RSi_x) entering or (RSo_x) outgoing z bits corresponding to m / q bits whose rank of the element corresponds to a notion of position, sizing and characterization.
  • the position is defined by its reference (Ref), generally varying from one to three, often equal to two for a pair of elements, for example x and y representing a relation between two distances in the reference frame (Ref), or t and f representing a relationship between time and frequency in the reference frame (Ref).
  • Ref reference
  • x and y representing a relation between two distances in the reference frame (Ref)
  • t and f representing a relationship between time and frequency in the reference frame (Ref).
  • it is the position of the barycenter of the data cloud representing the characterization defined above by its sub-message elements.
  • the dimensioning characterizes the extent of the data cloud, generally its dimension, therefore an element (RSi_x), in each of the axes of the reference frame (Ref).
  • Characterization is usually an elementary semantic representation of type:
  • ⁇ Dynamics for example non-limiting, a movement is defined by its speed and its orientation, it is also the prosody of a voice, etc.
  • an edge is defined by its orientation and curvature
  • a phoneme is defined by the distribution of its formants in time, etc.
  • the label consists of a word of v bits, the amount of recordable labels is 2 V - 1, the label "zero" being excluded.
  • FIG. 7-a explains the operation of the translation transfer unit (71) from the spatio-temporal data (70) (time data E and position P (i, j)) originating from an external sensor, represent.
  • Each spatio-temporal data (70), coming into this unit (71), is translated and delivered on four output ports, in a synchronous manner by a signal (Ck), into three distinct elementary semantic representations, (G), (D), (S), positioned at (P).
  • Each output port (G), (D), (S), and (P) is connected independently and respectively on the G bus (72), the D bus (73), the S bus (74) and the bus. P (75).
  • Figure 7-b is a pictorial representation showing the registration of the different data (G), (D), (S), and (P).
  • the incoming data is represented in its global mode output (G), dynamic output (D), and output structural (S), and position (i, j) determined by the data (P), according to three plans recorded in 2D mode .
  • the position (P) is expressed according to the size of its base.
  • 2D for visual (x, y) or auditory (t, f) data it can be extended to 3D or reduced to 1D, higher dimensions are possible but unacceptable by the devolved memory size.
  • FIG. 8 illustrates the organization of the results of the calculations of the four bilinear histograms of the dynamic attractor unit (80_i) from the data (G), (D), (S), and (P) 2z bits from the translation transfer unit (71).
  • the incoming data processed in this example is 2D vision type.
  • the unit (71) translates this data into
  • Each incoming data is coded in a 2z-bit word giving a 2 Z x 2 Z matrix representation of the histogram calculation, the first z bits representing an axis and the z bits remaining the second axis of the matrix.
  • an edge portion of an object (Ob) is visualized in FIG. 8d by its representation in position (P), gray values corresponding to the classified results, by the classification unit (83). ), the calculation of bilinear histogram of the matrix (H_P). The result of this histogram calculation is transmitted to the output register unit (76) with the value of its barycenter at 2z bit position (x, y) and its 2z bit range (ap, bp). .
  • the orientation and the perceived local curvature of the object (Ob), FIG. 8c, is delivered by the calculation of the bilinear histogram (H_S) whose result of the calculation is transmitted to the output register unit (76). with its value, its center of gravity, so its semantic representation of orientation and curvature of 2z bits (bo, cb) and its tolerance of 2z bits (as, bs).
  • H_S bilinear histogram
  • FIG. 8a indicates, by the result of the bilinear histogram calculation (H_G) the dominant color of the part of the object (Ob) represented by its hue and saturation value of 2z bits (t, s) with its value. 2z bit tolerance (ag, bg), transmitted to the output register unit (76).
  • H_G bilinear histogram calculation
  • FIG. 8b shows, by the result of the bilinear histogram calculation (H_D), the local displacement of the part of the object (Ob) represented by its movement direction value and its speed on 2z bits (dir, vit ) with its tolerance value of 2z bits (ad, bd), transmitted to the output register unit (76).
  • the input register unit (77) updates, in the same order, the classification terminals of the query classification units (84) of each statistical processing unit (81 _G), (81_D), ( 81 (S), and (81 (P).
  • This perceptual process enslaves data perceived, represented and interpreted as a learned label.
  • the incoming sub-message (RSin_x) of the associative memory (10) is composed of the results (t, s, ag, bg) for the sub-message (RSi-1) and (RSi-2) , (dir, vit, ad, bd) for the sub-message (RSi-3) and (RSi-4), (bo, cb, as, bs) for the sub-message (RSi-5) and (RSi-6) , and (x, y, ap, bp) for the sub-message (RSi-7) and (RSi-8).
  • RSout_x the outgoing sub-message (RSout_x) of the Associative Memory (10).
  • This sub-message (RSin_x) is a basic semantic representation global, dynamic, structural (answer to the question What?) And positioned (answer to the question Ou?).
  • the n sub-messages (RSin_x), x varying from 1 to n, define the message MEin_i representing at the output of the associative memory (10) the label (Loutj).
  • FIG. 5 represents an application using visual perceptual invariance with extraction of elementary semantic representations recorded in an associative memory (10).
  • HD high density video signal
  • This signal (HD) is delivered, together with:
  • a decimation unit (Dec) which transforms by spatial decimation this signal (HD) into a low resolution signal (MAP1) representing the same point of view, for example a VGA format at 0.3 Mp and with the same frame rate fps, and, • a region of interest extraction unit (ROI) which splits this signal (HD) into a signal (MAP2) of the same spatial resolution over a range corresponding to and transmitted at the same frame rate 50 fps or at a multiple of the frame rate, for example 8 times.
  • MAP1 low resolution signal
  • ROI region of interest extraction unit
  • the video signal (MAP1) is introduced into a generic semantic representation unit (100_1) which perceives the written symbol as a task.
  • the attractor dynamic (80_0) of this unit (1 00_1), see figure 9, delivers the elementary semantic representations:
  • G_1 global (G_1) words of 2z bits transformed into elementary semantic representation of color; barycentre hue and saturation (t 0 , s 0 ) and range of distribution of data along the two axes T and S (ag 0 , bg 0 ) respectively corresponding to sub-messages (RSin-1) and (RSin-2).
  • D_1 dynamic (D_1) words of 2z bits transformed into elementary semantic representation of movement; barycentre direction and speed of movement (dir 0 , vit 0 ) and range of distribution of the data along the two axes Dir and Vit (ad 0 , bd 0 ) respectively corresponding to sub-messages (RSin-3) and (RSin-4) ).
  • the set of elements (RSin_1) to (RSin-8) constitutes the sub-message (RSin_0).
  • the invariance calculation unit (Inv) reads through the communication bus (S_MA), the oriented edge and curvature information (bo 0 , cb 0 ) and calculates the filter coefficient w and decimation k which is transmitted to the unit (Dec).
  • This loop dynamically adapts the decimation of the signal (HD) to (MAP1) in order to maintain the result cb 0 between the two terminals La and Lb, sets the flag Val to one and, triggers the calculation of the invariant flow (MAP2), dimension 2 z x2 z , equal to:
  • the sequence of the moments T involve dynamic attractors by dynamic recruitment in order to recover, for the zone of interest (ROI) thus identified at the end of the moment T, a semantic representation structural, by inhibiting the information of the main zones previously identified so as to identify other areas of interest within a zone of the square space of 2 Z of uninhibited side.
  • This image zone referenced in position ( ⁇ 2 ( ⁇ ⁇ ) ) forms the video signal (MAP2) which is introduced into a generic semantic representation unit (100_2) in order to perceive the written symbol in its integrity.
  • the curvature of digit two has the largest number of perceived pixels and is therefore represented by the dynamic attractor (80_1) which delivers an m-bit sub-message (RSin_1) composed of oriented edge elements and associated curvature.
  • RSin_1 m-bit sub-message
  • the dynamic recruitment of a second dynamic attractor (80_2) which receives the inhibition of the preceding processing, perceives the largest number of pixels corresponding to the horizontal part of the number two and delivers a sub-message (RSin_2) of m bits consisting of 2z bits oriented edge elements and associated curvature (bo 2 , cb 2 ), 2z bits position elements (x 2 , y 2 ), 2z bits dimension (ap 2 , bp 2 ) and, orientation cc 2 equal to bo 2 .
  • RSin_2 sub-message
  • the sequence continues with the dynamic recruitment of a third dynamic attractor (80_3), which receives the inhibition of the previous treatments, perceives the largest number of pixels corresponding to the oblique part of the two digit and delivers a sub-message ( RSin_3) of m bits consisting of 2z bits oriented edge elements and associated curvature (bo 3 , cb 3 ), 2z bit position elements (x 3 , y 3 ), of dimension (ap 3 , bp 3 ) of 2z bits and, cc 3 orientation equal to bo 3 .
  • the number of pixels remaining untreated being less than a qualification threshold (value (NBPTS) below a threshold), the recruitment sequence of a new dynamic attractor stops.
  • NPTS qualification threshold
  • the message (MEin_i) consists of sub-messages (RSin_1), (RSin_2), and (RSin_3), a combination of 3 words of 6z bits.
  • RSin_1 sub-messages
  • RSin_2 sub-messages
  • RSin_3 sub-messages
  • 2 6z an input value given z coded on 4 bits, 2 6z is equal to 2 24, that is to say nearly 1 6 million values
  • This message (MEin_i) is associated with the label (Lin i) worth “two", in this case, and is stored in the associative memory (10) of the semantic representation unit (100_2).
  • the sequencing unit (Sec) controls, via the communication buses (S_P2) between the semantic representation unit of a label (100_2) and the sequencer (Sec) and (S_MA) between the associative memory unit ( 10) and the sequencer (Sec), the organization of perceived messages.
  • An associative memory (10) associates the label (LoutJ) from the unit (100_1) and the label (Loutj) from the unit (100_2) in order to output a label (Lout_k) corresponding to the value of the number "two In context. For example, this device validates the "one" digit, contextually positioned to the right of the "two” previously perceived to form the number "twenty-one".
  • the description of the device for calculating automatic perceptive invariance of an event described in FIG. 5 can advantageously be integrated into an electronic module and be used as intelligent control of an effector (97). ) from signals from a transducer (130), in the field of the Internet of Things.
  • MEoutJ outgoing message grouping n sub-messages (RSout_1) to (RSout_n) n number of sub-messages entered (RSin_i) or output (RSout_i)
  • V_i input validation value (L_i)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Procédé et dispositif automatisés aptes à assurer l'invariance perceptive dynamique d'un évènement (90) en vue d'en extraire des représentations sémantiques unifiées. L'évènement est perçu par un transducteur de données (130) débitant un signal (HD) référencé (x,y), transformé en un signal (MAP1) référencé (i,j) au travers d'une unité (Dec) assurant un filtrage gaussien (200) paramétré par w et décimé (300) par un coefficient k, et transformé en un signal (MAP2) référencé (X,Y) représentatif de l'évènement invariant au travers d'une unité (ROI). Une unité (71') transforme le signal (MAP1) en un signal de bord orienté (Im Bo) et de courbure (Im Cb), présentés à un attracteur dynamique (80_0) qui transforme statistiquement ces informations en courbure cb0 et orientation bo0 moyenne, barycentre i0,j0 et taille du nuage de points ap0,bp0 afin d'alimenter une unité de calcul d'invariance (Inv) qui délivre les paramètres w, k et les adresses (X,Y) du signal (MAP2). L'invention s'applique dans le domaine des neurosciences en tant qu'unificateur de mémorisation intégrable électroniquement.

Description

Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un événement spatio-temporel dynamiquement en vue d'en extraire des
représentations sémantiques unifiées Domaine de l'invention
La présente invention concerne un procédé et dispositif automatisé apte à assurer l'invariance perceptive d'un événement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées et de les mémoriser en association à un label spécifique. Elle concerne également un système de mémorisation simplifiée des apprentissages de réseaux de populations neuronales. L'invention permet d'assurer une relation bijective entre l'espace de l'événement, sa représentation contextuelle et sa représentation propre.
L'invention s'applique notamment pour la simplification des traitements de populations neuronales implémentées sur silicium pour l'analyse de signaux divers, y compris des signaux multidimensionnels comme la représentation sémantique de perception d'images, de son ou d'autres modalités perçues indépendamment ou simultanément par exemple. Etat de la technique
La mémoire de l'être humain est fondamentalement associative : on retient mieux lorsqu'on peut relier la nouvelle information à des connaissances déjà acquises et solidement ancrées dans notre mémoire. Et ce lien sera d'autant plus efficace qu'il a une signification pour nous. Plutôt que la simple évocation de traces fixes, la mémoire est donc aujourd'hui considérée comme un processus continuel de récatégorisation découlant d'un changement continu des voies antagonistes neuronales et du traitement en parallèle de l'information dans le cerveau. L'invariance perceptive assure une simplification de la catégorisation à mémoriser en y inscrivant qu'une seule représentation. La remémoration d'un événement, d'une scène ou d'un objet fait appel à la fonction d'invariance inverse en remettant en situation l'information mémorisée.
La technique tend à rattraper ce que l'évolution a mis en œuvre avec le temps, ainsi ci-joint trois brevets présentant l'état de l'art : • Le brevet US2005097068 dénommé « invariant pattern récognition » publié le 5 mai 2005 fait état d'une transformation d'invariance non linéaire pour apprendre un classificateur efficace qui reconnaît de manière satisfaisante les modèles, même en présence de transformations connues qui ne modifient pas la classe du motif.
• Le brevet US2012308136 dénommé "apparatus and methods for puise-code invariant object récognition" publié le 6 décembre 2012 décrit un procédé bioinspiré à base de potentiel d'action. L'information est encodée dans une variante en tant que motif de latences d'impulsions par rapport à une occurrence d'un événement temporel; Par exemple, l'apparition d'un nouveau cadre visuel ou d'un mouvement de l'image. Le motif des impulsions avantageusement est sensiblement insensible aux paramètres d'image tels que la taille, la position et l'orientation, de sorte que l'identité de l'image peut être facilement décodée.
• Le brevet US2015227849 dénommé "apparatus and methods for invariant pattern récognition" utilise une nouvelle factorisation d'une machine Boltzmann de troisième ordre, présentant un apprentissage multicouches et non supervisé de transformations arbitraires et apprenant des fonctionnalités riches et complexes même en l'absence de données marquées. Ces caractéristiques sont ensuite utilisées pour classer les modèles d'entrées inconnus, pour effectuer la réduction de la dimension ou la compression.
Toutes ces approches d'invariance perceptive ne permettent pas la mémorisation par association unifiée et un fonctionnement concomitant dans les deux sens (bottom up and top-down) existant dans le vivant en permettant le bouclage dynamique de l'information. D'autre part, les éléments mémorisés ne sont pas transférables simplement d'un support à un autre support, car non invariants.
Une autre approche a été abordée par P. Pirim, auteur de cette présente invention, dans le but de pallier ces inconvénients dans une publication : "Perceptive Invariance and Associative Memory Between Perception and Semantic Représentation, USER a Universal Semantic Représentation Implemented in a System on Chip (SoC)" publié dans Living Machines 2016, LNAI 9793, pp. 275-287, 201 6. Cette première approche succincte, a été suivie de nombreuses améliorations décrites dans cette invention. Le procédé d'invariance perceptive de l'invention a pour but de ne générer qu'une seule représentation sémantique de l'élément perçu afin d'en optimiser la quantité d'informations de mémorisation et de pouvoir en rappeler le contenu hors ou dans son contexte. Le dispositif associé de l'invention s'appuie sur la perception automatique de bords et courbures décrit dans le brevet FR2858447, dont l'inventeur est le même que la présente demande, « procédé et dispositif automatisé de perception avec détermination et caractérisation de bords et de frontières d'objets, d'un espace, construction de contours et applications » et dans lequel des signaux numériques représentant par des paramètres des objets d'un espace sont analysés par un ensemble d'unités ou modules élémentaires de calcul d'histogrammes de même type, aujourd'hui bilinéaires et appelé « attracteur dynamique ». Ce dispositif permet une intégration des divers processus en un composant électronique.
Objectif de l'invention
L'invention concerne donc un procédé automatisé apte à calculer l'invariance perceptive d'un événement intervenant dans un espace, représenté par des pixels formant ensemble un espace x,y multidimensionnel, évoluant dans le temps à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA(B),... numériques constituées d'une suite Axyt, Bxyt,... de nombre binaire de a bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position x,y dans cet espace, auquel les signaux Axyt, Bxyt,... reçu à un instant donné, par rapport à au moins un paramètre pour le calcul d'invariance dudit événement, selon l'invention :
a) l'on réalise d'une manière paramétrable un changement d'échelle de facteur k sur l'espace x,y durant un moment T,
b) l'on réalise un calcul d'extraction élémentaire de bords orientés et de courbure associée à partir des résultats du changement d'échelle de l'étape précédente sur l'espace i=x/k, j=y/k durant le même moment T,
c) l'on réalise un calcul d'histogramme spatio-temporel bilinéaire bouclé, à partir des résultats élémentaires de bords orientés et de courbures associées calculés précédemment, afin d'en repérer une zone d'intérêt de l'espace, lié à l'événement, en fonction des critères statistiques de courbure et bord orienté appliqués à un paramètre spatial, afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T : a. une valeur médiane de bord orienté bo0 et de courbure cb0,
b. une valeur de position de barycentre du nuage de points i0, jo, c. une valeur dimensionnelle du nuage de point ap0, bp0,
d) l'on réalise, si nécessaire, un calcul du paramètre k en fonction de la valeur médiane de courbure cb0 défini à l'étape précédente.
e) l'on réalise, si nécessaire, un asservissement, par itération en fin de moment T, par mise à jour du paramètres de changement d'échelle k en étape a) afin de maintenir la valeur de courbure médiane cb0 entre deux bornes croissantes La et Lb,
f) l'on sélectionne une zone d'intérêt dans le référentiel amont x,y, avant changement d'échelle k, en lui attribuant un référentiel X, Y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i0, k.j0 et une rotation du référentiel d'un angle bo0, tel que:
Figure imgf000006_0001
avec -k.apo≤ X < k.ap0 et -k.bp0≤ Y < k.bp0
g) l'on adapte l'échelle de cette zone d'intérêt afin qu'elle s'ajuste dans un carré centré de 2Z pixels de côté, en tronquant le nombre de bit u constituant la plage k.ap0 ou k.bp0 la plus grande, afin de ne conserver que les z bits de poids fort de cette plage. Le rapport 1 /2(u"z) constitue le rapport d'homothétie, h) l'on utilise les données définies dans ce carré de 2Z pixels de côté et de référentiel X1 =X.1 /2(U"Z), Y1 =Y.1 /2(U"Z) en vue d'en extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement.
l'on réalise d'une manière paramétrable le changement d'échelle de facteur k par un calcul de filtrage gaussien de taille 2w+1 , la valeur w étant le paramètre de la matrice de filtrage, en association à une fonction de décimation de facteur k sur l'espace x, y durant un moment T,
l'on réalise un calcul des paramètres w et k en fonction de la valeur médiane de courbure cb0 défini à l'étape précédente d), en comparant la nouvelle valeur de courbure médiane cb0 à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max, tel que : a. cbo < La la valeur de w est augmentée d'une unité. Flag Val=0 b. La < cbo≤ Lb la valeur de w reste inchangée. Flag Val=1
c. cb0 > Lb la valeur de w est diminuée d'une unité. Flag Val=0
d. Une fonction affine du paramètre w recalcule la valeur k, tel que k=0,81 w+1 ,09,
l'on réalise un asservissement par itération, en fin de chaque moment T, d'une mise à jour des paramètres de filtrage gaussien w et de décimation k en étape a) afin de maintenir la valeur de courbure médiane cb0 entre deux bornes croissantes La et Lb,
l'on réalise d'une manière paramétrable le changement d'échelle de facteur k par l'utilisation d'un capteur dédié sur l'espace x, y durant un moment T,
l'on sélectionne une zone d'intérêt dans le référentiel amont x, y, par l'utilisation d'un capteur dédié sur l'espace x, y durant un moment T, en lui attribuant une dimension de zone k.ap0 par k.bp0 dans un référentiel X, Y, de cet espace x,y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i0, k.j0 une rotation du référentiel d'un angle bo0, et un rapport d'homothétie 1 /2(u"z),
pour extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement à partir des données définies dans ce carré de 2Z pixels de côté,
a) l'on transforme chacune de ces données en type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 ,
b) l'on réalise un calcul d'histogramme spatio-temporel bilinéaire bouclé, à partir des résultats élémentaires de type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 calculés précédemment, afin d'en repérer une zone d'intérêt intégré dans un carré de de dimension 2Z de côté de l'espace, représentant une partie de l'événement, en fonction des critères statistiques globale, dynamique et structurelle à un paramètre spatial de référentiel X1 , Y1 , afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :
a. une valeur médiane de bord orienté boi et de courbure cbi,
b. une valeur de position de barycentre du nuage de points h , ji, c. une valeur dimensionnelle du nuage de point api, bp-i, c) l'on réitère un nouveau calcul d'histogramme spatio-temporel bilinéaire bouclé, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2Z de côté non inhibé, jusqu'à n séquences de calcul ou bien lorsque une zone restante, non inhibé, de cet espace ne produit plus de zone correspondant audit critère statistique, afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :
a. une valeur médiane de bord orienté bon et de courbure cbn, b. une valeur de position de barycentre du nuage de points in, jn, c. une valeur dimensionnelle du nuage de point apn, bpn,
d) l'on transmet toutes ces valeurs de représentations sémantiques élémentaires à une mémoire associative en vue d'une reconnaissance de label.
L'invention concerne également un dispositif de calcul d'invariance perceptive automatique d'un événement intervenant dans un espace, représenté par des pixels formant ensemble un espace x, y multidimensionnel, évoluant dans le temps à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA(B),... numériques constituées d'une suite Axyt, Bxyt,... de nombre binaire de a bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position x, y dans cet espace, auquel les signaux Axyt, Bxyt,... reçu à un instant donné, par rapport à au moins un paramètre pour le calcul d'invariance dudit événement. Le dispositif de calcul d'invariance perceptive automatique selon l'invention comporte :
a) une unité de calcul de changement d'échelle de facteur k sur l'espace x, y durant un moment T,
b) une unité de calcul d'extraction élémentaire de bords orientés et de courbure associée à partir des résultats du changement d'échelle de l'étape précédente sur l'espace i=x/k, j=y/k durant le même moment T,
c) une unité de calcul d'histogramme spatio-temporel bilinéaire bouclé, à partir des résultats élémentaires de bords orientés et de courbures associées calculés précédemment, afin d'en repérer une zone d'intérêt de l'espace, lié à l'événement, en fonction des critères statistiques de courbure et bord orienté appliqués à un paramètre spatial, afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T:
a. une valeur médiane de bord orienté bo0 et de courbure cb0, b. une valeur de position de barycentre du nuage de points i0, jo, c. une valeur dimensionnelle du nuage de point ap0, bp0,
une unité de calcul du paramètre k en fonction de la valeur médiane de courbure cb0 défini à l'étape précédente, mise œuvre si nécessaire.
Une unité d'asservissement, mise œuvre si nécessaire, par itération en fin de chaque moment T, par mise à jour du paramètres de changement d'échelle k en étape a) afin de maintenir la valeur de courbure médiane cb0 entre deux bornes croissantes La et Lb,
Une unité de sélection d'une zone d'intérêt dans le référentiel amont x, y au changement d'échelle k, en lui attribuant un référentiel X, Y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i0, k.j0 et une rotation du référentiel d'un angle bo0, tel que:
Figure imgf000009_0001
avec -k.apo≤ X < k.ap0 et -k.bp0≤ Y < k.bp0 g) une unité d'adaptation de l'échelle de cette zone d'intérêt afin qu'elle s'ajuste dans un carré centré de 2Z pixels de côté, en tronquant le nombre de bit u constituant la plage k.ap0 ou k.bp0 la plus grande, afin de ne conserver que les z bits de poids fort de cette plage. Le rapport 1 /2(u"z) constitue le rapport d'homothétie,
h) un port de sortie de ces données définies dans ce carré de 2Z pixels de côté et de référentiel X1 =X.1 /2(U"Z), Y1 =Y.1 /2(U"Z) en vue d'en extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement.
Il comporte, d'une manière paramétrable, l'unité de calcul de changement d'échelle de facteur k soit constituée d'un calcul de filtrage gaussien de taille 2w+1 , la valeur w étant le paramètre de la matrice de filtrage, en association à une fonction affine du paramètre w de décimation de facteur k sur l'espace x, y durant un moment T, Il comporte, l'unité de calcul des paramètres w et k soit fonction de la valeur médiane de courbure cbO défini à l'étape précédente d), en comparant la nouvelle valeur de courbure médiane cbO à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max, tel que :
a) cb0 < La la valeur de w est augmentée d'une unité. Flag Val=0 b) La < cb0≤ Lb la valeur de w reste inchangée. Flag Val=1
c) cb0 > Lb la valeur de w est diminuée d'une unité. Flag Val=0 d) Une fonction affine du paramètre w recalcule la valeur k, tel que k=0,81 w+1 ,09,
II comporte, l'unité d'asservissement, par itération en fin de chaque moment T, mette à jour des paramètres de filtrage gaussien w et de décimation k en étape a) afin de maintenir la valeur de courbure médiane cb0 entre deux bornes croissantes La et Lb,
Il comporte, l'unité de changement d'échelle de facteur k, d'une manière paramétrable, soit réalisé par l'utilisation d'un capteur dédié sur l'espace x, y durant un moment T,
Il comporte, l'unité de sélection de zone d'intérêt dans le référentiel amont x, y, soit faite par l'utilisation d'un capteur dédié sur l'espace x, y durant une séquence trame, en lui attribuant une dimension de zone k.ap0 par k.bp0 dans un référentiel X, Y, de cet espace x,y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i0, k.j0 une rotation du référentiel d'un angle bo0, et un rapport d'homothétie 1 /2(u"z),
Il comporte, pour extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement à partir des données définies dans ce carré de 2Z pixels de côté, soit employé :
a) une unité de traduction transformant chacune de ces données en type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 , b) une unité de calcul d'histogramme spatio-temporel bilinéaire bouclé, calculant, à partir des résultats élémentaires de type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 calculés précédemment, afin d'en repérer une zone d'intérêt intégré dans un carré de de dimension 2Z de côté de l'espace, représentant une partie de l'événement, en fonction des critères statistiques globale, dynamique et structurelle à un paramètre spatial de référentiel X1 , Y1 , afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :
a. une valeur médiane de bord orienté boi et de courbure cb-i,
b. une valeur de position de barycentre du nuage de points h , ji , c. une valeur dimensionnelle du nuage de point api, bpi,
c) l'on réitère l'introduction de nouvelles unités de calcul d'histogramme spatiotemporel bilinéaire bouclées, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2Z de côté non inhibé, jusqu'à n séquences de calcul ou bien lorsque une zone restante, non inhibé, de cet espace ne produit plus de zone correspondant audit critère statistique afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :
a. une valeur médiane de bord orienté bon et de courbure cbn,
b. une valeur de position de barycentre du nuage de points in, jn, c. une valeur dimensionnelle du nuage de point apn, bpn,
d) Un port de sortie transmettant toutes ces valeurs de représentations sémantiques élémentaires à une mémoire associative en vue d'une reconnaissance de label.
En application, le dispositif comporte des moyens de mémorisation associative entre la représentation sémantique assurant l'invariance et son label associé, le label représentant l'événement de manière unifié, et la représentation de la zone d'intérêt repérée, son contexte. Description de l'invention
La présente invention va maintenant être exemplifiée dans la description qui suit, sans pour autant en être limitée, et en relation avec les figures suivantes :
la figure 1 est une représentation, dans sa généralité, du procédé d'invariance perceptive automatisé permettant l'extraction invariante des représentations sémantiques perçues de l'événement dans son contexte selon l'invention,;
la figure 2 est une représentation, dans sa généralité, du dispositif d'invariance perceptive selon l'invention ;
la figure 3, est une description détaillée du processus de calcul des paramètres permettant l'invariance perceptive par l'utilisation d'un attracteur dynamique ; la figure 4, est une application intégrant l'invariance perceptive visuelle par mise en œuvre opto-mécanique de deux capteurs visuels ;
La figure 5, est une utilisation d'un dispositif de vision intégrant deux unités de représentations sémantiques, contexte et locale d'un label (100), en relation avec une mémoire associative (10) ;
la figure 6, est un exemple d'unité de représentation sémantique d'un label (100) à base de mémoire associative (10) en combinaison d'unités attracteurs dynamiques (80_i) associés à une unité de transfert de traduction (71 ) ;
les figures 7a et 7b, sont des illustrations de la fonction de transfert de l'unité de traduction (71 ) ;
les figures 8a à 8d, sont des illustrations de l'organisation des calculs d'histogrammes bilinéaires de l'unité attracteur dynamique (80_i) ;
La figure 9, est une illustration de l'extraction, par un attracteur dynamique (80_0), des représentations sémantiques contextuelles d'un élément perçu du dispositif de vision de la figure 5.
Description détaillée de l'invention
La figure 1 décrit le procédé générique d'invariance perceptive à partir d'un exemple de gestion dynamique, en séquences, de l'interaction entre l'événement, signal (HD) référencé (x,y), son contexte, signal (MAP1 ) référencé (i,j), et sa représentation, signal (MAP2) référencé (X,Y).
L'événement (90), intervenant dans un espace par rapport à au moins un paramètre consistant à le digitaliser et à le fournir en entrée à une unité de calcul d'invariance perceptive et en déduire le résultat désiré, est décrit par un flot de données a(xyt) associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T, les données parvenant à l'unité de calcul sous forme d'un signal (HD) numérique sous forme d'une suite a(xyt) de nombre binaire de a bits associé à des signaux de synchronisation permettant de définir le moment T donné de l'espace et la position du pixel dans cet espace, modifié par une unité de filtrage bidimensionnelle de type gaussien de taille 2w+1 , paramétré par la valeur w, et décimé suivant les deux dimensions par une valeur k, fonction affine du paramètre w, (k=0,81 w+1 ,09). Ce résultat défini un flot de données bidimensionnelles (MAP1 ) de moment T identique au flot précédent. Un premier moment T démarre au temps (tO) par la représentation de l'événement dans son contexte qui se doit d'être globale, comme une région homogène convexe de courbure générale (cb0) suffisante. Le paramètre de filtrage w égal à zéro défini le flot de sortie (MAP1 ) qui est analysé un calcul d'histogrammes bilinéaires bouclés correspondant à un attracteur dynamique (80_0) et en déduit en fin de moment T une valeur de courbure (cb0). Cette valeur de courbure (cb0) est comparée à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max :
• cb0 < La la valeur de w est augmentée d'une unité. Flag Val=0
• La < cb0≤ Lb la valeur de w reste inchangée. Flag Val=1
· cb0 > Lb la valeur de w est diminuée d'une unité. Flag Val=0
Les valeurs de w et k associée sont misent à jour pour le moment T suivant.
Au moment T suivant (t1 ), un filtrage gaussien est opéré par une matrice 3x3, (w=1 ) et k=1 . Le résultat (cb0 < La) entraine une augmentation de la valeur de w d'une unité et k prend la valeur 2.
Le moment T suivant (t2) démarre avec w=2 et k=2, forçant un lissage gaussien par convolution d'une matrice gaussienne 5x5 avec les données et, une décimation par 2 du flot de sortie (MAP1 ). Le résultat cb0, compris entre les deux bornes La et Lb, maintient la valeur w à 2, met le flag Val à un et déclenche le calcul du flot invariant (MAP2), de dimension 2zx2z, égal à :
· Une translation du point de centre x0= k.i0 et y0= k.j0 dans le repère (HD)
• Une rotation, à ce point de centre, des coordonnées d'un angle égal à bo0
• Une homothétie correspondant à la dimension la plus grande de la zone d'intérêt de l'attracteur dynamique (ap0) ou (bp0) multiplié par la valeur du coefficient de décimation (k) et mise à l'échelle par la validation des z premiers bits du résultat précédant.
Cette convergence étant stabilisée, signalé par le flag Val à 1 , la suite des moments T (t3) à (t5) font intervenir des attracteurs dynamiques par recrutement dynamique afin de récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, une représentation sémantique structurale, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2Z de côté non inhibé.
Le premier attracteur dynamique (80_1 ) en moment T (t3), se focalise sur le cumul de points le plus important, ici la courbure cbi et son orientation boi du chiffre « 2 » sa position χ-ι , ^ et sa dimension ap-i , bp-i , puis, en inhibant les informations de la zone principale précédemment repérée, en moment T (t4), un second attracteur dynamique (80_2) extrait sa base horizontale, courbure cb2 et son orientation bo2, sa position x2, y2 et sa dimension ap2, bp2, le premier attracteur dynamique reste accroché et enfin, en moment T (t5), un troisième attracteur dynamique (80_3) extrait sa partie oblique courbure cb3 et son orientation bo3, sa position x3, y3 et sa dimension ap3, bp3.
La zone restante du chiffre « 2 » non inhibé, de cet espace ne produit plus de zone correspondant audit critère statistique, la séquence s'arrête et les résultats (RSin_1 ), (RSin_2), et (RSin_3) respectivement des trois attracteurs dynamiques (80_1 ), (80_2) et (80_3) correspondent au message MEin introduit dans la mémoire associative (10) afin d'en délivrer par celle-ci le label « deux ».
La figure 2 représente le dispositif d'invariance perceptive en association au procédé décrit précédemment en figure 1 , et comporte les unités suivante :
L'unité de transduction (130)
Un événement (90) est perçu par un transducteur (130) qui débite un flot de données (HDxyt), associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T, lesdites données associées chacune à un paramètre temporel HD, étant sous la forme de signaux DATA(HD), numériques constituées d'une suite (HDxyt), de nombre binaire de a bits synchronisées par une horloge (Ck) et les positions x, y, de dimension respectivement de o et p bits, d'un séquenceur de données (150). Ce flot (HDxyt) est connecté à l'entrée d'une unité de filtrage gaussien (200) et à l'entrée d'une mémoire tampon (600).
L'unité de décimation (Dec) est composée:
• d'une unité séquenceur de données (150) générant les adresses x et y ainsi que des signaux de synchronisation des données ce cette unité de décimation (Dec),
• d'une unité de filtrage gaussien (200) synchronisée par une horloge (Ck) et les positions x, y d'un séquenceur de données (150) et paramétré par la valeur de filtrage (w). Cette unité assure une fonction de filtrage bidimensionnel de type gaussien par convolution d'une matrice gaussienne de taille 2w+1 sur les données d'entrée, le résultat est un flot de données bidimensionnelles lmG(Xyt), débité en séquence vers une unité de décimation (300). • d'une unité de décimation (300) recevant le flot entrée lmG(Xyt) et débitant en sortie le flot de données bidimensionnelles ΜΑΡΙ ^ vers l'unité de calcul de bords orientés (350), en sélectionnant suivant les deux dimensions x et y, un élément tous les k éléments. Par exemple, pour k égal à 1 , tous les éléments sont sélectionnés, pour k égal à 2, c'est un sur deux éléments, en suivant, qui sont sélectionnés dans les deux dimensions, la séquence débite donc quatre fois moins de données que reçu, et ainsi de suite pour k croissant. Cette unité génère une nouvelle séquence de position i, j tel que i=x/k et j=y/k.
L'unité de conversion (71 ') est composée:
· d'une unité de calcul de bords orientés (350) transformant chaque donnée entrante, codé sur a bits, position i,j, du flot MAP1 (ijt) en valeur angulaire Bo, position i,j, correspondant à la présence d'un bord signalé par le flag (Valide) à un ou en une valeur neutre le cas contraire, flag (Valide) à zéro. Ces valeurs constitue le flot ImBo(ijt) codé sur a bits,
· d'une unité de calcul de courbure (360), recevant flot ImBo(ijt), afin d'en calculer une notion de courbure (Cb), position i,j, correspondant aux variations locales angulaires trouvées ou en une valeur neutre le cas contraire, flag (Valide) à zéro. Ces valeurs constitue le flot ImCb(ijt) codé sur a bits,
• L'association de ces deux flots ImBo(ijt), ImCb(ijt), tronqué chacun de a bits à z bits de poids fort par une unités (540) constitue le flot bidimensionnel structural entrant dans l'attracteur dynamique (80_0).
• Le flot spatial (i,j) en association d'amplitude respectivement xmax/k et ymax/k et o/k, p/k bits est tronqué de u bits correspondant au nombre de bits constituant la valeur o/k ou p/k la plus grande moins les z bits de poids fort, constitue le flot bidimensionnel spatial entrant dans l'attracteur dynamique (80_0)
L'attracteur dynamique (80_0)
L'attracteur dynamique (80_0), décrit plus précisément en figure 3, calcule des histogrammes bidimensionnels spatio-temporel à chaque moment élémentaire validé par le flag (Valid) à un sur les couples de données tronquées instantanées i, j, et Bo, Cb, chaque couple comportant 2z bits comme un ensemble permettant un calcul d'histogrammes bidimensionnels spatio-temporel délivrant en fin de moment T un résultat, si présence de l'élément, • d'une position de barycentre de l'élément i0, jo, et un signal binaire de zone Z_ROI
• d'une dimension du nuage de points ap0, bp0 ainsi que sa représentation spatiale (Z_ROI) et,
· d'une orientation bo0 et courbure cb0 générales.
L'unité de calcul de l'invariance perceptive (Inv) comporte :
• Une unité de calcul de filtrage gaussien (400), paramétré suivant la valeur (w), recevant en fin de moment T la nouvelle valeur de courbure générale (cb0) qui est comparée à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max :
· cb0 < La la valeur de w est augmentée d'une unité. Flag Val=0
• La < cb0≤ Lb la valeur de w reste inchangée. Flag Val=1
• cb0 > Lb la valeur de w est diminuée d'une unité. Flag Val=0
• Une fonction affine du paramètre w recalcule la valeur k, (k=0,81 w+1 ,09).
Les valeurs de w et k associées sont transmises pour le moment T suivant, (w) à l'unité (200) et (k) à l'unité (300).
• Une unité de sélection de la région d'intérêt (510) reçoit les coordonnées du barycentre i0, jo, le coefficient k de décimation, l'orientation angulaire bo0, et les coordonnées x, y du flot (HD(xyt)), et en calcule de nouvelles coordonnées X0, Y0 suivant la fonction :
Figure imgf000016_0002
avec -k.apo≤ X < k.ap0 et -k.bp0≤ Y < k.bp0
Un multiplexeur d'adresses (520) transfère les adresses précédemment calculées, pour la zone d'intérêt (Z_ROI) valide, au port d'adresses de la mémoire tampon (600). Ce signal (Z_ROI), validé par le signal Val valide (ET booléen (550)) correspondant à une valeur de décimation correcte, sert de commande d'écriture (Wr) de la mémoire tampon (600) pour les données du flot (HD(Xyt)) présentées sur son port entrée (In).
Un séquenceur d'adresses mémoire (530) génère un flot d'adresses X1 , Y1 qui passe au travers du multiplexeur d'adresses (520) et va servir de lecture séquentielle de la mémoire tampon (600), en tant que flot de données (MAP2), hors temps d'écriture sur une plage correspondant à
Figure imgf000016_0001
et Yi=k.bp0. L'unité ROI comporte :
• Une unité de mise à l'échelle (542) tronquant les valeurs X1 et Y1 sur les z bits de poids fort afin de générer une adresse X et Y chacune sur une plage de 2Z valeurs, correspondant à la taille du carré de 2Z de côté.
· Le flot de données (MAP2) issu de la lecture de la mémoire (600) en adresse X, Y, correspondant aux informations invariantes de l'élément perçu.
La figure 3a décrit le processus de calcul des paramètres permettant l'invariance perceptive par l'utilisation d'un attracteur dynamique (80_0) constitué de deux ensembles d'unités de calcul d'histogrammes bilinéaires (81_S) et (81_P) recevant les signaux et produisant chacun une valeur de classification dont le produit (V) sert de validation des calculs :
• le premier sous-ensemble (81 _S) recevant deux signaux porteur des paramètres temporels Bo,Cb et,
· le deuxième sous-ensemble (81_P) recevant deux signaux spatiaux i,j,
• la valeur de classification du premier sous-ensemble (83) validant un groupe de points de l'espace traité par ce sous-ensemble, le nombre desdits points étant n1 qui se doit d'être supérieur à une valeur de seuil afin d'être pris en compte,
• la valeur de classification du second sous-ensemble (83) validant les valeurs de paramètres traités par ce second sous-ensemble,
• les deux sous-ensembles produisant conjointement un signal binaire Z_ROI représentant une zone d'intérêt et un signal binaire BC représentant la valeur du paramètre temporel de cette zone,
• un opérateur ET 86 combinant les signaux binaires de sortie Z_ROI et BC, la sortie de cet opérateur servant de signal de validation (78) de calcul des ensembles d'unités de calcul d'histogrammes bilinéaires,
• un séquenceur externe initialisant les mémoires de ces ensembles d'unités de calcul d'histogrammes bilinéaires au démarrage du moment T, puis validant le calcul durant le moment T, pour repérer une zone d'intérêt de l'espace lié à l'événement, en fonction des critères statistiques de courbure et bord orienté appliqués à un paramètre spatial et en fin de moment T, récupérant pour la zone d'intérêt ainsi repérée:
a) une valeur médiane de bord orienté bo0 et de courbure cb0, b) une valeur de position de barycentre du nuage de points i0, jo, c) une valeur dimensionnelle du nuage de point ap0, bp0,
• une série de registres mémoire (RSi-5) à (RSi-8) mémorisant ces valeurs récupérées afin de préserver la validité de ces informations durant le moment T+1 en vue d'une utilisation future.
• Chaque ensemble d'unité de calcul d'histogrammes bilinéaires (81_S) et (81_P) comporte :
• Une unité mémoire d'analyse (82) comportant des mémoires avec des adresses, chacune associée à des valeurs possibles des nombres de 2.2Z bits du signal Bo,Cb pour l'unité (81_S) et i,j pour l'unité (81_P) et dont l'écriture est contrôlée par un signal « Write »
• Une unité de classification (83), pour l'unité (81 _S), comprenant une mémoire destinée à recevoir les critères A, B, C, D de sélection des paramètres Bo,Cb, recevant les paramètres Bo,Cb, en entrée et fournissant, en sortie, un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal Bo avec les critères A, B de sélection et Cb, avec les critères C, D de sélection. Pour l'unité (81_P), l'unité de classification (83) opère de la même façon par remplacement des paramètres Bo,Cb, par i,j. Le signal binaire de classification est validé si le premier paramètre est compris entre les critères A et B, et en même temps si le second paramètre est compris entre les critères C et D.
• Une mise à jour de l'unité de classification (83), par écriture mémoire des critères A, B, C, D par analyse, en fin de moment T, des éléments calculés par la mémoire histogramme pour un niveau de la valeur n1 suffisant.
La figure 3b représente le résultat structurel de l'élément calculé par les histogrammes bilinéaires spatio-temporels durant le moment T. Le couple de paramètres Bo et Cb forment une représentation 2D, avec pour origine le coin haut gauche d'un carré horizontal de dimension 2Z-1 , Bo sur un axe et Cb sur l'autre axe. Un troisième axe vertical représente le cumul de chaque couple. Le maximum de cumul est représenté par le couple de valeurs bo0, cb0.
La figure 3c représente le résultat spatial de l'élément calculé par les histogrammes bilinéaires spatio-temporels durant le moment T. Le couple de paramètres i et j forment une représentation 2D, avec pour origine le coin haut gauche d'un carré horizontal de dimension 2Z-1 , i sur un axe et j sur l'autre axe. Un troisième axe vertical représente le cumul de chaque couple. Le maximum de cumul est représenté par le couple de valeurs i0, jo- La plage spatiale de l'élément a pour dimension apO et bpO centré sur i0, jo, et orienté d'un angle égal à bo0 centré en i0, jo- La figure 3d représente la région d'intérêt ROI, résultat spatial de l'élément calculé précédemment reporté sur le référentiel amont x,y. La plage de la région d'intérêt ROI de l'élément a pour dimension k.apO et k.bpO centré sur x=k.i0, y=k.j0, et orienté d'un angle égal à bo0 centré en sur x=k.i0, y=k.j0. Les données de cette zone d'intérêt ROI sont définies suivant les coordonnées X et Y, origine au centre de la zone d'intérêt et de dimension -k.ap0≤ X < k.ap0 et -k.bp0≤ Y < k.bp0.
La figure 4 décrit un dispositif générique d'invariance perceptive d'un événement (90) à partir de deux caméras couplées, la première caméra C1 sortant un signal MAP1 de faible résolution associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T, sur un grand champ et la seconde caméra C2 mobile par rapport à la première de haute résolution sur un champ étroit sortant un signal MAP2 associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T. Une première unité de représentation sémantique d'un label (100_1 ), décrit en détail en figure 6, reçoit le signal MAP1 et une seconde unité de représentation sémantique d'un label (100_2) reçoit le signal MAP2, les sorties de l'information label de chaque unité de représentation sémantique d'un label (100_1 ) et (100_2) sont connectées à une mémoire associative (10) qui en sort une information représentant l'événement dans son contexte.
L'événement perçu par la caméra C1 est analysé globalement par l'unité de représentation sémantique d'un label (100_1 ) qui en fourni des informations,
• de courbure générale cbO à un effecteur (96) qui en déduit un coefficient k' de zoom et,
· de position centrale i0, jo, avec dimensionnement ap0 et bp0, et orientation de la zone d'intérêt bo0 incluant l'événement dans le référentiel de base perçu. Ces informations, ainsi que la valeur k', sont transmises à un effecteur (97), qui commande la mise en position et le grandissement de la caméra C2, tel que son axe optique pointe sur la position centrale de la zone d'intérêt, le grandissement soit adapté à la dimension de ladite zone d'intérêt, et que l'axe principal perpendiculaire à l'axe optique soit tourné d'un angle correspondant à la valeur de bord orienté délivrée.
L'événement perçu par la caméra C2 est analysé en détail, en tant qu'événement invariant par l'unité de représentation sémantique d'un label (100_2) qui, en séquence, en déduit des représentations sémantiques élémentaires caractérisant l'événement qui sont présentées à une mémoire associative afin d'en reconnaître un label. La figure 5 décrit un dispositif générique d'invariance perceptive à partir d'une seule caméra de très haute résolution à champ large sortant un signal HD. C'est une extension et généralisation du dispositif décrit en figure 2.
La partie identique.
Même événement (90), même transducteur (130) avec même flot (HD) en liaison avec l'unité de décimation (Dec) et l'unité (ROI), tous deux pilotés par l'unité de calcul d'invariance (Inv).
L'extension.
L'unité de représentation sémantique générique (100_0), décrit en détail en figure 6, reçoit, en entrée, le signal ΜΑΡΙ ^, sa position (i,j) et incorpore une unité de mémoire associative (10) en association à :
• une unité de transfert de traduction (71 ) qui inclus l'unité (71 ') et est étendue à la perception globale et dynamique, décrit en détail en figure 7a et,
• une unité attracteur dynamique (80_0) qui inclus, à la description faite en figure 2,
o deux unités de traitement statistique (81 _G) pour une perception dite globale, et (81_D) pour une perception dite dynamique, décrit en détail en figure 6 et,
o un classifieur (84) dans chaque unité de traitement statistique.
Cette unité de représentation sémantique générique (100_0) délivre, en fin de moment T, les informations à l'unité de calcul d'invariance comme précédemment décrit en figure 2 ainsi qu'à une unité de mémoire associative en y adjoignant des informations complémentaires de représentations sémantiques élémentaires globale et dynamique, l'ensemble de ces représentations forme un message qui est lue par la mémoire associative (10) et en délivre une valeur de label (Loutj). Inversement, cette valeur de label peut être réintroduit dans cette même mémoire associative (10) en tant que valeur Lin i, la sortie de cette mémoire fourni alors un message, qui a été précédemment appris, qui pilote les classifieurs (84) en vue d'une confirmation des informations acquises.
L'unité de représentation sémantique générique (100_1 ) reçoit, en entrée, le signal MAP2(xYt), sa position (X,Y) et possédant n unités attracteurs dynamiques, délivre jusqu'à n sous-messages à une mémoire associative (10) qui en déduit, si déjà connu, un label (LoutJ). Comme décrit précédemment, une fonction inverse, qui introduit le label (LinJ) dans la mémoire associative (10) de l'unité (100_2), pilote les classifieurs (84) en vue d'une confirmation des informations acquises.
La figure 6 illustre un exemple d'utilisation de la mémoire associative (10) en combinaison d'unités attracteurs dynamiques (80_i) et d'une unité de transfert de traduction (71 ) définissant l'unité de représentation sémantique d'un label (100). Pour plus de clarté, les signaux de séquencement ont été omis.
L'unité de transfert de traduction (71).
Des données spatio-temporelles (70) issues d'un élément amont, récepteur (92) ou résultats de traitement d'unité de mémoire associative (10), ici non représenté, sont délivrées sur le port entrée (E, P(i,j)) d'une unité de transfert de traduction (71 ) qui débite à son tour d'une manière synchrone, cadencé par un signal d'horloge (Ck), des représentations sémantiques élémentaires référencées en position sur ses ports de sorties (G), (D), (S), et (P). Chaque port de sortie (G), (D), (S), et (P) est connecté indépendamment et respectivement, sur le bus G (72), le bus D (73), le bus S (74) et le bus P (75), tous de taille identique de 2z bits. Les n unités attracteur dynamique (80_1 ) à (80_n) se connectent à ces quatre bus, respectivement sur leur port d'entrée (G), (D), (S), et (P).
L'unité attracteur dynamique (80_1)
L'unité attracteur dynamique (80_1 ) est représentée plus en détail afin d'en expliciter le fonctionnement, sachant que toutes les unités attracteurs dynamiques (80_1 ) à (80_n) sont de constitution identiques. Cette unité attracteur dynamique (80_1 ) inclut :
• quatre unités traitement statistique (81 _G), (81 _D), (81 _S), et (81 _P) identiques.
Chaque unité traitement statistique (81_x) comporte :
o une unité de calcul histogramme bilinéaire (82), comportant ■ Une entrée donnée (x) correspondant à (G) ou (D) ou (S) ou (P) suivant l'unité traitement statistique (81 _x),
■ Une unité de registres résultats (R),
■ Une entrée de validation du calcul d'histogramme bilinéaire (V) et,
■ une unité de séquencement, ici non représentée, dépendant du mode de fonctionnement, soit par séquence soit par nombre d'événements, qui assure, cycliquement en séquence, la phase d'initialisation, la phase calcul histogramme, la phase mise à jour registres (R) et la phase classification automatique.
La phase d'initialisation consiste à mettre à zéro la mémoire de stockage des calculs d'histogramme et à initialiser les divers registres de calcul.
Durant la phase calcul histogramme, à chaque donnée (x) présentée correspond un signal d'entrée (V) qui valide ou non le calcul.
En fin de séquence ou dès que la valeur maximale de l'histogramme dépasse un seuil paramétré extérieurement, suivant le mode utilisé, les registres (R) sont actualisés ainsi que les registres de l'unité de classification automatique (83). Les valeurs calculées sont, le nombre de calcul (NBPTS), la médiane (Med), la valeur du maximum (RMAX), sa position (PosRMX) et les bornes de classification (A), (B), (C), et (D).
o deux unités de classification, automatique (83) et requête (84), reçoivent chacune les données codées sur 2z bits du port d'entrée (x) et délivrent chacune un signal binaire de classification valide pour les z bits de poids fort compris entre ses bornes de classification (A) et (B) et pour les z bits de poids faible compris entre ses bornes de classification (C) et (D),
o une unité booléenne de validation de classification (85) reçoit les signaux binaires de classification des deux unités de classification automatique (83) et requête (84). Le ET logique entre ces deux signaux binaires de classification est transmis hors de l'unité traitement statistique (81 _x).
Une unité booléenne de classification spatio-temporelle (86) reçoit les signaux binaires de classification des quatre unités traitement statistique (81 _G), (81 _D), (81_S), et (81_P) pour en faire un ET logique qui est transmis à l'unité de validation de calcul d'histogramme (87).
Une unité de validation de calcul d'histogramme (87) comprend une unité logique ET à deux entrées dont une inversés (88) et une unité logique OU à deux entrées (89). L'unité logique ET (88) reçoit en direct le signal binaire issu de l'unité logique ET (86) et en inverse le signal binaire entrée (Cin) de l'unité (80_1 ) et délivre un signal binaire de validation de calcul d'histogramme sur l'entrée (V) de chaque unité traitement statistique (81_G), (81_D), (81 _S), et (81_P).
L'unité logique OU (89) reçoit le signal binaire entrée (Cin) de l'unité (80_1 ) et le signal binaire de validation de calcul d'histogramme de l'unité logique ET (88) et délivre un signal binaire d'inhibition sur le port de sortie (Cout) de l'unité (80_1 ).
• Une unité de registres de sortie (76) comporte les registres (RSi-1 ) à (RSi-q) mis à jour à chaque dépassement de la valeur (NBPTS) par rapport à un seuil paramétré extérieurement. L'ordre des registres (RSi-1 ) à (RSi-p) correspond aux valeurs de médianes (Med-ι, Med2) et à la plage de classification (P-i , P2) défini par l'écart entre les bornes de classification (B) moins (A) et (D) moins (C) pour chaque unités traitement statistique (81_G), (81_D), (81 _S), et (81_P). Soit pour (RSi-1 ) et (RSi-2), respectivement les médianes du mode globale (MedG-i , MedG2) et leur plages respectives (PG-i, PG2), de même pour le mode dynamique, structurale et leur position (MedP-ι, MedP2) correspondant au barycentre énergétique et (PP-i, PP2) à son étendu. Dans cet exemple l'unité de registres de sortie (76) comporte les registres (RSi-1 ) à (RSi-8). En général un certain nombre de registres (RSi-x) ne sont pas exploités car non pertinent. Par exemple la perception visuelle d'un texte possède un mode global uniforme (même couleurs et non déplacement), seul l'aspect structurant apporte une information pertinente, ce qui réduit les huit registres de départ à trois : barycentre, dimension et structure.
• Une unité de registres d'entrée (77) comporte les registres (RSo-1 ) à (RSo-q) représentant la même organisation que celle de l'unité de registres de sortie (76).
Soit pour (RSo-1 ) et (RSo-2) respectivement les médianes du mode globale (MedGi, MedG2) et leur plages respectives (PG-i, PG2), qui sont transformés en bornes de classification (A), (B), (C), (D) tel que la borne (A) soit égale à (MedG-i) - (PG-i/2), la borne (B) à (MedG2) + (PG2/2), de même pour les bornes (C) et (D) dans le même ordre.. Ces bornes (A), (B), (C), (D) de classification sont écrites dans l'unité de classification de requête (84). La même opération est répétée pour les autres unités de classification de requête (84) des unités (81_D), (81_S) et (81 _P). Pour une information de z bits plus grand que quatre bits, il est préférable d'étendre la plage de classification en diminuant la borne basse de classification d'une valeur de 1 à 2 bits et en augmentant la borne haute de classification d'une valeur de 1 à 2 bits afin d'élargir la requête.
La Mémoire Associative (10)
L'unité Mémoire Associative (10), décrit dans les figures précédentes, dans sa mise en œuvre générique a pour interface avec les unités attracteurs dynamiques (80_1 ) à (80_n) le message (MEin_i) constitué de n sous-messages (RSin_1 ) à (RSin_n) et le message (MEoutJ) constitué de n sous-messages (RSout_1 ) à (RSout_n).
Le sous-message (RSin_1 ) est transmis de l'unité de registres de sortie (76) de l'unité attracteur dynamique (80_1 ) au port d'entrée (In) de la sous-unité mémoire (2_1 ) de l'unité Mémoire Associative (10). De même, le sous-message (RSin_2) est transmis de l'unité de registres de sortie (76) de l'unité attracteur dynamique (80_2) au port d'entrée (In) de la sous-unité mémoire (1_2) de l'unité mémoire associative (10), et la transmission continue dans le même ordre jusqu'au rang n.
En inverse, le sous-message (RSout_1 ) est transmis du port de sortie (Out) de la sous-unité mémoire (2_1 ) de l'unité mémoire associative (10) à l'unité de registres d'entrée (77) de l'unité attracteur dynamique (80_1 ). De même, le sous-message (RSout_2) est transmis du port de sortie (Out) de la sous-unité mémoire (1_2) de l'unité mémoire associative (10) à l'unité de registres d'entrée (77) de l'unité attracteur dynamique (80_2), et la transmission continue dans le même ordre jusqu'au rang n.
L'unité mémoire associative (10) comporte :
• un premier ensemble composé de n sous-unités mémoires, composée chacune de 2m mots de m bits, notées de (2_1 ) à (2_n), et recevant chacune sur leur port d'entrée (In) respectivement le sous-message (RSin_1 ) pour la sous-unité mémoire (2_1 ) jusqu'au sous-message (RSin_n) pour la sous-unité mémoire (2_n),
• un second ensemble composé d'une sous-unité mémoire de 2V mots de v bits (1 ) recevant sur le port d'entrée (In) le label (LinJ) et,
• une unité de calcul de maximum de vraisemblance (4) afin de sélectionner la valeur r, s ou autre la plus représentée. Cette unité (4) reçoit du port de sortie
(Cadr) de chaque sous-unité mémoire (2_1 ) à (2_n) une valeur r, ou autre s respectivement sur un port entré (L_i) à (L_n) avec leur signal binaire respectif de validation sur l'entré respectivement (V_1 ) à (V_n). Le séquencement interne est assuré par un signal horloge (CK) introduit dans l'unité (4). Le choix du maximum de vraisemblance est positionné sur le port de sortie (L_i), un bus de v bits transmet cette valeur au port entrée (Adr) de la sous-unité mémoire (1 ) qui délivre sur son port de sortie (Out) la valeur du label (Lout_i).
Dans le sens label vers message, la présentation de (LinJ) sur le port entrée (In) de la sous-unité mémoire (1 ) entraine la délivrance de la valeur j sur son port de sortie (Cadr), cette valeur j est transmise au bus (AB) au travers d'une unité de choix de valeur de lien (10) et est présentée à toutes les sous-unités mémoire (2_1 ) à (2_n) qui délivre chacune sur son port de sortie (Out) le sous-message respectivement (RSout_1 ) à (RSout_n) qui, ensemble, forme le message (MEoutJ).
Dans le sens inverse, message vers label, les sous-messages (RSin_1 ) à (RSin_n), correspondant au message (MEin_i), sont présentés respectivement sur le port entrée (In) de chaque sous-unité mémoire (2_1 ) à (2_n) qui délivrent chacune une valeur r, ou autres sur leur port de sortie (Cadr) respectif en association à un signal binaire de validation débité par la sortie (M) de la même sous-unité mémoire. Dans le cas où le sous-message présenté est absent de la sous-unité mémoire, celle-ci délivre sur sa sortie (M) un signal binaire de non validation, la valeur présente sur son port de sortie (Cadr) est alors ignorée.
Décomposition des messages.
Chaque message reçu (MEin) de n.m bits est composé de n sous-messages (RSin_x) de m bits, x variant de 1 à n. De même chaque message (MEout) de n.m bits délivré par la mémoire associative est composé de n sous-messages (RSout_x) de m bits, x variant de 1 à n.
Chaque sous-message est segmenté en q éléments (RSi_x) entrant ou (RSo_x) sortant de z bits correspondant à m/q bits dont le rang de l'élément correspond à une notion de position, dimensionnement et de caractérisation.
• La position est définie par son référentiel (Ref), variant généralement de un à trois, souvent égale à deux pour un couple d'éléments par exemple x et y représentant une relation entre deux distances dans le référentiel (Ref), ou t et f représentant une relation entre temps et fréquence dans le référentiel (Ref). D'une manière générale, c'est la position du barycentre du nuage de données représentant la caractérisation ci-dessus défini par ses éléments du sous- message.
• Le dimensionnement caractérise l'étendu du nuage de données, généralement sa dimension, donc un élément (RSi_x), dans chacun des axes du référentiel (Ref). • La caractérisation est généralement une représentation sémantique élémentaire de type :
• Globale, par exemple non limitatif, une couleur est définie par une tente et une saturation, une voie d'enfant est défini par un fondamental, etc.
· Dynamique, par exemple non limitatif, un mouvement est défini par sa vitesse et son orientation, c'est aussi la prosodie d'une voix, etc.
• Structurelle, par exemple non limitatif, un bord est défini par son orientation et sa courbure, un phonème est défini par la répartition de ses formants dans le temps, etc.
Le label se compose d'un mot de v bits, la quantité de labels mémorisable est de 2V- 1 , le label « zéro » étant exclus.
La définition du label est donnée par le message entrant qui peut être incomplet et/ou erroné, d'où une difficulté de retrouver le label. L'utilisation d'un mode ternaire sur certains éléments (RSi_x), correspondant à masque d'un champ de bits appliqué à une partie du message d'entrée (17) de (RSinj), permet de résoudre ce problème. La figure 7-a explicite le fonctionnement de l'unité de transfert de traduction (71 ) à partir des données spatio-temporelles (70) (Données temporelles E et position P(i,j)) issues d'un capteur externe, non représenté. Chaque donnée spatio-temporelle (70), entrante dans cette unité (71 ), est traduite et délivrée sur quatre ports de sortie, d'une manière synchrone par un signal (Ck), en trois représentations sémantiques élémentaires distinctes, (G), (D), (S), positionnées en (P). Chaque port de sortie (G), (D), (S), et (P) est connecté indépendamment et respectivement, sur le bus G (72), le bus D (73), le bus S (74) et le bus P (75).
La figure 7-b est une représentation imagée, montrant la régistration des différentes données (G), (D), (S), et (P). La donnée entrante est représentée dans son mode global sortie (G), dynamique sortie (D), et structural sortie (S), et en position (i,j) déterminée par la donnée (P), suivant trois plans registrés en mode 2D. La position (P) est exprimée en fonction de la dimension de sa base. Généralement 2D pour des données visuelles (x, y) ou auditives (t, f), elle peut être étendue à du 3D ou réduite à 1 D, des dimensions supérieures sont possibles mais rédhibitoires par la taille mémoire dévolue.
La figure 8 illustre l'organisation des résultats des calculs des quatre histogrammes bilinéaires de l'unité attracteur dynamique (80_i) à partir des données (G), (D), (S), et (P) de 2z bits issues de l'unité de transfert de traduction (71 ). La donnée entrante traitée dans cet exemple est de type vision 2D. L'unité (71 ) traduit cette donnée en
• représentation globale (G) : suivant deux axes, teinte (T) et saturation (S).
Histogramme (H_G) sur 22z valeurs, figure 8a.
· représentation dynamique (D) : suivant deux axes, direction (Dir) et vitesse de déplacement (Vit). Histogramme (H_D) sur 22z valeurs, figure 8b.
• représentation structurale (S) : suivant deux axes, bord orienté (Bo) et courbure (Cb). Histogramme (H_S) sur 22z valeurs, figure 8c.
• représentation en position (P) : suivant deux axes (X) et (Y). Histogramme (H_P) sur 22z valeurs, figure 8d.
Chaque donnée entrante est codée en mot de 2z bits donnant une représentation matricielle 2Z x 2Z du calcul d'histogramme, les z bits premiers représentant un axe et les z bits restant le second axe de la matrice.
Pour illustrer le procédé perceptif de représentations sémantiques élémentaires, une portion de bord d'un objet (Ob) est visualisée en figure 8d par sa représentation en position (P), valeurs grisées correspondant aux résultats classés, par l'unité de classification (83), du calcul d'histogramme bilinéaire de la matrice (H_P). Le résultat de ce calcul d'histogramme est transmis à l'unité de registres de sortie (76) avec pour valeur, son barycentre en position de 2z bits (x, y) et sa plage en dimension de 2z bits (ap, bp).
L'orientation et la courbure locale perçu de l'objet (Ob), figure 8c, est délivré par le calcul de l'histogramme bilinéaire (H_S) dont le résultat du calcul est transmis à l'unité de registres de sortie (76) avec pour valeur, son barycentre, donc sa représentation sémantique d'orientation et de courbure de 2z bits (bo, cb) et sa tolérance de 2z bits (as, bs).
La figure 8a indique, par le résultat du calcul d'histogramme bilinéaire (H_G) la couleur dominante de la partie de l'objet (Ob) représentée par sa valeur de teinte et de saturation de 2z bits (t, s) avec sa valeur de tolérance de 2z bits (ag, bg), transmis à l'unité de registres de sortie (76).
De même la figure 8b indique, par le résultat du calcul d'histogramme bilinéaire (H_D) le déplacement locale de la partie de l'objet (Ob) représentée par sa valeur de direction de mouvement et sa vitesse sur 2z bits (dir, vit) avec sa valeur de tolérance de 2z bits (ad, bd), transmis à l'unité de registres de sortie (76). En inverse, l'unité de registres d'entrée (77) actualise, dans le même ordre, les bornes de classification des unités de classification requête (84) de chaque unité de traitement statistique (81 _G), (81 _D), (81 _S), et (81 _P).
Ce procédé perceptif assure un asservissement entre les données perçues, représentées et interprétées en tant que label appris.
Dans cet exemple d'application, le sous-message entrant (RSin_x) de la mémoire associative (10) est composé des résultats (t, s, ag, bg) pour le sous message (RSi- 1 ) et (RSi-2), (dir, vit, ad, bd) pour le sous message (RSi-3) et (RSi-4), (bo, cb, as, bs) pour le sous message (RSi-5) et (RSi-6), et (x, y, ap, bp) pour le sous message (RSi-7) et (RSi-8). De même pour le sous message sortant (RSout_x) de la Mémoire Associative (10).
Ce sous-message (RSin_x) est une représentation sémantique élémentaire globale, dynamique, structurale (réponse à la question Quoi ?) et positionnée (réponse à la question Ou ?). Les n sous-messages (RSin_x), x variant de 1 à n, définissent le message MEin_i représentant en sortie de la mémoire associative (10) le label (Loutj).
La figure 5 représente une application utilisant l'invariance perceptive visuelle avec extraction de représentations sémantiques élémentaires enregistrées dans une mémoire associative (10).
Une scène (1 10) comportant un symbole, en l'occurrence un chiffre deux écrit sur une surface plane, est perçue par une caméra (120) placée en face qui délivre un signal vidéo haute densité (HD), par exemple 20 Mp (Méga pixel) à 50 fps (50 images de 20 million de pixels par seconde).
Ce signal (HD) est délivré, conjointement à :
· une unité de décimation (Dec) qui transforme par décimation spatiale ce signal (HD) en un signal (MAP1 ) de faible résolution représentant le même point de vue, par exemple un format VGA à 0,3 Mp et de même fréquence image 50 fps, et, • une unité d'extraction de région d'intérêt (ROI) qui découpe ce signal (HD) en un signal (MAP2) de même résolution spatiale sur une plage correspondant à
Figure imgf000028_0001
et transmis à même fréquence image 50 fps ou à un multiple de la fréquence image, par exemple 8 fois.
Le signal vidéo (MAP1 ) est introduit dans une unité générique de représentation sémantique (100_1 ) qui perçoit le symbole écrit en tant que tache. L'attracteur dynamique (80_0) de cette unité (1 00_1 ), voir figure 9, délivre les représentations sémantiques élémentaires :
• globale (G_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de couleur ; barycentre teinte et saturation (t0, s0) et de plage de répartition des données suivant les deux axes T et S (ag0, bg0) correspondant respectivement aux sous-messages (RSin-1 ) et (RSin-2).
• dynamique (D_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de mouvement ; barycentre direction et vitesse de mouvement (dir0, vit0) et de plage de répartition des données suivant les deux axes Dir et Vit (ad0, bd0) correspondant respectivement aux sous-messages (RSin-3) et (RSin-4).
• structurelle (S_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de forme ; barycentre bord orienté et courbure (bo0, cb0) et de plage de répartition des données suivant les deux axes Bo et Cb (as0, bs0) correspondant respectivement aux sous-messages (RSin-5) et (RSin-6).
· position (P_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de position ; barycentre position X et Y (x0, yo) et de plage de répartition des données suivant les deux axes X et Y (ap0, bp0), orienté d'un angle ccO égal à la valeur bo0, correspondant respectivement aux sous-messages (RSin-7) et (RSin-8).
L'ensemble des éléments (RSin_1 ) à (RSin-8) constitue le sous-message (RSin_0). Ce message donne une représentation sémantique de l'élément perçu dans son ensemble, dans cet exemple l'élément est de couleur (t0, s0), immobile (ado, bd0)=0,0, centré en (x0, yo), orienté d'un angle bo0, et de taille (k.ap0, k.bp0). C'est une représentation contextuelle.
L'unité de calcul d'invariance (Inv) lit au travers du bus de communication (S_MA), les informations de bord orienté et de courbure (bo0, cb0) et calcule le coefficient de filtrage w et de décimation k qui est transmis à l'unité (Dec). Cette boucle, adapte dynamiquement la décimation du signal (HD) vers (MAP1 ) afin de maintenir le résultat cb0 entre les deux bornes La et Lb, met le flag Val à un et, déclenche le calcul du flot invariant (MAP2), de dimension 2zx2z, égal à :
• Une translation du point de centre x0= k.i0 et y0= k.j0 dans le repère (HD)
• Une rotation, à ce point de centre, des coordonnées d'un angle égal à bo0 • Une homothétie correspondant à la dimension la plus grande de la zone d'intérêt de l'attracteur dynamique (ap0) ou (bp0) multiplié par la valeur du coefficient de décimation (k) et mise à l'échelle par la validation des z premiers bits du résultat précédant.
Cette convergence étant stabilisée, signalé par le flag Val à 1 , la suite des moments T font intervenir des attracteurs dynamiques par recrutement dynamique afin de récupérer, pour la zone d'intérêt (ROI) ainsi repérée en fin de moment T, une représentation sémantique structurale, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2Z de côté non inhibé. Cette zone image référencée en position (ΜΑΡ2(χ γ)) forment le signal vidéo (MAP2) qui est introduit dans une unité générique de représentation sémantique (100_2) afin de percevoir le symbole écrit dans son intégrité. Les attracteurs dynamiques (80_1 ), (80_2), et (80_3), de cette unité (100_2), voir figure 1 , délivre chacun, des représentations sémantiques élémentaires structurales et de position, par ordre décroissant de nombre de pixels perçus dans la trame vidéo. Dans cet exemple, la courbure du chiffre deux comporte le plus grand nombre de pixels perçus et est donc représentée par l'attracteur dynamique (80_1 ) qui délivre un sous-message (RSin_1 ) de m bits composé des éléments de bord orienté et courbure associée (bo-ι , cb-ι) de 2z bits, des éléments de position (x-i , y-ι) de 2z bits, de dimension (api , bpi) de 2z bits et, d'orientation ai égal à bo-i . Le recrutement dynamique d'un second attracteur dynamique (80_2), qui reçoit l'inhibition du traitement précèdent, perçoit le nombre de pixels le plus important correspondant à la partie horizontale du chiffre deux et, délivre un sous-message (RSin_2) de m bits composé des éléments de bord orienté et courbure associée (bo2, cb2) de 2z bits, des éléments de position (x2, y2) de 2z bits, de dimension (ap2, bp2) de 2z bits et, d'orientation cc2 égal à bo2. La séquence continue avec le recrutement dynamique d'un troisième attracteur dynamique (80_3) qui, reçoit l'inhibition des traitements précédents, perçoit le nombre de pixels le plus important correspondant à la partie oblique du chiffre deux et, délivre un sous- message (RSin_3) de m bits composé des éléments de bord orienté et courbure associée (bo3, cb3) de 2z bits, des éléments de position (x3, y3) de 2z bits, de dimension (ap3, bp3) de 2z bits et, d'orientation cc3 égal à bo3. Le nombre de pixels restant non traités étant inférieur à un seuil de qualification (valeur (NBPTS) inférieure à un seuil), la séquence de recrutement d'un nouvel attracteur dynamique s'arrête.
Le message (MEin_i) se compose des sous-messages (RSin_1 ), (RSin_2), et (RSin_3), soit une combinaison de 3 mots de 6z bits. Pour une faible précision de 6%, valeur donnée entrante z codée sur 4 bits, 26z vaut 224 soit près de 1 6 million de valeurs, et la combinatoire pour n=3 et ME=16x106 vaut:
= ME! _MEn_ (16x106)3 ^6,8x1 Q20
UME (w-n)!.n! n! 6
Ce message (MEin_i) est associé au label (Lin i) valant « deux », dans ce cas, et est mémorisé dans la mémoire associative (10) de l'unité de représentation sémantique (100_2).
L'unité de séquencement (Sec) contrôle, au travers des bus de communication (S_P2) entre l'unité de représentation sémantique d'un label (100_2) et le séquenceur (Sec) et (S_MA) entre l'unité mémoire associative (10) et le séquenceur (Sec), l'organisation des messages perçus.
Une mémoire associative (10) associe le label (LoutJ) issu de l'unité (100_1 ) et le label (Loutj) issu de l'unité (100_2) afin de sortir un label (Lout_k) correspondant à la valeur du chiffre « deux » dans son contexte. Par exemple ce dispositif permet de valider le chiffre « un », contextuellement positionné à droite du chiffre « deux » précédemment perçu afin de former le nombre « vingt et un ».
D'un point de vue applicatif, le descriptif du dispositif de calcul d'invariance perceptive automatique d'un événement décrit en figure 5, peut être avantageusement intégré en un module électronique et être utilisé en tant que pilotage intelligent d'un effecteur (97) à partir de signaux issus d'un transducteur (130), dans le domaine de l'internet des objets.
Référence nombres et symboles
1 Sous-unité mémoire associative de 2V mots de v bits
2_i sous-unité (i) mémoire associative de 2V mots de m bits
4 unité de sélection de maximum de vraisemblance
10 unité Mémoire Associative
70 données spatio-temporelles entrantes
71 unité de transfert de traduction 71 ' unité simplifiée de transfert de traduction
72 bus G
73 bus D
74 bus S
5 75 bus P
76 unité de registres de sortie
77 unité de registres d'entrée
78 signal binaire de validation de calcul d'histogramme
80 unité attracteur dynamique
îo 81_G, 81_D, 81_S, et 81_P unités traitement statistique
82 unité de calcul histogramme bilinéaire
83 unités de classification automatique
84 unités de classification requête
85 unité ET booléenne à deux entrées de validation de classification
15 86 unité ET booléenne à quatre entrées de classification spatio-temporelle
87 unité de validation de calcul d'histogramme
88 unité ET booléenne à une entrée inversé
89 unité OU booléenne
90 élément d'une scène
20 100 unité de représentation sémantique d'un label
110 scène perçue
120 capteur vision
130 transducteur de données
150 unité de séquencement données entrées
25 200 unité de filtrage gaussien de facteur w
300 unité de décimation de facteur k
400 unité de calcul des facteurs de filtrage w et de décimation k
520 unité de multiplexage d'adresses
530 unité de séquencement données invariantes
30 540 unité de troncature a bits sur les z bits de poids fort
541 unité de troncature o/k ou p/k bits le plus grand sur les z bits de poids fort
542 unité de troncature k.ap0 ou k.bp0 le plus grand sur les z bits de poids fort 550 unité ET booléen
600 unité mémoire tampon Axyt nombre binaire de a bits
AB bus commun de v bits
Adr port entrée adresse mémoire
Cadr port de sortie adresse du contenu mémoire sélectionné par son port entrée (In) des sous-unités (2_1 ) à (2_n) et (1 )
Cin commande entrée inhibition dynamique
Cout commande sortie inhibition dynamique
Ck horloge de séquencement
Cor entrée signal de commande de correction du message d'entrée (RSin_i)
Cpt port de sortie de l'unité de comptage (3)
Cpt[v-1 :0] valeur binaire de sortie de l'unité de comptage (3)
D représentation sémantique élémentaire dynamique
Dec unité de décimation
E entrée données de l'unité (71 )
En entrée validation fonction des sous-unités mémoires associatives (1_i) et (1 )
G représentation sémantique élémentaire globale
HD flux vidéo à grande définition spatiale
i,j référentiel MAP1
In port d'entrée des sous-unités mémoire (2_1 ) à (2_n) et (1 )
Inv unité de calcul d'invariance
L_i valeur de lien entre les mémoires (1 ) et (1 )
Lout_i Label en sortie
LinJ Label en entrée
m dimension du message
M signal en sortie validant la valeur binaire du port de sortie (Cadr) associée
MA, MB, MC, MD, ME messages entrant et sortant
MAP1 flux vidéo décimé
MAP2 flux vidéo ROI
MEin_i message entrant regroupant n sous-messages (RSin_1 ) à (RSin_n)
MEoutJ message sortant regroupant n sous-messages (RSout_1 ) à (RSout_n) n nombre de sous-messages entrée (RSin_i) ou sortie (RSout_i)
Ob portion de bord d'un objet
Out port de sortie des sous-unités mémoire (2_1 ) à (2_n)) et (1 )
P position des représentations sémantiques élémentaires G, D, et S q nombre d'éléments constituant un sous-message
ROI région d'intérêt des données
S représentation sémantique élémentaire structurale
S_ROI bus de communication entre l'unité (Inv) et la région d'intérêt
S_Dec bus de communication entre l'unité (Inv) et la décimation des données
S_MA bus de communication entre l'unité (Inv) et la mémoire associative
S_P1 bus de communication entre l'unité (Inv) et l'unité de représentation sémantique 1
S_P2 bus de communication entre l'unité (Inv) et l'unité de représentation sémantique 2
Sec séquenceur de l'unité de représentation sémantique
Wr signal de commande écriture des sous-unités mémoires (1 ) et (1 )
Wre entrée signal de sélection écriture de l'unité Mémoire Associative (1 0)
RSi_x élément du sous message entrant RSin_i de z bits
RSo-x élément du sous message sortant RSout_i de z bits
RSin_i sous-message (i) en entrée mémoire
RSout_i sous-message (i) en sortie mémoire
X,Y référentiel invariant
ΧΟ,ΥΟ référentiel
X1 ,Y1 référentiel
V_i entrée validation valeur (L_i)
w paramètre de matrice gaussienne
Wr signal de commande écriture mémoire
ΙΛ signal binaire de 1 bit
/a nombre de bit du nombre binaire Axyt
/v bus signal binaire de v bit
/z bus signal binaire de z bit

Claims

Revendications
1 . Circuit de traitement de signal pour extraire dudit signal une représentation sémantique, ledit circuit étant configuré pour réaliser :
- un calcul itératif d'un facteur k de changement d'échelle spatiale et de décimation dudit signal, ledit calcul itératif étant paramétré pour maintenir constante une valeur de courbure médiane d'un bord orienté entre deux bornes choisies dans une zone d'intérêt sélectionnée dans une fenêtre dudit signal ;
- une application d'opérations de changement de repère aux coordonnées de ladite zone d'intérêt pour convertir lesdites coordonnées dans un référentiel de représentations sémantiques élémentaires ;
ledit circuit de traitement étant en outre configuré pour appliquer au facteur k un rapport d'homothétie déterminant une fenêtre spatio-temporelle fonction d'un nombre z de bits de poids fort du signal dans la zone d'intérêt au cours d'une période T, ladite fenêtre spatio-temporelle étant adaptée pour réaliser des comparaisons avec des représentations sémantiques élémentaires stockées dans une mémoire connectée au circuit de traitement.
2. Circuit de traitement de signal selon la revendication 1 , dans lequel le calcul itératif du facteur k comprend une extraction élémentaire de bords orientés et de courbures du signal transformé à l'échelle 1 /k.
3. Circuit de traitement de signal selon la revendication 2, dans lequel le calcul itératif du facteur k comprend en outre un calcul d'histogramme spatio-temporel bilinéaire bouclé fournissant en sortie, pour la zone d'intérêt, une valeur médiane de bord orienté, une valeur de courbure dudit bord orienté, une valeur de barycentre d'un nuage de points défini par les points du signal décimé dans la zone d'intérêt, des valeurs des dimensions des bornes dudit nuage.
4. Circuit de traitement de signal selon l'une des revendications 1 à 3, dans lequel les opérations de changement de repère comprennent une rotation d'un angle égal à celui du bord orienté avec un axe origine du référentiel des représentations sémantiques élémentaires.
5. Circuit de traitement de signal selon la revendication 3 et la revendication 4, dans 5 lequel les opérations de changement de repère comprennent une translation d'origine au barycentre du nuage de points après changement d'échelle.
6. Circuit de traitement de signal selon la revendication 5, dans lequel le rapport d'homothétie est égal à une puissance de 1 /2, ladite puissance étant égale au îo nombre de bits de poids faible entre les bornes du nuage du signal mis à l'échelle dans le référentiel de représentations sémantiques élémentaires.
7. Circuit de traitement de signal selon l'une des revendications 1 à 6, configuré en outre pour calculer le facteur k de changement d'échelle en sortie d'un filtrage
15 gaussien dont la matrice est définie par un paramètre w, ledit paramètre étant lié au facteur k par une relation affine.
8. Circuit de traitement de signal selon la revendication 7, dans lequel la relation affine est telle que telle que k=0,81 w+1 ,09.
20
9. Dispositif d'extraction d'invariants perceptifs d'un signal comprenant un(e) ou plusieurs :
- transducteur(s) dudit signal ;
- circuit(s) de traitement de signal selon l'une des revendications 1 à 8 ;
25 - attracteur(s) dynamique(s) configurés pour déterminer des représentations sémantiques élémentaires de signaux ;
- mémoire(s) associative(s) par adressage ou par contenu pour stocker/utiliser lesdites représentations sémantiques élémentaires de signaux.
30 10. Dispositif de reconnaissance de représentations sémantiques d'un signal, dans lequel une pluralité d'attracteurs dynamiques est configurée pour traiter en parallèle une pluralité de représentations sémantiques élémentaires de signaux, ladite pluralité comprenant une représentation globale, une représentation dynamique et une représentation structurelle.
1 1 . Procédé de traitement de signal pour extraire dudit signal une 5 représentation sémantique, ledit procédé comprenant :
- un calcul itératif d'un facteur k de changement d'échelle spatiale et de décimation dudit signal, ledit calcul itératif étant paramétré pour maintenir constante une valeur de courbure médiane d'un bord orienté entre deux bornes choisies dans une zone d'intérêt sélectionnée dans une fenêtre dudit îo signal ;
- une application d'opérations de changement de repère aux coordonnées de ladite zone d'intérêt pour convertir lesdites coordonnées dans un référentiel de représentations sémantiques de signaux ;
- une application au facteur k d'un rapport d'homothétie déterminant une fenêtre 15 spatio-temporelle fonction d'un nombre z de bits de poids fort du signal dans la zone d'intérêt au cours d'une période T, ladite fenêtre spatio-temporelle étant adaptée pour réaliser des comparaisons avec des représentations sémantiques élémentaires.
20 12. Procédé d'extraction d'invariants perceptifs d'un signal comprenant un(e) ou plusieurs :
- acquisition(s) d'échantillons dudit signal ;
- application(s) d'un procédé de traitement de signal selon la revendication 1 1 ;
- exécution(s) de processus d'attracteur(s) dynamique(s) pour déterminer des 25 représentations sémantiques élémentaires de signaux ;
- accès à une ou plusieurs mémoire(s) associative(s) par adressage ou par contenu pour stocker/utiliser lesdites représentations sémantiques élémentaires de signaux.
PCT/EP2018/060929 2017-04-28 2018-04-27 Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées Ceased WO2018197693A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020197028748A KR102454841B1 (ko) 2017-04-28 2018-04-27 통합된 의미론적 표현들을 추출하기 위하여 공간-시간 이벤트의 다이나믹 지각 불변량을 제공가능한 자동화된 방법 및 디바이스
US16/499,820 US11164049B2 (en) 2017-04-28 2018-04-27 Automated method and device capable of providing dynamic perceptive invariance of a space-time event with a view to extracting unified semantic representations therefrom
EP18718863.6A EP3616132A1 (fr) 2017-04-28 2018-04-27 Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées
CN201880025028.7A CN110520869B (zh) 2017-04-28 2018-04-27 信号处理电路和方法、从信号提取感知不变的装置和方法
JP2019554641A JP6909307B2 (ja) 2017-04-28 2018-04-27 一体化された意味論的表現を時空事象から抽出することを目的として時空事象の動的知覚的不変性を提供することができる自動化方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1700465 2017-04-28
FR1700465A FR3065825B1 (fr) 2017-04-28 2017-04-28 Procede et dispositif automatises aptes a assurer l'invariance perceptive d'un evenement spatio-temporel dynamiquement en vue d'en extraire des representations semantiques unifiees

Publications (1)

Publication Number Publication Date
WO2018197693A1 true WO2018197693A1 (fr) 2018-11-01

Family

ID=59859122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/060929 Ceased WO2018197693A1 (fr) 2017-04-28 2018-04-27 Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées

Country Status (7)

Country Link
US (1) US11164049B2 (fr)
EP (1) EP3616132A1 (fr)
JP (1) JP6909307B2 (fr)
KR (1) KR102454841B1 (fr)
CN (1) CN110520869B (fr)
FR (1) FR3065825B1 (fr)
WO (1) WO2018197693A1 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11536805B2 (en) 2018-06-25 2022-12-27 Silc Technologies, Inc. Optical switching for tuning direction of LIDAR output signals
US12429569B2 (en) 2019-05-17 2025-09-30 Silc Technologies, Inc. Identification of materials illuminated by LIDAR systems
US11650317B2 (en) 2019-06-28 2023-05-16 Silc Technologies, Inc. Use of frequency offsets in generation of LIDAR data
US11027743B1 (en) * 2020-03-31 2021-06-08 Secondmind Limited Efficient computational inference using gaussian processes
CN113886866B (zh) * 2021-08-09 2024-06-07 安徽师范大学 基于语义位置转移的时空关联轨迹隐私保护方法
US12411213B2 (en) 2021-10-11 2025-09-09 Silc Technologies, Inc. Separation of light signals in a LIDAR system
US20230288566A1 (en) * 2022-03-09 2023-09-14 Silc Technologies, Inc. Adjusting imaging system data in response to edge effects
US12422618B2 (en) 2022-10-13 2025-09-23 Silc Technologies, Inc. Buried taper with reflecting surface

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1131789A1 (fr) * 1999-09-17 2001-09-12 THOMSON multimedia Procede de construction d'un modele de scene 3d par analyse de sequence d'images
WO2002069265A1 (fr) * 2001-02-23 2002-09-06 Holding B.E.V. S.A. Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
FR2858447A1 (fr) 2003-07-29 2005-02-04 Holding Bev Sa Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
US20050097068A1 (en) 2003-10-29 2005-05-05 Thore Graepel Invariant pattern recognition
US20120308136A1 (en) 2010-03-26 2012-12-06 Izhikevich Eugene M Apparatus and methods for pulse-code invariant object recognition
US20150227849A1 (en) 2009-12-07 2015-08-13 Yahoo! Inc. Method and System for Invariant Pattern Recognition

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2540263B1 (fr) * 1983-01-31 1988-05-20 Commissariat Energie Atomique Procede de reconnaissance automatique d'une image a partir d'une image correspondante de reference
FR2751772B1 (fr) * 1996-07-26 1998-10-16 Bev Bureau Etude Vision Soc Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement
FR2884625A1 (fr) 2005-04-15 2006-10-20 Holding Bev Sa Sa Luxembourgeo Procede de guidage automatique de vehicule dans une voie de circulation, dispositif correspondant
CN102999547A (zh) * 2011-09-16 2013-03-27 莱克西私人有限公司 搜索查询的自动生成
CN103268498B (zh) * 2013-04-21 2016-06-29 郑州轻工业学院 一种感兴趣区域模糊图像语义理解的方法
FR3039684B1 (fr) 2015-07-27 2018-08-10 Compagnie Generale Des Etablissements Michelin Procede optimise d'analyse de la conformite de la surface d'un pneumatique
CN106126590A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 一种基于关键信息的无人机侦察视频检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1131789A1 (fr) * 1999-09-17 2001-09-12 THOMSON multimedia Procede de construction d'un modele de scene 3d par analyse de sequence d'images
WO2002069265A1 (fr) * 2001-02-23 2002-09-06 Holding B.E.V. S.A. Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
FR2858447A1 (fr) 2003-07-29 2005-02-04 Holding Bev Sa Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
US20050097068A1 (en) 2003-10-29 2005-05-05 Thore Graepel Invariant pattern recognition
US20150227849A1 (en) 2009-12-07 2015-08-13 Yahoo! Inc. Method and System for Invariant Pattern Recognition
US20120308136A1 (en) 2010-03-26 2012-12-06 Izhikevich Eugene M Apparatus and methods for pulse-code invariant object recognition

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Perceptive Invariance and Associative Memory Between Perception and Semantic Representation, USER a Universal Semantic Représentation Implemented in a System on Chip (SoC", LIVING MACHINES 2016, LNAI, vol. 9793, 2016, pages 275 - 287
PIRIM PATRICK ED - WALTER DIDIMO ET AL: "Perceptive Invariance and Associative Memory Between Perception and Semantic Representation USER a Universal SEmantic Representation Implemented in a System on Chip (SoC)", 12 July 2016, NETWORK AND PARALLEL COMPUTING; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 275 - 287, ISBN: 978-3-540-28012-5, ISSN: 0302-9743, XP047350737 *
See also references of EP3616132A1

Also Published As

Publication number Publication date
CN110520869A (zh) 2019-11-29
FR3065825A1 (fr) 2018-11-02
US20200104647A1 (en) 2020-04-02
US11164049B2 (en) 2021-11-02
JP6909307B2 (ja) 2021-07-28
KR102454841B1 (ko) 2022-10-13
JP2020519984A (ja) 2020-07-02
CN110520869B (zh) 2023-06-02
FR3065825B1 (fr) 2022-12-23
EP3616132A1 (fr) 2020-03-04
KR20190122790A (ko) 2019-10-30

Similar Documents

Publication Publication Date Title
EP3616132A1 (fr) Procédé et dispositif automatisés aptes à assurer l&#39;invariance perceptive d&#39;un évènement spatio-temporel dynamiquement en vue d&#39;en extraire des représentations sémantiques unifiées
US20190073553A1 (en) Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
CN110516201A (zh) 图像处理方法、装置、电子设备及存储介质
US12217474B2 (en) Detection of moment of perception
CN110210513A (zh) 数据分类方法、装置及终端设备
EP1259939B1 (fr) Procede et dispositif de perception automatique
US20230039592A1 (en) Image sensor with integrated efficient multiresolution hierarchical deep neural network (dnn)
KR102510881B1 (ko) 신경망 기반의 특징점 학습 장치 및 방법
EP2364490A1 (fr) Dispositif a architecture pipeline de flot de donnees pour la reconnaissance et la localisation d&#39;objets dans une image par balayage de fenetres de detection
US11915419B1 (en) Auto-normalization for machine learning
Shende et al. Using deep learning to detect deepfake videos
EP2839410A1 (fr) Procede de reconnaissance d&#39;un contexte visuel d&#39;une image et dispositif correspondant
EP3198523A1 (fr) Procede et systeme de detection d&#39;evenements de nature connue
Areeb et al. AI art critic: Artistic classification of poster images using neural networks
CN115705758A (zh) 活体识别方法、装置、电子设备和存储介质
CN117391201A (zh) 问答方法、装置及电子设备
WO2024102521A1 (fr) Attention parmi des vues pour tâches de perception visuelle à l&#39;aide de multiples entrées de caméra
Liu et al. Fine-art recognition using convolutional transformers
FR2821459A1 (fr) Procede et dispositif de reperage d&#39;un objet par sa forme, sa dimension et/ou son orientation
WO2018197687A1 (fr) Dispositif ram automatisé apte à mémoriser, rappeler et gérer de manière non volatile, des associations de messages versus label et vice versa, avec un maximum de vraisemblance
US20250095259A1 (en) Avatar animation with general pretrained facial movement encoding
Kabilan et al. Advanced Temporal Analysis for Deepfake Detection using XceptionNet in Media Forensics
WO2025106448A1 (fr) Synthèse de vues à l&#39;aide d&#39;un modèle d&#39;apprentissage automatique de génération d&#39;image multi-vues
Dongre et al. A STUDY ON DEEP LEARNING MODELS AND ALGORITHMS USED IN COMPUTER VISION
WO2025106450A1 (fr) Modification de contenu vidéo

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18718863

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197028748

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2019554641

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018718863

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018718863

Country of ref document: EP

Effective date: 20191128

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载