+

WO2002069265A1 - Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation - Google Patents

Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation Download PDF

Info

Publication number
WO2002069265A1
WO2002069265A1 PCT/EP2002/001899 EP0201899W WO02069265A1 WO 2002069265 A1 WO2002069265 A1 WO 2002069265A1 EP 0201899 W EP0201899 W EP 0201899W WO 02069265 A1 WO02069265 A1 WO 02069265A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
space
locating
interest
data
Prior art date
Application number
PCT/EP2002/001899
Other languages
English (en)
Inventor
Patrick Pirim
Original Assignee
Holding B.E.V. S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Holding B.E.V. S.A. filed Critical Holding B.E.V. S.A.
Priority to JP2002568307A priority Critical patent/JP2004523047A/ja
Priority to CA002439867A priority patent/CA2439867A1/fr
Priority to EP02716806A priority patent/EP1364341A1/fr
Priority to MXPA03007554A priority patent/MXPA03007554A/es
Publication of WO2002069265A1 publication Critical patent/WO2002069265A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • the present invention relates to a method and a device for locating an object by its shape, its size and / or its orientation.
  • Such methods and devices are already known and, in particular, some of them have proposed the statistical analysis of the points or pixels of a digital video signal coming from an observation system, for the production of effective devices capable of to operate in real time.
  • US Pat. No. 5,795,306 discloses a body condition detection device suitable for analyzing images of a face. The pupil is extracted from the images and its characteristics make it possible to judge the body condition.
  • the object of the invention is to propose a method of locating an object by its shape, its size and / or its orientation using a device consisting of a set of units for calculating histograms.
  • the object is proposed to hierarchically decompose the object to be identified according to its properties. For example, we can first determine the general outline of a moving object in relation to a relatively stable background, then look inside this outline for characteristic elements by their hue, color, relative position ... This approach allows the rapid development of multiple applications involving the identification of an object. These applications can be developed, either from an earlier formalization having identified the significant characteristics of the object, or, thanks to a learning function by examining a scene in which the object in question is present. , the device allowing itself to extract parameters characteristic of the object.
  • the invention relates to a method of locating a shape in a space represented by pixels which together form a multidimensional space i, j, evolving over time, and represented at a succession of moments T, said data each associated to a time parameter A, B, ... being in the form of DATA (A), DATA (B), ... digital signals consisting of a sequence A yt , B yt , ... of binary numbers of n bits associated with synchronization signals making it possible to define the moment T of the space and the position i, j in this space, at which the signals A y -t, B y t, ... received at a given instant.
  • an area of interest in space is identified as a function of a statistical criterion applied to a time parameter, b) the main area thus identified is inhibited, c) steps a) are repeated b) so as to identify other areas of interest within an area of uninhibited space, d) the process is stopped when a remaining area, uninhibited, of space no longer produces of area of interest corresponding to the statistical criterion, e) a counter for each area of interest thus identified is incremented by consecutive valid frame, the barycenter of its point cloud, f) we recover for each area of interest thus identified , the barycenter of its point cloud.
  • a counter is associated with each area of interest, and the counter value is incremented by one. unity at each of the successive frames for which said area of interest is identified, the value of this counter being forced to zero at the first frame for which said area is no longer identified,
  • the area of interest is validated for a value of its associated counter greater than 1,
  • the validated area is identified by its barycenter, the orientation of its projection axes and the dimensions of the associated frame,
  • the main axes of the frame and its dimension are the position, the orientation and the dimension of the object perceived respectively,
  • step of claim 2 is repeated, a secondary zone playing the role of the zone of interest, which leads to the identification of tertiary zones,
  • the time parameter is a luminance level
  • - the time parameter is a color
  • the time parameter is the spatial resolution
  • the time parameter is the depth of field
  • the identified area is defined with respect to a reference chosen from several reference points with different orientations, • - the relative positions of the barycenters of the point clouds of the identified areas of interest are used to control the shape of the object perceived,
  • the invention also relates to a device for locating a shape in a space represented by pixels which together form a
  • DATA (B) ... numerical in the form of a sequence A yt , Byt, ... of binary numbers of n bits associated with synchronization signals making it possible to define the moment T of space and the position i, j in this space, at which the signals A, Byt, ... received at a given time.
  • the device for locating a shape comprises two sets of stogram calculation units receiving the signals and each producing a classification value, the first subset receiving a signal carrying a first time parameter and the second subset receiving two spatial signals, the classification value of the first subset validating a group of points in space processed by the second subset, the number of said points being ni, the classification value of the second subset validating the parameter values processed by the first subset, the two subsets jointly producing a binary signal ZA representing an area of interest and a signal P representing the value of the time parameter in this area.
  • It comprises a third subset receiving a signal carrying a second time parameter, this third subset having an operation analogous to the first and replacing it when it validates points in space whose number is n 2 , ⁇ . 2 being greater than ni.
  • H includes several subsets receiving spatial signals allowing successive validation of several groups of points in space.
  • It includes a set of histogram calculation units controlled by API software and linked together by a data bus and by a feedback bus.
  • FIG. 1 is the representation of a histogram calculation unit of the prior art implemented in the invention: - Figure 2 is the representation of the association of two calculation units fulfilling a spatial composite function according to the invention;
  • - Figure 3 is the synthetic representation of the device of Figure 2;
  • - Figure 4 is a developed representation of the association of a set of histogram calculation units used for the detection and location of an object in black and white;
  • FIG. 5 is a developed representation of the association of a set of histogram calculation units used for detecting and locating an object in color
  • FIG. 6 is a synthetic representation of the device of Figure 5;
  • - Figure 7 shows the combination of the device of Figure 3 with a histogram calculation unit applied to the movement;
  • - Figure 8 shows the location of an area of interest;
  • Figure 9 is the representation of the histograms, respectively of the movement 9A, of X 9B and of Y 9C for the area of interest of the figure
  • - Figure 10 is a flowchart for locating an area of interest
  • - Figure 11 shows a device for locating three areas of interest from a main area
  • FIG. 12 illustrates the operation of the device of Figure 11 in the form of a graph
  • FIG. 13 is a schematic representation of the analysis of the shape formed by a face
  • the reference 1 designates a block histogram processing unit as a whole.
  • the DATA parameter (A) mentioned by the histogram calculation unit 1 is mentioned by the function 3 (fog).
  • This histogram processing unit 1 includes an analysis output register reg 4 containing values representing the statistical distribution of the parameter DATA (A).
  • the histogram processing unit 1 supplies the bus 110 with an output value S, it is controlled by the API 5 which determines both the parameter
  • This histogram processing unit supplies at output, on the bus 110 a classification value and receives as input, from this same bus 110, the classification values coming from its counterparts with which it is associated.
  • the classification value is the result of the application of the function (fog) following values Ay t constituting DATA (A).
  • the register reg 4 is the result of different statistical processing of the Ai Jt sequence.
  • a preliminary step, facilitating the processing of the signal, whatever the object or its characteristics to be identified, is advantageously provided for and consists in the adaptation of the luminance level and as well as in an adaptation of level and dynamics for location of d 'a moving object.
  • the bus 110 provides the histogram calculation units 10 and 11 with the information to be processed and an AND operator 12 combines the output signals • S px and S py . The output of this operator is directed to bus 110.
  • Figure 3 is a synthetic representation of the same function. It is easily understood that the set of two analysis units described above and represented in FIG. 2 fulfills the same function as the block of the same nature, and also a histogram calculation unit 6.
  • FIG. 4 it is possible to associate a larger number of histogram calculation units 16 to 19 each processing a parameter.
  • the luminance parameter is processed by the histogram calculation unit 16
  • the saturation signal is processed by the histogram calculation unit 17
  • the spatial parameter X is processed by the histogram calculation unit 18
  • the spatial parameter Y is processed by the histogram calculation unit 19.
  • FIGS. 5 and 6 also show a grouping of units for calculating histograms enabling the color of a selected object to be identified.
  • the histogram calculation units respectively 20. for the hue, 21 for the saturation, 22 for the luminance, provide 5 output signals combined by the operator AND 23. This operator provides as output a combined retroannotation signal representative of the color analyzed.
  • This complex assembly of FIG. 6 fulfills a function analogous to the histogram calculation unit 24 shown in FIG. 5.
  • FIG. 7 two histogram calculation units 100 and 101 are shown, respectively processing the movement parameter. and the spatial parameters X and Y.
  • histogram calculation units 100 and 101 are associated by the line 103 corresponding to the bus 110 of the figures described above. 15
  • the association of histogram calculation units respectively processing a time parameter, here the movement 'MVT presented by way of example, and spatial parameters such as X and Y, allows the location of an area in the space (i, j). in which a point is represented by the parameters X, Y, for which a sufficient number of points gives 20 to the considered temporal parameter (here the movement), a singular value which can be directly determined by the system or even be predetermined through API.
  • the operation of the system can be presented in the following way:
  • the bus 102 supplies the program calculation units 100 and 101 with the data which they process.
  • the histogram calculation unit will supply through the line 103, a classification signal S M v ⁇ (i, j, t) which has the value 1 for all the pixels i, j which have a movement parameter around Vi, more precisely between the limits ViA, ViB determined by the histogram calculation unit 100 as a function of the API, S (i, j, t) taking the value 0 when the movement parameter has a value outside the interval defined by the above-mentioned terminals.
  • the histogram calculation unit 101 receives this classification value of the movement and does not. therefore validates that the points X, Y for which the movement parameter MVT has a value close to Vi.
  • the stogram calculation unit 101 supplies a classification value S ⁇ 5 ⁇ which supplies through line 104, possibly through bus 110, to the histogram calculation unit 100.
  • Line 105 provides outside, for any use, possibly through the bus, the value of the parameter Vi and line 106 provides the classification value denoted here ZA which makes it possible to define an area whose contour
  • FIG. 8 is approximately representative of all the points 203 animated by the speed Vi and its barycenter Xi,
  • the system operates as indicated as long as a sufficient number of points determined by the API responds to the system, that is to say to a value of the movement parameter MVT comprised between the terminals ViA and ViB.
  • the system is reset, again taking into account all the points in space 201 and therefore seeking a new characteristic area with regard to the values of the parameter MVT.
  • the system processes all the points of space 201. If the histogram calculation units 100 and 101 isolate a number of. points having / values characteristic of the MVT parameter higher than a threshold, the classification signal ZA makes it possible to define a new area of interest (NEW ROI -Region Of Interest).
  • a counter Cr is incremented by one unit per consecutive valid frame. This counter represents the confidence index of the tracking function. A new area is declared valid for a Cr value greater than 1.
  • FIGS. 7 to 10 explains the operation resulting from the association of a histogram processing unit processing a time parameter with a processing unit processing space parameters. It is understood that in either of these categories, the parameters can be arbitrary. In particular, from the movement or speed parameter, the luminance, a hue or the spatial resolution can also be treated as a time parameter.
  • the space parameters depend both on the space considered and on the frame used to define it.
  • orthonorronnés landmarks of different orientations can be used, that allowing to define the best concentration of points for a given parameter being selected.
  • This process of defining an area can be repeated and repeated in different ways.
  • the representation Z will be used both to designate the classification signal associated with an area and the area itself.
  • FIGS. 11 and 12 diagrammatically show how, from a main zone ZA associated with a parameter P, it is possible to obtain, for the same parameter P, sub-zones Za 0 , Za ⁇ , Za 2 .
  • FIG. 11 the association of three histogram calculation units has been shown, each of which, according to criteria defined by the API, makes it possible to identify a sub-area identified, respectively Za o , Za ⁇ , Za 2 , from an area ZA.
  • each sub-zone Za o can then serve as the main zone and allow the extraction of sub-sub-zones Za 00 , Za 0 ⁇ , Zao2 ...
  • This process can be repeated as many times as desired by the operator and defined through the API to a degree of definition or fineness of the zones corresponding to the minimum number of points defined to constitute the threshold used in the prior description with reference to FIG. 10.
  • Figure 13 is the representation of a hierarchical analysis of an object in the particular case of a face. It is therefore a particular application of the method and the device described above.
  • the assembly represented in FIG. 7 makes it possible to identify a first area of interest delimited by the outline of the moving object which will be called the head area later. This area is characterized by a dominant color.
  • another histogram calculating unit determines the variations or complements of colors inside this area and thus detects new homogeneous areas or sub-areas identifying the position of characteristic elements. of the face, such as the eyes and mouth.
  • Each of these sub-areas is then analyzed separately in color, movement, shape, which allows them to highlight their specificity and to determine the face. .. '
  • Each shape is advantageously analyzed from the spatial resolution, for example on the basis of the Gabor wavelet processing and their orientation.
  • FIG. 13 there is shown the association of two histogram calculation units processing time parameters 301 processing the movement parameter and 302 processing a hue resulting from the association of the luminance, hue and saturation parameters such as shown in Figures 5 and 6.
  • the Space Meter calculation units 303 to 305 allow the main area formed by the frame formed around the contour of the face in a certain number of sub-zones formed for example by the eyes, the mouth, ...
  • the head can be defined at the first level by the dominant color of the face, hair, beard. For each of these characteristics, a higher spatial resolution indicates representative areas for a face, eyes and mouth, a third level would indicate by a finer spatial representation of the characteristics of the eyes.
  • the description given so far corresponds to the use of the device of the invention for analyzing an object in space whose characteristics are not initially known.
  • the device then adapts and identifies the characteristic zones by itself.
  • the device of the invention can identify, among the data supplied to it, those corresponding to this definition. It is thus possible for him to locate and locate a predefined object.
  • the invention relates to a method and an automatic collection device.
  • the device includes a histogram calculation unit, preferably self-adapting, possibly with anticipation and learning. They are more particularly intended for the perception and processing of images.
  • the selection criteria can be extremely varied. It can be a speed, a shape, a color ... or a combination of these criteria.
  • Some of these methods and devices use a spatial and temporal processing unit which,. receiving a video signal S (PI),: produces a certain number of parameters for each pixel. These are for example the speed V, the direction DL, a time constant CO, and a binary validation parameter VL in addition to the delayed video signal VR and the various frame synchronization signals, line and pixel ' grouped under the name F.
  • PI video signal S
  • the object of the invention is to propose a method and a device for rapid and efficient automatic perception and to improve for such a device the units for constituting histograms by ensuring self-adaptation functions and, in. preferred embodiments of anticipation and learning. ' - •
  • the present invention relates to a device for automatically perceiving an event occurring in a space with respect to at least one parameter.
  • this device comprises a control unit, a data bus, a feedback bus and at least one histogram calculation unit for processing the parameter.
  • the device comprises, for processing several parameters, several histogram calculation units organized in a matrix; ,.
  • the histogram calculation units process data associated with pixels which together form a multidimensional space evolving over time and represented at a succession of moments, the data arriving at the calculation unit in the form of a DATA signal ( A) digital in the form of a sequence ay t of binary number of n bits associated with synchronization signals making it possible to define the given moment of space and the position of the pixel in this space, at which the signal has ijt received at a given instant • is associated, comprising:
  • an analysis memory comprising a memory with. addresses, each associated with possible values, of numbers of n bits of the signal DATA (A). and the writing of which is controlled by a "WRITE" signal
  • a classifier comprising a memory intended to receive a criterion C for selecting the DATA (A) parameter, receiving the signal DATA (A) as input and supplying, as output, a binary classification signal whose value depends on the result of the comparison of the DATA signal (A) with the selection criterion C
  • a retroannotation unit receiving the output signal from the classifier and, from outside the histogram calculation unit, individual classification binary signals relating to parameters other than DATA (A), said retroannotation unit providing at output a positive global validation signal when all the individual retroannotation signals are positive,
  • an address multiplexer - an increment validation unit, the counter of each memory address corresponding to the value d of a ⁇ at a given instant, being incremented by one when the retroannotation unit provides at output a positive global validation signal, the unit for calculating and storing statistical data exploiting at the end of the reception of the data ayt corresponding to the space at a time the content of the memory to update the unit analysis output, the memory being erased before the start of each frame for a space at a time by an initialization signal "INIT”, and in addition:
  • the classifier memory is an addressable memory allowing the selection criterion to be updated in real time and having a DATA IN data input, an ADRESS address command and a WR write command, receiving on its input the output analysis memory and an END signal on its write command,
  • the histogram processing units further include a data input multiplexer having two inputs and one output, receiving on one of its inputs a COUNTER counting signal and, on the other of its inputs , the data sequence a ⁇ and outputting the data sequence a- ⁇ to the address control of the classifier memory and an OR operator controlling the address multiplexer and receiving on its inputs an initialization signal INIT and the end signal END;
  • the space is two-dimensional and the DATA signal (A) is associated with the pixels of a succession of images;
  • the histogram processing units include means for anticipating the value of the selection criterion; - the means of anticipation of. the value of the selection criterion comprises memories intended to contain the values of statistical parameters relating to two successive frames;
  • the statistical parameters are the average values of the validated agt data; . - the analysis output register of the histogram calculation units constitutes and keeps in memory at least one of the following values: the minimum value "MIN”, the maximum value "MAX”, the maximum number of pixels for which the signal V ijt has a particular value "RMAX”, the corresponding particular value POSRMAX, the total number of validated pixels "NBPTS";
  • the statistical comparison parameter used by the classifier is RMAX 2.
  • It comprises a controlled multiplexer, which can receive as input several statistical parameters and the nature of the comparison made by the classifier depends on the control of this multiplexer;
  • certain histogram calculation units at least, comprise a learning multiplexer intended to receive an external control signal and producing an operation according to a learning mode in which the registers of the classifier and of the retroannotation unit are erased at the start of the exploitation of a frame and the analysis output register provides values characteristic of the sequence for each of these registers; . . .
  • the memory of the classifier is made up of a set of independent registers each comprising an input, an output and a write command, the number of these registers being equal to number n of bits of the numbers of the sequence Vjjt, and it includes a decoder making it possible to output a write command signal corresponding to the associated input value (address) and a multiplexer controlled by this input value, making it possible to read the chosen register;
  • at least some histogram calculation units include multiplexers, one of them being associated with the input of each register and. combinatorial modules connecting the registers, the multiplexers together
  • the combinatorial modules include a morphological dilation operator comprising a logical unit "OR” with three inputs, the first of which receives the output signal from the rank register "Q", the second is connected to the output 0 of a logic unit “AND” with two inputs receiving respectively the output signal of the row register "Q + 1" and a positive expansion signal, the third is connected to the output of a logic unit “AND” with two inputs receiving respectively the output signal from the range register "Q-1" and a negative expansion signal; 5 '- in certain histogram calculation units at least, the combinatorial modules include a morphological erosion operator comprising
  • each combinatorial modulated comprises a ... multiplexer, associating a morphological erosion operator and a morphological erosion operator; 0
  • the invention relates to an automatic method perception of an event occurring in a space with respect to at least one parameter comprising digitize it and provide the input to a histogram calculation unit for forming a histogram representative of the parameter and deduce the desired result.
  • the invention also relates to a method for analyzing a parameter representative of an event in an electronic device comprising a histogram calculation on data a ijt associated with pixels together forming a multidimensional space evolving in time and represented at a succession of moments, the data arriving at the calculation unit in the form of a digital DATA (A) signal in the form of a sequence a ijt of binary number of n bits associated with synchronization signals making it possible to define the given moment of space and the position of the pixel in this space, with which the signal ijt received at a given instant is associated in which - we associate with each data a ijt a binary classification signal whose value depends on the result of the comparison of the DATA signal (A) with the selection criterion C,
  • FIG. 1 is a representation of the histogram calculation unit according to the invention, in its context
  • FIG. 2 is a representation of the input video signal, processed by the device and method of the invention and the control signals generated by a sequencer;
  • FIG. 3 is a diagram showing a passive histogram calculation unit
  • FIG. 4 is a diagram representing a self-adaptive histogram calculation unit according to the invention with the anticipation and learning functionalities;
  • FIG. 5 is a diagram representing signals used by. the calculation unit of FIG. 4;
  • - Figure 6 is the flow diagram of the control software of the calculation unit of Figure 4 in master mode
  • - Figure 7 is the flow diagram of the software for controlling the calculation unit of Figure 4 in slave mode
  • FIG. 12 is a representation of the essential elements of the histogram calculation unit having a self-adaptation functionality
  • FIG. 13 is a representation of a validation computer having several functions of self-adaptation;
  • FIG. 14 is a representation of the elements of a histogram calculation unit producing POSMOY values;
  • - Figure 15 is. a diagram representing the essential elements of ; . the self-adaptive histogram unit with anticipation - according to a first method; - Figure 15a is a representation similar to Figure 15 implementing a first generalized anticipation method;
  • FIG. 16 is a diagram of the memory of the classifier
  • FIG. 17 is a diagram representing the essential elements of the self-adaptive histogram unit with anticipation according to a second method
  • FIG. 18 is a detailed representation of the memory of the classifier with an automaton, of elementary calculation per bit
  • FIG. 22 is a representation of the retroannotation unit
  • FIG. 23 is a block diagram of a logic reprogrammable unit • (FPGA) used as a retroannotation unit;
  • FIG. 24 is the representation by register, limited to one row of the circuit, of Figure 23;
  • - Figure 25 is a representation of the essential elements of a histogram calculation unit for learning
  • - Figures 26 and 27 are schematic representations of a particular choice of axis
  • FIG. 28 is a schematic representation of the • statistical display device
  • FIG. 29 is an example of the result of the display produced by the device of Figure 28;
  • FIG. 30 is the representation of the implementation of a plurality of histogram calculation units
  • FIG. 31 is the representation of . the use of a programmable calculation unit single histogram with a multiplexer for its ⁇ for operating a plurality of parameters;
  • FIG. 32 represents a set of histogram calculation units with programmable input control in their context of use constituting a functional unit; - '• " -' '
  • FIG. 33 is a synthetic representation of a functional unit with the associated signal generator
  • Figure 34 corresponds to Figure 32 in the case of a two-source acquisition
  • - Figure 35 corresponds to Figure 33 in the case of a binocular acquisition
  • - Figure 36 shows schematically a signal generator equipped with a controlled optics
  • FIG. 37 shows the case of an acquisition with three sources; .
  • - Figure 38 is a. representation of the management interface, of the application (API);
  • - Figure 39 shows a device for processing a sound signal according to the invention;
  • FIG. 40 is a simplified representation of a device according to the invention.
  • the invention can be the subject of numerous embodiments.
  • the information used can be varied in nature and represent multiple data or parameters, however, its first application is the processing of images, these constituting the space considered. It is of course, then, two-dimensional.
  • the detailed description which follows corresponds to this particular embodiment.
  • the histogram calculation unit 1 of the invention is represented in context by Figures 1 and 2.
  • This histogram calculation unit 1 is part of a visual perception unit 13 which receives and uses a signal S (t) or S (PI).
  • the histogram calculation unit uses and generates information known as retroannotation S '(t) on a bus 111. More specifically, FIG. 1 represents several histogram calculation units 1A, 1B, ..., 1 E associated in the same unit of visual perception.
  • the visual perception unit 13 processes different signals relating to one or more visual scenes.
  • the perception unit 13 processes other perception parameters, for example sounds, smells, etc. The description which follows mainly concerns visual perception, adaptation to. other parameters are possible.
  • a sequencer 9 generates, from synchronization signals ST, SL, CLOCK, sequence signals INIT, WRITE and COUNTER which control the histogram calculation units.
  • the input signals of the sequencer 9 can come from a signal generator assembly 2 comprising a camera 22 or from a signal generator assembly 3 comprising a CMOS imager 32.
  • the sequencer 9 When the input signals come from a set 2 comprising a camera, this set imposes frame and line synchronization signals such that the histogram calculation unit and . sori sequencer 9 operate in slave mode or - slave synchronization -. On the contrary, in the case where these signals come from an assembly 3 comprising a CMOS imager, the sequencer 9 operates in master mode and generates the synchronization signals itself.
  • the assembly 2 allows the acquisition of data coming from a scene 21 by a camera 22.
  • the camera 22 produces a signal S (P1) whose shape, of the type shown in FIG. 2, will be described in detail below.
  • the electronic control unit 23 of the camera 22 then supplies the signals S (t) resulting from the extraction of the synchronization signals from S (PI), ST, SL and the clock signal CLOCK from a loop to phase lock, which are used by the histogram calculation unit.
  • this imager 32 is used for the acquisition of scene data 31, it supplies S (t) and is controlled by a synchronization unit 33 which produces the synchronization signals of frames ST and of line synchronization SL, as well as the clock signal CLOCK used both by the CMOS imager 32 and by the other elements of the visual perception unit 13.
  • the histogram calculation units 1 are advantageously coordinated with a spatial 6 and temporal 5 processing unit which has been described in patent application WO-98/05002, and with a delay line 7.
  • the spatial processing unit and temporal 5, 6 corresponds to the device referenced 11 in the cited patent application. It receives the signal S (Pl) and generates parameters V (speed), Dl (direction) each corresponding to one of the data identified by DATA (A) ... DATA (E) in the present application.
  • This set consisting of a histogram calculation unit 1, the spatial and temporal processing unit 5, 6 and the delay line 7, provides either
  • - video signal S - a signal which is composed of a succession of frames, each frame consisting of a succession of pixels the whole of which forms a space, for example an image for a two-dimensional space .
  • the frames are themselves broken down into rows and columns.
  • This signal S (t) carries a value ay of the parameter A for each of the pixels (i, j).
  • the succession of frames therefore represents the succession of images over time.
  • T represents the frame
  • i is the number of a line in the frame T
  • j is the number of the column of the pixel in this line
  • a is the value of the parameter A associated with the pixel ijT .
  • the signal S can be an analog signal. However, it is preferably digital and composed, as shown in FIG. 2, of a succession of frames Ti and T 2 , each being formed of a succession of scanned horizontal lines such as .i, I1.2, .. ., I 1 . 1 7 for T1 and l 2 . ⁇ ... for T 2 .
  • Each line consists of a succession of pixels or PI image points.
  • S (PI) comprises a frame synchronization signal (ST) at the start of each frame, a line synchronization signal (SL) at the start of each line which is not also a start of frame.
  • S (PI) comprises a succession of frames which represents the time domain and, inside each frame, a series of lines and pixels in columns which are representative of the spatial domain.
  • successive frames denote successive frames in time and "successive pixels at the same position” denote the successive values ay associated respectively with the pixels (i, j) placed in the same place in the successive frames , that is to say for example (1, 1) of ⁇ in the frame T 1 and (1, 1) of l 2 . ⁇ in the following corresponding frame T 2 ...
  • the spatial 6 and temporal processing unit 5 From the S (PI), as indicated above with reference to the request PCT / FR-97/01354, the spatial 6 and temporal processing unit 5 generates one or more DATA (A) ... DATA signals (E).
  • the passive histogram calculation unit without anticipation uses a DATA signal (A) whose structure is represented in FIG. 2.
  • This signal can come either directly from a camera or from '' any image acquisition system, or have previously undergone a first treatment, for example a spatial and / or temporal treatment.
  • the histogram calculation unit 1 comprises an analysis memory 100, an address multiplexer 105, a data input multiplexer 106, an increment validation unit 107, a classifier 101, a retroannotation unit 102 and a test unit 103 whose operations will be described later.
  • All the elements making up the histogram calculation unit are controlled and synchronized by a clock signal (dock).
  • This histogram calculation unit 1 includes an analysis memory 100.
  • This analysis memory 100 is preferably a memory
  • This memory has a number n of addresses d equal to the number of possible levels for the values of parameter A which must be 0 discriminated.
  • Each of these addresses can store at least the number of pixels contained in a frame (that is to say in an image).
  • the analysis memory 100 is capable of receiving the DATA signal (A). For each frame received, the pixels for which the value of the parameter A has a value a ⁇ d (if they are validated by the validation signal 102s which will be described later), increment the content of the rank address d of the memory 100 with a value 1. Thus, 0 after having received a complete frame, the memory 100 comprises, at each of its addresses d, the number of pixels which are validated and for which the parameter A has a value d . II. Address and data entry multiplexers
  • the histogram calculation unit 1 also includes an address multiplexer 105, a data input multiplexer 106.
  • Each of these multiplexers has a binary selection command, two inputs and one output.
  • the output of the multiplexer has the value of one of the inputs when the selection command is worth 1 and the other when it is zero.
  • the address multiplexer 105 selects an address in the analysis memory 100 as a function of the level d of the signal (a ljT ) received, the data input multiplexer 106 transfers l incrementation of the value contained in this memory according to the state of its selection command.
  • the address multiplexer 105 transfers the signal from the counter which increments the address from zero to the maximum value of DATA (A).
  • the data input multiplexer 106 forces zero on the input of memory 100.
  • the histogram calculation unit also includes an increment unit 107. It is a controlled incrementer comprising an input, a command and an output.
  • the output of the incrementing unit is equal to the output of the analysis memory 100 if the validation signal 102s is equal to zero, it is equal to this same value increased by 1 otherwise.
  • the passive histogram calculation unit also includes a passive classifier 101 which includes a register 101r capable of storing some of the possible level values (di, d 2 , ...) of the levels of parameter A.
  • the classifier 101 receives the DATA signal (A) and performs a sorting of the pixels providing, on its output 101s, a value 1 when the parameter A associated with said pixel has a level corresponding to that contained in the register 101r (di, d 2 , ...) and the value zero otherwise.
  • the output of the classifier 101 is connected to a bus 111.
  • the histogram calculation unit also has one. retro-annotation unit 102; : This retroannotation unit 102 is connected to the bus 111. It comprises at least one register 102r and receives for each pixel of the DATA (A) signals, the values (in E , ..., in B , Î ⁇ A ) of the outputs classifiers 101 of the different self-adaptive histogram calculation units connected to bus 111.
  • the histogram calculation unit also includes a test unit
  • analysis output registers 104 are intended to receive
  • MIN minimum
  • MAX maximum
  • POSRMAX position of points for which information has been received.
  • the test unit 103 updates the analysis output registers 104 according to the information it receives.
  • the increment validation unit 107 also outputs a signal addressed to the test unit 103 allowing it to increment the analysis output register 104 in the favorable hypothesis.
  • the analysis output registers 104 include memories for each of the key characteristics which include the minimum (MIN) of the histogram, the maximum (MAX) of the histogram, the number of points (NBPTS) of the histogram , the position (POSRMAX) of the maximum of the histogram and the number of points (RMAX) of the maximum of the histogram. These characteristics are determined in parallel with the formation of • the histogram by the test unit 103, as follows: For each pixel that is enabled:
  • each of them supplies the bus, for each pixel, with the output signal 101s from its classifier 101 and they receive 'each of these signals on the input in Al ..., in E of their retroannotation unit 102.
  • the value of the parameter, for example DATA (A) for the unit 1A, is compared with the content of the register 101r of the classifier 101.
  • the result inA 101s of this comparison is a binary signal which is addressed at the same time as its counterparts inB ... inE from other units
  • the retroannotation unit 102 compares these values taken together " with the content of its register 102r constituting a criterion R of retroannotation and generates, on its output 102s, a binary signal whose value depends on the result of the comparison.
  • This signal 102s controls the incrementer 107. When it is equal to 1, it produces, by means of the data multiplexer 106, the incrementation of a unit of the content of the register of memory 100 corresponding to the value of DATA parameter (A), simultaneously the test unit 103 ensures the statistical exploitation of the content of the memory 100 and transfers the content to the analysis output register 104.
  • the registers of the memory 100 each contain for value d, the number of pixels for which the signal DATA (A) had the corresponding value d and that the retroannotation unit has validated.
  • the COUNTER signal which scans the values from 0 to n, ensures the reset of the registers of memory 100.
  • the memory of the classifier 101 is a register 101r whose content determined from outside the system is fixed. This classifier is then said to be passive.
  • Self-adaptation consists of the automatic updating, by the system itself, of the content of the memory of the classifier, this content then being a transcoding table (LUT - Look Up Table).
  • a self-adaptive histogram calculation unit 1 To perform the self-adaptation function, that is to say updating the classifier in real time, the histogram calculation unit of FIG. 3 is improved in accordance with FIG. 4.
  • the classifier 101 has an addressable memory whose writing is controlled by an END signal.
  • the sequencer 9 generates this signal END shown in FIG. 5.
  • the histogram calculation unit includes an OR selection operator 110 receiving the input signals INIT and END and connected at the output to the control of the address multiplexer 105.
  • the memory of the classifier 101 is controlled by the system itself. Its content can be modified, it includes a DATA IN data entry, a WR write command and an ADRESS address entry.
  • This address input is connected to the output of an anticipation multiplexer 108.
  • This multiplexer 108 of the "two to one" type includes a anticipation command connected to the output of an OR operator 112 receiving the signals as an input INIT and END. .
  • the inputs of the anticipation multiplexer receive the same signals as the inputs of the address multiplexer 105 (DATA (A) and COUNTER).
  • the signal END is equal to 1
  • the memory of the classifier is written by a signal resulting from the comparison between the value of the histogram memory 100 and a value coming from the analysis output register 104 (RMAX 2) for all the values DATA (A)).
  • the classifier provides a classification function f A which is the relationship it establishes between the DATA (A) data it receives and the output value 101s it produces.
  • the classifier 101 ensuring the self-adjustment includes a memory 118 whose write WR input receives the signal END, the 'Address ADDRESS input receives the output signal of the address multiplexer 108 It further comprises a comparator 119 comprising two inputs and an output, the latter being connected to the data input DATA IN of the memory 118.
  • the first input of comparator 119 receives the value RMAX / 2 produced by an analysis output register 104 and, its second input receives the output of memory 100.
  • each word has only one bit.
  • a writing sequence begins.
  • the value read is greater than RMAX / 2
  • a value 1 is written in the memory 118 at the corresponding position. Otherwise, the value 0 is entered at this position.
  • the set of memories d is scanned from 0 to n. Memory 118 . classifier 101 has been updated.
  • Figure 1.3 shows an alternative embodiment of the classifier
  • a multiplexer. 120 is controlled by a choice command 124 and allows the comparison of the parameter P with a statistical value Q, which can be developed in different ways depending on the parameters
  • the input 0 of the multiplexer 120 receives the value RMAX / 2 produced from the data of the analysis output register 104 by the divider by 2, 121, the input 1 of the multiplexer 120 directly receives the value
  • the input 2 of the multiplexer 120 receives a threshold value contained in a "THRESHOLD" register. 123 the content of which is programmed from outside . system, the input, 4 of this multiplexer receives the quotient of the number of NBPTS points by the THRESHOLD produced by the divider 122.
  • the parameter P can be any parameter P. So as shown in Figure 13, the parameter P can be any parameter P.
  • the content of the memory 118 is updated, as a function of the signals supplied by the comparator 119 in a manner similar to the update described in the first embodiment.
  • FIG. 13bis and 13ter represents a third embodiment in which the sum of the occurrences in the histogram is used instead of the levels thereof.
  • the classification limits are defined for example by the use of an RMAX- register, corresponding to the maximum number of occurrences of the parameter analyzed, by searching for the values of the parameter for RMAX / 2. On either side of the position of RMAX, these values correspond to terminal A and terminal B of the classifier.
  • the RMAX register is replaced by the NBPTS register, corresponding to the total accumulation of occurrences, and to deleting a percentage k of NBPTS on either side of the histogram. Terminals A and B become more stable.
  • a device can easily perform this function.
  • a first test consists in assigning to Terminal A, the value of increment i as long as Si is smaller than the value ⁇ previously defined.
  • a second test consists in assigning to Terminal B, the value of increment i as long as Si is smaller than the value ⁇ previously defined.
  • FIG. 16 is a detailed representation of the memory 118 showing a demultiplexer with input validation 130 and a multiplexer
  • the input demultiplexer 130 receiving the write signal
  • the output multiplexer 131 addresses the value of a particular register, selected by the address command ADRESS, on the output 101s of the memory 118 of the classifier.
  • the input demultiplexer 130 and the output multiplexer 131 are controlled by the bus 134 coming from the anticipation multiplexer 108.
  • the 1 / n input demultiplexer 130 controlled by the address transmitted by the bus 134, sends the signal WR (WRITE), respectively in the form of the signals Sel 0 , Seli, Sel 2 , ..., Breast on the registers 140 o , 14O 1 ( 140 2 140 n of rank 0, 1 ..., n and determines which of these registers in which the content of the information transmitted by the signal DATA IN is addressed.
  • the information coming from these registers 140 o , 140 ⁇ , 140 2 , ..., 140 n are addressed to the multiplexer 131 which directs them to its output OUT.
  • the histogram constitution unit 1 performs a anticipation function.
  • the aim of anticipation is, as its name suggests, to anticipate the value contained in the memory 118 of the classifier so as to speed up processing and, thereby, to facilitate the monitoring of an object or its evolution .
  • anticipation defines a anticipation function which, combined with the classification function f, produces a function (fog) A connecting the DATA data (A) and the output value (101s) A characterizing the histogram processing unit processing parameter A.
  • POSMOY is the value of the DATA (A) parameter with respect to which, in a given frame, said parameter has a value greater than or equal to half of the validated points of the frame and a lower value for the other half.
  • This POSMOYo variable is produced by a comparator 302.
  • This comparator 302 receives, on one of its inputs Q, the parameter NBPTS which is divided by two by the divider 303. Its second input P is supplied by the output of a register 301 which is controlled by the initialization signals INIT and END END, and receives as input the output of an adder 300 which itself receives as input, the output value of register 301 and on its second input, the output value of memory 100 which was previously described.
  • the register 301 initially reset to zero, stores the cumulative content of the registers of the memory which are scanned by the signal COUNTER from zero to n. •
  • POSMOYo therefore contains the last COUNTER value for which the total is less than NBPTS / 2.
  • This first method is represented in FIG. 15.
  • the memory 118 is that described above with reference to FIG. 16.
  • An automaton 310 said - unit for calculating absolute value with sign extraction - supplies the values jPOSMOYo - POSMOY ⁇
  • FIG. 15a represents an alternative circuit allowing the implementation of the first method of applying the variation of the histogram to anticipation.
  • the multiplexer 127 receives as input the two POSMOY functions, that is to say k1 x (P 0 - P + d and k2 x (P 0 - Pi) + c2, and provides a grounded output on the value of the "CLOCK" control signal.
  • the OR circuit 125 and the delay circuit 126 can be used.
  • the delay circuit is controlled by the same clock signal which controls the multiplexer 127.
  • the output values of the memory 118 connected to the two different offset functions are then supplied to the OR gate 125 whose output is the signal 102s with an improved classification area, which improves anticipation.
  • This second method is represented in FIG. 17.
  • the memory 118 is then that represented in FIG. 18.
  • the register 140 ⁇ is associated with a multiplexer of inputs 2/1 160 1 which receives on one of its inputs, the binary signal leaving the comparator 119 and on the other of its inputs, the output signal from the anticipation calculator 150-].
  • the input multiplexer 160 ⁇ is controlled by the ETD signal which also controls the writing; '• • •
  • the command to write to register 14 ⁇ ! is connected to an OR operator 170- 1 which receives on one of its inputs, the ETD signal and the other a signal Sel 0.
  • an anticipation calculator 150 ⁇ receives as input the three signals Q 0 , Qi and Q 2 from the output of the registers 140 0 , 140- t , 140 2 of rank respectively 0, 1, 2, it is controlled by signals SM, SP and T.
  • the anticipation calculator 150 is described in detail in FIG. 19, it comprises a multiplexer 207 comprising an output and two inputs controlled by the signal T.
  • the expansion operator 208 comprises an OR circuit 201 with three inputs and one output. Its output is connected to multiplexer 207.
  • the erosion operator 209 has an AND circuit 204 with three inputs and one output. Its output is connected to multiplexer 207.
  • the first input is supplied by the Qi signal. Its second input is connected to a NAND circuit with four inputs and an output 205. The first input of this NAND circuit 205 is connected to the signal SP, the second to the signal Qi. The third input is connected to signal Q 0 and the fourth inverted to signal Q 2 .
  • a second NAND operator 206 has four inputs and an output connected to the third input of the AND circuit 204, the first of its inputs being supplied by the signal Q 1 ( the second by the signal SM, the third by the signal Q 2 and the fourth reversed by the signal Q 0 .
  • the signal INIT generated by the sequencer 9 starts the processing cycle of a frame. During its duration, all memories and registers are initialized.
  • the WRITE signal also generated by the sequencer 9 follows the INIT signal and controls the statistical calculations for the frame considered, the data of which are represented by the curve C, the axes of which represent the values of the parameter on the abscissa and the number of occurrences on the ordinate. .
  • the test unit 103 searches for the maximum number of RMAX occurrences. At the end of the WRITE signal, the signal END still generated by the sequencer 9 validates the updating of the memory of the classifier 118. The new data is generated by the comparator 119.
  • the content of the memory 118 is represented by the distribution R 0 .
  • the end of the signal END starts the signal ETD, the duration of which is determined by the command generator 313. This signal ETD validates the calculation of the extent in the memory 118 of the classifier.
  • the respective durations of SP and SM determine the extent and the position of the distribution R5 at the end of the ETD signal.
  • the multiplexer 207 controlled by the command T having two inputs supplied respectively by the outputs of the expansion and erosion operators and an output makes it possible to use one or the other of these operators as a function of the command T.
  • the output of multiplexer 207 is OUT-i
  • the retroannotation block 102 comprises a single register containing a single retroannotation value constituting the retroannotation criterion R.
  • the retroannotation block is a memory which can contain several values together forming the criterion R of retroannotation, one or the other of which can validate the information carried by a pixel. Each of these values is stored in a product term register 410.
  • FIG. 22 represents such a retroannotation block 102 as a whole. It is made up of a set of product terms 410 supplied by bus 425 A "PRODUCT TERM" and controlled by the Programm Register bus 12.
  • Each of these product terms 410 has an output which feeds an OR operator 421 which itself outputs an incoming signal on one of the inputs of a controlled inverter 422, which receives on its second input the signals coming from the Programm bus Register 12 via register 423.
  • FIGS 23 and 24 illustrate a reprogrammable memory unit (FPGA - Field Programmable Gâte Area) 400 implemented for the realization of the retroannotation unit 102.
  • a memory comprises a controlled inverter 403 whose output is the output of the reprogrammable unit 400 and one of whose inputs is an OR operator 401 connected to the B lines 405, these lines intersecting the A columns 406 which are connected to.
  • amplifiers 402 supplying signals s and. s ..
  • intersections 404 of lines 405 and columns 406 are programmable connections making it possible to determine the entire operation of the reprogrammable unit 400.
  • FIG. 24 represents a single line 410 of such a reprogrammable unit 400.
  • Such a line comprises registers 411 and 412 intended to receive programming variables Reg-aO and Reg-bO.
  • This line can be broken down into A elementary functions, each of which comprises a controlled inverter 413, an OR operator 415 and an inverter 414.
  • One of the inputs of the controlled inverter 413 is connected to input A and the other of these entries in bit i of the Reg-aO register.
  • This controlled inverter 413 is connected to the input of the inverter 414. which supplies, by its output, one of the inputs of the operator.
  • the output of the controlled inverter 413 also supplies one of the inputs of an OR operator 417 which still receives all of the corresponding signals produced by the various outputs of the elementary functions.
  • An AND operator 416 whose output is product termO receives as input on the one hand the output of the operator OR 417 and on the other hand the outputs of the various elementary functions.
  • the reverse annotation block can be programmed from the outside by an instruction from an application management interface. This interface loads registers 411 and 412.
  • the unit 1 of constitution. histogram in addition to updating the classifier and anticipation has a learning function.
  • the histogram constitution unit 1 comprises a learning multiplexer 108 which allows automatic programming of the retroannotation unit 102.
  • the learning multiplexer 108 selects one or the other of the two possible operating modes (operation and learning). In operating mode, the values contained in the register of the retroannotation unit 102 are fixed, on the contrary, in learning mode, these values are updated.
  • the operating mode During operation in operating mode, the learning multiplexer 109 emits, on its output, a signal of value 1 signifying that the values contained in the registers of the retroannotation block 102 are not modified during the operating sequence in operating mode.
  • the values stored in these registers were therefore either chosen and stored by the user, or were the result of a prior learning phase which we will analyze below.
  • the retroannotation unit 102 also receives, from the other histogram calculation units cooperating with that described here, comparable signals inE ... inA.
  • this retroannotation unit compares the values thus received with the values stored in its memory or in its register (s) and produces as output a signal 102s equal to 1 in the event of coincidence and to zero in the opposite case.
  • This validation signal is sent to the increment validation unit and when its value is equal to 1, authorizes the taking into account of the value of the parameter DATA (A) of the pixel concerned in the analysis memory 100 and, otherwise, authorizes the processing of the next pixel.
  • the learning mode The operation of the histogram calculation unit is then controlled by signals represented in FIG. 5, that is to say an initialization signal (INIT), a write signal (WRITE), which carry the information corresponding to each pixel of the frame (or of the image) and an end signal END.
  • the learning multiplexer 109 outputs the value of the feedback signal which is then used as DATA (A).
  • a signal LEARNj validates during a whole sequence the processing in learning mode.
  • the training registers 116 are updated.
  • the retroannotation block 102 ensures the transparency of the signals, validating the datum DATA (A), then equal to the retroannotation signal 111 as soon as at least one of the inputs inA, ..., in E is active.
  • the histogram memory 100 represents the distribution of the retroannotation signal.
  • the test unit 103 then produces a classification of occurrences by decreasing value in number equal to B "SUM TERM".
  • the values of the feedback signal thus selected are written to registers 411 and 412 of each of the blocks 410 of the feedback block 102.
  • Register 412 corresponds to the value of the feedback signal and register 411 corresponds to its complement. In practice, two outputs from the same register can be used providing these two values.
  • learning requires, for n input parameters, n + 1 histogram calculation units.
  • the n blocks processing one of the parameters and the remaining block processing the feedback information to ensure learning.
  • the retroannotation information having a large number of digits, the learning unit is dedicated and is large.
  • the spatial processing unit 6 produces at the output signals F, SR, V, VL, Dl, CO each associated with each pixel synchronously. They are preferably digital signals.
  • the complex signal F then comprises a certain number of output signals generated by the system preferably comprising signals signifying the presence " and the location of an area or a moving object, the speed V is the direction of the movement DL of each pixel of the image.
  • an output of the system is constituted by the digital input video signal which is delayed (SR) so as to synchronize it with the output ZH of the frame, taking into account account account the calculation time of the composite data signal F (for one frame).
  • the delayed signal SR is used to represent the image received by the camera on a monitor or. a screen, television, which may also be used to representing the information contained in the composite signal ZH
  • the composite signal ZH can also be transmitted to a separate processing unit 10a which continues the processing of this signal.
  • the position of a pixel in space is represented relative to a system of axes. Depending on the shape, orientation, ... of the objects in the scene, certain axis systems provide better results than others.
  • FIGS. 26 and 27 show the method for choosing the axes making it possible to obtain optimized histograms, that is to say having a particularly marked maximum.
  • the Space transform unit receives as input the spatial data x, y which can be either Cartesian data or polar data.
  • This Space transform unit is controlled by a signal ⁇ and provides at the output, for each of the values of ⁇ , a parameter which supplies a histogram constitution unit according to T invention.
  • the command program for this histogram unit introduced by the Programm Register allows you to select the value ⁇ producing an optimized histogram.
  • Binocular which by a controller for calculating distance provides a depth parameter.
  • a curve generator 114 allows the overlay on the screen of a curve of the DATA values for the frame previously processed. Likewise, an overlay of the retroannotation signal is possible.
  • FIGS. 28 and 29 describe more precisely the means for displaying the histogram curve.
  • the memory 100 addressed by the value of the column counter 353 supplies one of the inputs of a shift register 350, the other input of which is supplied by the parameter RMAX produced by the analysis register 104.
  • This shift register 350 feeds one of the inputs of a comparator 351, the other input of which is supplied by a line counter
  • the display control block 365 of the screen 8 receives the delayed video signal SR, a cursor command produced by the cursor block 366, a command produced by the semi-graphic memory 367.
  • FIG. 29 is the result of the sticker obtained 360 validated by the switch 16 which transfers the curved display signal to the overlay command 15 in the screen 361 which further comprises a command zone 362, a cursor 363 and a text area 364.
  • this screen and the associated mouse constitute a graphical user interface (GUI) allowing the user to generate and control the application.
  • GUI graphical user interface
  • the retroannotation function can be viewed, dynamically, in the form of pixels 365, by switching the switch 17, on the command for overlaying the retroannotation 14 .:
  • FIGS. 30 and following the implementation of a set of histogram calculation units has been shown, allowing the management of as large a number as necessary of parameters A, B, C, D, E ...
  • the combination of both spatial (in principle two) and temporal (at least one) parameters makes it possible to model a spatio-temporal neuron.
  • the temporal 5 and spatial 6 respectively processing units. , receive the signal on the one hand.
  • S (t) on the other hand the clock signals.
  • each of the parameters ⁇ , B, C, D, E ... leaving these temporal 5 and spatial processing units 6 feeds a histogram calculation unit, respectively 1 A , 1 B .-- 1 E -
  • the retroannotation produced by all the classifiers is available on bus 111 and used as a whole by each of the histogram calculation units, respectively 1 A , 1 B ... 1 E-
  • A, B, C, ..., E can respectively represent the color components of the input pixel in the form of luminance L, hue T and 'saturation S.
  • D and E would be the coordinates Pi and P 2 of the pixel considered in an optimized axis system.
  • each histogram calculation unit 1 A , 1 B , 1 E processes one of the data DATA (A), DATA (B), ... DATA (E) by the corresponding function (fog) A ... to individually produce an output value (101s) A ... and all together the retroannotation available on the bus 111.
  • the choice of the parameter processed by each histogram calculation unit as well that the fog function it performs, are determined by the API
  • the various parameters DATA (A) ... DATA (E) supply an input multiplexer 500 which is controlled by a register 501.
  • the register 501 is updated by the command SELECT referenced 502.
  • the learning controlled multiplexer 503 receives, depending on the state of the learning command of the histogram calculation unit i, LEARNi, either the retroannotation information transmitted by the bus 111, or the information from the input multiplexer 500. It is thus possible to use a single histogram calculation unit 1 to process any of the different parameters A, B, C, ..., E which are sent to it by a bus 510 according to the SELECT command.
  • the histogram calculation unit will operate either in operation or in learning.
  • the assembly 1a thus formed by a histogram calculation unit 1, an input multiplexer 500, its associated register 501, and possibly a learning multiplexer constitutes a versatile histogram calculation unit.
  • FIG. 32 represents a complete device comprising, by way of example, a set of sixteen versatile histogram calculation units.
  • Bus 111 carries retroannotation information.
  • the entire application is controlled by the control unit 513 which determines which of the parameters L, T, S, N, D, p 0 , Pi ... p-is which are processed at a given time by a or a group of dedicated multipurpose histogram units and, by the sequencer. 9.
  • FIG 40 shows a block diagram of an assembly comprising several histogram calculation units (as shown in Figure 31) in accordance with one embodiment of the present invention.
  • Each histogram calculation unit 1a is connected to a data bus 510 which supplies the various parameters to be processed, and to a bus 11 which supplies the classification signal 101s and the learning function signals to the various units 1a.
  • Each histogram calculation unit comprises a memory 100, a classifier 101 and a retroannotation unit 102.
  • Each unit 1a is capable of having functions of automatic classification of anticipation and learning as described above.
  • the set of histogram calculation units 1 can operate in processing mode while one or more of them are in learning mode
  • a calculation unit: of histogram is used in timeshare by several parameters ' during each frame, possibly stored in a memory not shown.
  • the unit of. histogram calculation 1 calculates histograms and the corresponding statistics for two or more parameters (for example DATA (A) and DATA (C)) during each frame.
  • a multiplexer 500 provided in this embodiment is capable of multiplexing the different parameters. In this way, one . a limited number of histogram calculation units is necessary for processing a greater number of parameters, which makes it possible to reduce the amount of silicon necessary to manufacture the useful number of histogram calculation units.
  • the generic visual perception processor (GVPP) 520 thus formed can be integrated on a single semiconductor substrate.
  • the number of versatile histogram calculation units 1a depends on the application and on the technologies for manufacturing semiconductor components available.
  • the 0.5 ⁇ m technology currently available allows the integration of 32 units economically. With advanced semiconductor techniques, it becomes impossible to manufacture more and more histogram calculation units (for example the blocks 1a of FIG. 32) on the same component and to carry out more numerous calculations on more samples (i.e. increasingly large numbers of sampling per
  • Such an increase in computing capacity can be achieved without increasing the complexity of the API, which is presented later and shown in detail in Appendix A.
  • the same set of instructions can command a set of 20 units as a set of 200 or even 2000 units without increasing its complexity.
  • a calculation unit 605 according to the present invention, that is to say similar to the calculation unit 520 of FIG. 32, is used to process the associated parameters to a domain of perception other than the visual domain.
  • the technique of the present invention is applied to oral or sound analysis, for example for speech recognition or the use of voice to enter text into a computer.
  • a device generating an audible signal supplies an audible signal to the computer 605 which
  • the device generating the signal includes a microphone 600 but can also include any device capable of providing analog or digital signals, for example a CD or DVD player ...
  • the signal generating device provides preferably digital signals and can operate in a slave mode or in a master mode in the same way as the signal generator assembly 2 of FIG. 1.
  • the computer 605 receives the signals and processes various parameters of the sound signal. These parameters include frequency, amplitude and phase. The phase and amplitude parameters are respectively analogous to the spatial and temporal signals used for the processing of visual scenes.
  • the computer 605 supplies signals to the device 610 so as to allow the representation of the results.
  • the device 610 includes a printer allowing the printing of texts associated with the signals supplied by the signal generator 600.
  • the device 610 can include a monitor or any other text generating device.
  • FIG. 33 is the representation of a generic visual perception processor 520 or 530 receiving information from a CMOS imager 521 comprising a retina 522 and a sequencer 523.
  • FIG. 34 represents a complete system capable of constituting a complete application and operating with several CMOS imagers.
  • FIG. 37 schematizes a system made up of a set of polyvalent histogram calculation units capable of processing information coming from. Three directions, respectively V1, V2 and V3 which can represent a three-dimensional space. We can thus manage volume perception data and use it in the field of robotics.
  • the application management interface (API - Application Programm Interface) represented in FIG. 38 makes it possible to provide a complete system or generic visual perception processor composed of a number of versatile histogram calculation units, all the external parameters it needs. This ensures its dynamic configuration.
  • the annex A which is attached, is an integral part of the description of the present application, it provides a functional diagram of the spatiotemporal unit API, the graphical user interface (GUI) API, the mouse API and the I / O API , as well as the various associated API commands.
  • GUI graphical user interface
  • Each of the command mnemonics is associated with an index i corresponding to the number of the multipurpose histogram calculation unit for which it is intended. It can be accompanied by configuration parameters. It allows you to assign the DATA (A) ... DATA (E) parameters to real parameters of the observed scene.
  • SELECT allows you to assign a DATA (A) parameter to a specific unit. LEARNj makes it possible to carry out learning for a unit of polyvalent histogram calculation i. fiSTART ensures the initialization of a versatile histogram calculation unit. This command configures the memory 118 of classifier 101.
  • STOP ensures that the multipurpose histogram calculation unit is stopped. It is used as soon as a histogram calculation unit is inactive. This reduces the energy consumption of the whole.
  • AFCURV is the curve display command controlling the switch 16 shown in FIG. 4. Its reverse command is CLCURV.
  • AFMAP is the retroannotation display command controlling switch 17. Its reverse command is CLRMAP.
  • MAP is the write command, of registers 411 and 412 of the retroannotation unit 102:.
  • GETLRN is the command ensuring the recovery of the content of the retroannotation registers 411 and 412 after learning.
  • API Application Programming Interface
  • the interface has 4 subdivisions for GVPP:
  • Block3 equ 03 equivalence Block3 is equal to the value 3
  • Role Selection of the input signal of a block. For example luminance, hue, saturation, orientation of lines in the plane ... etc. Parameters: Number of the block concerned, signal to be selected. totype:
  • Input - RO Block number.
  • R1 . Input parameter
  • Parameters Number of the block concerned, parameter (s) to retrieve.
  • Role ' Switching of a block in learning mode.
  • Role Programming of the block according to a previous learning to change context. Search for another event or object: write the block annotation matrix. Parameters: Number of the block concerned, Logical combination of the other associated blocks; sum of terms produced (AND and OR).
  • Role Clear the screen of the block's annotation table.
  • Parameters Data to display and position on the screen.
  • Role Generate a click cursor.
  • MVCAM Inlet - RO X position R1 Y position R2: Focus Outlet -
  • Role Send information to the PC.
  • Parameters point to information and number of information.
  • Role Recover information from the PC.
  • FIG.3 WRITE

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

La présente invention concerne un procédé et un dispositif de localisation d'une forme dans un espace représenté par des pixels formant ensemble un espace i, j multidimensionnel, évoluant dans le temps, et représenté.à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,.. étant sous la forme de signaux DATA(A), DATA(B),.. numériques constitués d'une suite Aijt, Bijt,... de nombres binaires de n bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position i, j dans cet espace, auquel les signaux Aijt, Bijt,... reçus à un instant donné. Selon l'invention :a) on repère une zone d'intérêt de l'espace en fonction d'un critère statistique appliqué à un paramètre temporel, b) on inhibe la zone principale ainsi repérée, c) on réitère les étapes a) et b) de façon à repérer d'autres zones d'intérêt à l'intérieur d'une zone de l'espace non inhibée, d) on arrête le processus lorsqu'une zone restante, non inhibée, de l'espace ne produit plus de zone d'intérêt correspondant audit critère statistique, e) on incrémente par trame valide consécutive, un compteur pour chaque zone d'intérêt ainsi repérée, et que lors de la perte d'une zone d'intérêt, son compteur associé soit remis à zéro, f) on récupère pour chaque zone d'intérêt ainsi repérée, la barycentre de son nuage de points.

Description

Procédé et dispositif de repérage d'un objet par sa forme, sa dimension et/ou son orientation
La présente invention concerne un procédé et un dispositif de repérage d'un objet par sa forme, sa dimension et/ou son orientation. On connaît déjà de tels procédés et dispositifs et, en particulier, certains d'entre eux ont proposé l'analyse statistique des points ou pixels d'un signal vidéo numérique provenant d'un système d'observation, pour la réalisation de dispositifs efficaces susceptibles de fonctionner en temps réel.
Plus récemment, il a été proposé de réaliser ces dispositifs par l'association d'unités de traitement d'informations de même nature s'adressant chacune à un paramètre particulier extrait du signal vidéo.
C'est ainsi que la demande de brevet FR-00.02355 dont un extrait est annexé à la présente demande, et l'article "Le mécanisme de la vision s'intègre sur une puce" Patrick PIRIM Electronique, Juin 2000 N° 104 ont proposé la mise en œuvre d'unités de calcul d'histogrammes ou neurones spatio-temporels électroniques STN traitant chacun une donnée DATA(A),... par une fonction (f0g) pour produire individuellement une valeur de sortie S, ces valeurs de sortie toutes ensemble formant une rétroannotation R disponible sur un bus 110. En même temps, chacune de ces unités de calcul d'histogrammes constitue et met à jour un registre de sortie d'analyse rega fournissant des informations statistiques sur le paramètre correspondant.
Le choix du paramètre traité par chaque unité de calcul d'histogrammes, le contenu du registre de sortie d'analyse ainsi que la fonction (f0g) qu'elle remplit, sont déterminés par un logiciel dit API (Application Program Interface).
On connaît, également par le PCT WO 98/05002, un procédé et dispositif permettant de repérer ou de localiser dans une image une zone ou un objet en mouvement. Le brevet US-5 795,306 divulgue un appareil de détection d'état corporel adapté à l'analyse d'images d'un visage. La pupille est extraite des images et ses caractéristiques permettent de porter un jugement sur l'état corporel.
Le but de l'invention est de proposer un procédé de repérage d'un objet par sa forme, sa dimension et/ou son orientation utilisant un dispositif constitué d'un ensemble d'unités de calcul d'histogrammes.
A l'origine de la présente invention, il est proposé de décomposer hiérarchiquement l'objet à repérer en fonction de ses propriétés. On pourra par exemple déterrniner d'abord le contour général d'un objet en mouvement par rapport à un fond relativement stable, puis rechercher à l'intérieur de ce contour des éléments caractéristiques par leur teinte, leur couleur, leur position relative... Cette approche permet l'élaboration rapide d'appHcations multiples mettant en jeu le repérage d'un objet. Ces applications peuvent être développées, soit à partir d'une formalisation antérieure ayant dégagé les caractéristiques significatives de l'objet, soit, grâce à une fonction d'apprentissage par l'examen d'une scène dans laquelle l'objet en question est présent, le dispositif permettant lui-même d'extraire des paramètres caractéristiques de l'objet.
A cet effet, l'invention concerne im procédé de localisation d'une forme dans un espace représenté par des pixels formant ensemble un espace i, j multidimensionnel, évoluant dans le temps, et représenté à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA(B),... numériques constitués d'une suite Ayt, Byt,... de nombres binaires de n bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position i, j dans cet espace, auquel les signaux Ay-t, Byt, ... reçus à un instant donné. Selon l'invention : a) on repère une zone d'intérêt de l'espace en fonction d'un critère statistique appliqué à un paramètre temporel, b) on inhibe la zone principale ainsi repérée, c) on réitère les étapes a) et b) de façon à repérer d'autres zones d'intérêt à l'intérieur d'une zone de l'espace non inhibée, d) on arrête le processus lorsqu'une zone restante, non inhibée, de l'espace ne produit plus de zone d'intérêt correspondant au critère statistique, e) on incrémente par trame valide consécutive, un compteur pour chaque zone d'intérêt ainsi repérée, le barycentre de son nuage de points, f) on récupère pour chaque zone d'intérêt ainsi repérée, le barycentre de son nuage de points.
La présente invention concerne également les caractéristiques qui ressortiront au cours de la description qui va suivre et qui devront être considérées isolément ou selon toutes leurs combinaisons techniques possibles :
- un compteur est associé à chaque zone d'intérêt, et que la valeur de compteur, est incrérnentée d'une . unité à chacune des trames successives pour lesquelles ladite zone d'intérêt est repérée, la valeur de ce compteur étant forcée à zéro à la première trame pour laquelle ladite zone n'est plus repérée,
- la position du barycentre des points constituant une zone d'intérêt et mis en mémoire dans une mémoire associée et permet son identification, - la zone d'intérêt est validée pour une valeur de son compteur associé supérieur à 1,
- la zone validée soit repérée par son barycentre, l'orientation de ses axes de projection et les dimensions du cadre associé,
- le barycentre, les axes principaux du cadre et la dimension de celui- ci soient respectivement la position, l'orientation et la dimension de l'objet perçu,
- on repère, à l'intérieur de la zone d'intérêt, . une ou, des zones secondaires définies par un ou des critères de sélection, . ;
- on réitère l'étape de la revendication 2, une zone secondaire jouant lé rôle de la zone d'intérêt, ce qui condiût à repérer des zones tertiaires,
- on utilise le repérage desdites zones secondaires pour suivre les mouvements de la zone principale,
- le paramètre temporel est la vitesse,
- le paramètre temporel est un niveau de luminance, - le paramètre temporel est une couleur,
- le paramètre temporel est la résolution spatiale,
- le paramètre temporel est la profondeur de champ,
- la zone repérée est définie par rapport à un repère choisi parmi plusieurs repères d'orientations différentes, • - les positions relatives des barycentres des nuages de points des zones d'intérêt repérées servent à contrôler la forme de l'objet perçu,
- la forme est un visage,
- ladite zone principale est le visage et que des zones secondaires sont choisies dans l'ensemble formé par les yeux, la bouche, les sourcils et le nez. L'invention concerne également un dispositif de localisation d'une forme dans un espace représenté par des pixels formant ensemble un
• espace i, j multidimensionnel, évoluant dans le temps, et représenté à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,><. étant sous la forme de signaux DATA(A),
DATA(B),... numériques sous forme d'une suite Ayt, Byt,... de nombres binaires de n bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position i, j dans cet espace, auquel les signaux A , Byt,... reçus à un instant donné. Le dispositif de localisation d'une forme selon l'invention comporte deux ensembles d'unités de calcul d' stogram es recevant les signaux et produisant chacun une valeur de classification, le premier sous-ensemble recevant un signal porteur d'un premier paramètre temporel et le deuxième sous-ensemble recevant deux signaux spatiaux, la valeur de classification du premier sous-ensemble validant un groupe de points de l'espace traités par le deuxième sous-ensemble, le nombre desdits points étant ni, la valeur de classification du deuxième sous-ensemble validant les valeurs de paramètre traitées par le premier sous-ensemble, les deux sous-ensembles produisant conjointement un signal binaire ZA représentant une zone d'intérêt et un signal P représentant la valeur du paramètre temporel dans cette zone.
Il comporte un troisième sous-ensemble recevant un signal porteur d'un deuxième paramètre temporel, ce troisième sous-ensemble ayant un fonctionnement analogue au premier et s'y substituant lorsqu'il valide des points de l'espace dont le nombre est n2, Ώ.2 étant supérieur à ni.
H comporte plusieurs sous-ensembles recevant des signaux spatiaux permettant de valider successivement plusieurs groupes de points de l'espace.
Il comporte un ensemble d'unités de calcul d'histogramme commandé par un logiciel API et reliées entre elles par un bus de données et par un bus de rétroannotation.
L'invention sera décrite plus en détail en référence aux dessins annexés dans lesquels :
- la figure 1 est la représentation d'une unité de calcul d'histogramme de l'art antérieur mise en œuvre dans l'invention : - la figure 2 est la représentation de l'association de deux unités de calcul remplissant une fonction composite spatiale selon l'invention ;
- la figure 3 est la représentation synthétique du dispositif de la figure 2 ; - la figure 4 est une représentation développée de l'association d'un ensemble d'unités de calcul d'histogramme utilisées pour la détection et le repérage d'un objet en noir et blanc ;
- la figure 5 est une représentation développée de l'association d'un ensemble d'unités de calcul d'histogramme utiHsées pour la détection et le repérage d'un objet en couleur ;
- la figure 6 est une représentation synthétique du dispositif de la figure 5 ;
- la figure 7 représente la combinaison du dispositif de la figure 3 avec une unité de calcul d'histogramme appliquée au mouvement ; - la figure 8 représente le repérage d'une zone d'intérêt ;
- la figure 9 est la représentation des histogrammes, respectivement du mouvement 9A, de X 9B et de Y 9C pour la zone d'intérêt de la figure
8 ;
- la figure 10 est un organigramme de repérage d'une zone d'intérêt ; - la figure 11 représente un dispositif de repérage de trois zones d'intérêt à partir d'une zone principale ;
- la figure 12 illustre le fonctionnement du dispositif de la figure 11 sous la forme d'un graphe ;
- la figure 13 est une représentation schématique de l'analyse de la forme constituée par un visage ;
- la figure 14 illustre l'utilisation des résultats produits par l'analyse de forme, ces résultats peuvent être transférés à distance et l'image reconstruite.
Sur la figure 1, la référence 1 désigne une unité de traitement d'histogramme au bloc dans son ensemble.
En 2, est mentionné le paramètre DATA(A) traité par l'unité de calcul d'histogramme 1 par la fonction 3 (fog). Cette unité de traitement d'histogramme 1 comporte un registre de sortie d'analyse reg 4 contenant des valeurs représentant la répartition statistique du paramètre DATA(A). L'unité de traitement d'histogramme 1 fournit au bus 110 une valeur de sortie S, il est commandé par l'API 5 qui détermine à la fois le paramètre
DATA(A) qu'elle traite, le contenu du registre 4 et la fonction 3 (fog). Cette unité de traitement d'histogramme fournit en sortie, sur le bus 110 une valeur de classification et reçoit en entrée, de ce même bus 110, les valeurs de classification provenant de ses homologues auxquelles elle est associée.
Pour chacune des unités de calcul d'histogramme, la valeur de classification est le résultat de l'application de la fonction (fog) à la suite de valeurs Ayt constituant DATA(A). Dans le registre reg 4, se trouve le résultat de différents traitements statistiques de la suite AiJt. Ces traitements sont définis par l'API et leurs résultats sont disponibles pour toute utilisation, par exemple définie par cette même API.
Une étape préalable, facilitant le traitement du signal, quels que soient l'objet ou ses caractéristiques à repérer, est avantageusement prévue et consiste en l'adaptation du niveau de luminance et ainsi qu'en une adaptation de niveau et de dynamique pour repérage d'un objet en mouvement.
Sur la Figure 2, est représentée la combinaison de deux unités de traitement d'histogramme 10 et 11 ayant chacune sur un paramètre spatial, respectivement X et Y.
Le bus 110 fournit aux unités de calcul d'histogramme 10 et 11 les informations à traiter et un opérateur ET 12 combine les signaux de sortie • Spx et Spy. La sortie de cet opérateur est dirigée vers le bus 110.
La figure 3 est une représentation synthétique de la même fonction. On comprend aisément que l'ensemble des deux unités d'analyse décrites précédemment et représentées sur la figure 2 remplit la même fonction que le bloc de même nature, et également une unité de calcul d'histogramme 6.
On peut de la même manière, tel que représenté sur la figure 4, associer im plus grand nombre d'unités de calcul d'histogramme 16 à 19 traitant chacune un paramètre. Par exemple, pour la localisation d'un objet en noir et blanc, le paramètre de luminance est traité par l'unité de calcul d'histogramme 16, le signal de saturation est traité par l'unité de calcul d'histogramme 17, le paramètre spatial X est traité par l'unité de calcul d'histogramme 18 et le paramètre spatial Y est traité par l'unité de calcul d'histogramme 19. On a encore représenté sur les figures 5 et 6, un regroupement d'unités de calcul d'histogrammes permettant le repérage de la couleur d'un objet sélectionné. Les unités de calcul d'histogrammes, respectivement 20 . pour la teinte, 21 pour la saturation, 22 pour la luminance, fournissent des 5 signaux de sortie combinés par l'opérateur ET 23. Cet opérateur fournit en sortie un signal de rétroannotation combiné représentatif de la couleur analysée.
Cet ensemble complexe de la figure 6 remplit une fonction analogue à l'unité de calcul d'histogramme 24 représentée sur la figure 5. 10 Sur la figure 7, sont représentées deux unités de calcul d'histogramme 100 et 101 traitant respectivement le paramètre mouvement et les paramètres spatiaux X et Y.
Ces unités de calcul d'histogramme 100 et 101 sont associées par la ligne 103 correspondant au bus 110 des figures décrites précédemment. 15 L'association d'unités de calcul d'histogramme traitant respectivement un paramètre temporel, ici le mouvement' MVT présenté à titre d'exemple, et des paramètres spatiaux tels que X et Y, permet le repérage d'une zone dans l'espace (i, j). dans lequel un point est représenté par les paramètres X, Y, pour laquelle un nombre suffisant de points donne 20 au paramètre temporel considéré (ici le mouvement), une valeur singulière qui peut être directement déterrninée par le système ou encore être prédéterminée au travers de l'API.
Le fonctionnement du système peut être présenté de la manière suivante : 25 Le bus 102 fournit aux unités de calcul d'mstogramme 100 et 101, les données qu'elles traitent.
Supposant qu'un objet soit en mouvement à une vitesse . ' • -.'. approximativement uniforme Vj par rappor , au fonds, iήstogramme . produit et exploité par l'unité 100 sera de la forme représentée sur la figure 30 9 A. L'unité de calcul d'histogramme fournira au travers de la ligne 103, un signal de classification SMvτ(i, j, t) qui a pour valeur 1 pour l'ensemble des pixels i, j qui ont un paramètre mouvement autour de Vi, plus précisément compris entre les bornes ViA, ViB déterminées par l'unité de calcul d'histogramme 100 en fonction de l'API, S(i, j, t) prenant la valeur 0 lorsque le paramètre mouvement a une valeur extérieure à l'intervalle défini par les bornes mentionnées plus haut.
Au travers de la ligne 103 qui peut éventuellement être confondue avec le bus 110, l'unité de calcul d'histogramme 101 reçoit cette valeur de classification du mouvement et ne. valide donc que lés points X, Y pour lesquels le paramètre mouvement MVT a une valeur voisine de Vi.
Pour cet ensemble de points, l'unité de calcul d' stogramme 101 fournit une valeur de classification Sχ5γ qui fournit au travers de la ligne 104, éventuellement au travers du bus 110, à l'unité de calcul d'histogramme 100.
La ligne 105 fournit à l'extérieur, pour tout usage, éventuellement à travers le bus, la valeur du paramètre Vi et la ligne 106 fournit la valeur de classification dénotée ici ZA qui permet de définir une zone dont le contour
202 représenté sur la figure 8 est approximativement représentatif de l'ensemble des points 203 animés de la vitesse Vi et de son barycentre Xi,
Le système fonctionne tel qu'indiqué tant qu'un nombre de points suffisant déterminé par l'API répond au système^ ç'est-a-dire à une valeur du paramètre mouvement MVT comprise entre les bornes ViA et ViB. Lorsque le nombre de points répondant à cette condition est insuffisant, le système est réinitialisé, prenant en considération à nouveau l'ensemble des points de l'espace 201 et cherchant donc une nouvelle zone caractéristique au regard des valeurs du paramètre MVT.
Ce fonctionnement et cette réinitialisation sont représentés par rorganigramme de la figure 10.
Lors du démarrage (START), le système traite l'ensemble des points de l'espace 201. Si les unités de calcul d'histogramme 100 et 101 isolent un nombre de. points ayant/des valeurs caractéristiques du paramètie MVT supérieur à un seuil, le signal de classification ZA permet de définir une nouvelle zone d'intérêt (NEW ROI -Région Of Interest). Un compteur Cr s'incrémente d'une unité par trame valide consécutive. Ce compteur représente l'indice de confiance de la fonction de repérage. Une nouvelle zone est déclarée valide pour une valeur Cr supérieure à 1.
Dans le cas contraire, lorsque le traitement d'un espace à un moment donné ou encore appelé trame ne permet pas d'isoler un nombre de points • supérieur au seuil fixé, dans ce cas la zone de l'espace considéré (ROI) est réinitialisée, le système prenant alors en compte l'espace dans son ensemble. Le compteur Cr est alors forcé à zéro.
La description précédente faite en référence aux figures 7 à 10 explicite le fonctionnement résultant de l'association d'une unité de traitement d'histogramme traitant un paramètre temporel à une imité de traitement traitant des paramètres d'espace. On comprend que dans l'une et l'autre de ces catégories, les paramètres peuvent être quelconques. En particulier, du paramètre mouvement ou vitesse, on peut également traiter en tant que paramètre temporel, la luminance, une teinte ou la résolution spatiale.
De même, les paramètres d'espace dépendent à la fois de l'espace considéré et du repère utilisé pour le définir. C'est ainsi que dans le cas d'un espace à deux dimensions, des repères orthonorrnés d'orientations différentes peuvent être utilisés, celui permettant de définir la meilleure concentration de points pour un paramètre donné étant sélectionné.
Ce processus qui permet de définir une zone, peut être répété et réitéré de différentes manières.
Dans la suite de cette description, on utilisera la représentation Z aussi bien pour désigner le signal de classification associé à une zone que la zone elle-même.
Les figures 11 et 12 schématisent la manière dont, à partir d'une zone principale ZA associée à un paramètre P, on peut obtenir, pour le même paramètre P, des sous-zones Za0, Zaι, Za2. Sur la figure 11, a été représentée l'association de trois unités de calcul d'histogramme qui, chacune, en fonction de critères définis par l'API, permet de dégager une sous-zone repérée, respectivement Zao, Zaι, Za2, à partir d'une zone ZA.
Ainsi, telles que représentées sur la figure 12, à partir d'une zone générale Za, sont repérées et dissociées les zones Za0, Zaι, Za2. On comprend que telle que représentée sur la figure 12, chaque sous-zone Zao peut alors servir de zone principale et permettre l'extraction de sous-sous- zones Za00, Za0ι, Zao2...
Ce processus peut être reproduit autant de fois que souhaité par l'opérateur et défini au travers de l'API jusqu'à un degré de définition ou de finesse des zones correspondant au nombre minimal de points défini pour constituer le seuil utilisé dans la description préalable en référence à la figure 10.
La figure 13 est la représentation d'une analyse hiérarchique d'un objet dans le cas particulier d'un visage. Il s'agit donc d'une application particulière du procédé et du dispositif décrits plus haut.
D'une part, l'ensemble représenté à la figure 7 permet de repérer une première zone d'intérêt délimitée par le contour de l'objet en mouvement que l'on appellera- ultérieurement la zone tête. Cette zone est caractérisée par une couleur dominante.
A l'intérieur de la zone ainsi déterminée, une autre unité de calcul d'histogramme déteπnine les variations ou compléments de couleurs à l'intérieur de cette zone et détecte ainsi de nouvelles zones ou sous-zones homogènes identifiant la position d'éléments caractéristiques du visage, tels que les yeux et la bouche.
Chacune de ces sous-zones est alors analysée séparément en couleur, mouvement, forme, ce qui permet de leur faire ressortir la spécificité et de déterminer lé visage. .. '
Chaque forme est avantageusement analysée à partir de la résolution spatiale, par exemple sur la base du traitement par ondelettes de Gabor et de leur orientation.
Sur la figure 13, on a représenté l'association de deux unités de calcul d'histogramme traitant des paramètres temporels 301 traitant le paramètre mouvement et 302 traitant une teinte résultant de l'association des paramètres de luminance, de teinte et de saturation tels que représentés sur les figures 5 et 6.
Lorsque l'association des unités de calcul d'histogramme 300 et 301
. , fonctioήfiant tel que décrit . plus, haut, ne permet plus, eh . raison . de l'application du seuil de nombres de points de la zone considérée, de repérer de zones ou de sous-zones, alors l'unité de calcul d'histogramme
302 traitant les paramètres LTS prend le relais en se substituant dans son fonctionnement à l'imité de calcul 301 pour coopérer avec l'unité de calcul
- d'histogramme 300.
Les unités de calcul d'Mstogramme d'espaces 303 à 305 permettent le découpage de la zone principale constituée par le cadre formé autour du contour du visage en un certain nombre de sous-zones formées par exemple par les yeux, la bouche, ...
Il est aussi possible d'élaborer un graphe représentatif de l'objet. Ce
. graphe, multi-niveau est décrit par différentes résolutions spatiales de l'image, le niveau supérieur étant attribué à la résolution spatiale la plus
• faible, les niveaux suivants correspondant à des résolutions spatiales croissantes.
Ainsi, la tête peut être définie au premier niveau par la couleur dominante du visage, des cheveux, de la barbe. Pour chacune de ces caractéristiques, une résolution spatiale supérieure indique des zones représentatives pour un visage, des yeux et de la bouche, un troisième niveau indiquerait par une représentation spatiale plus fine des caractéristiques des yeux.
La description faite jusqu'à présent correspond à l'utilisation du dispositif de l'invention pour analyser un objet dans l'espace dont les caractéristiques ne sont pas initialement connues. Le dispositif s'adapte alors et repère de lui-même les zones caractéristiques.
. .. H est également possible dé fournir ' '.à ce dispositif, au travers de l'API, un descriptif d'un objet particulier, ce descriptif étant constitué par la définition d'un ensemble de zones correspondant chacune à un intervalle de valeurs d'un paramètre particulier associé à une zone particulière de l'espace.
A partir de cette définition, le dispositif de l'invention peut identifier parmi les données qui lui sont fournies, celles correspondant à cette définition. H lui est ainsi possible de repérer et de locaHser un objet prédéfini.
Cette prédéfinition peut résulter soit de considérations théoriques, telles les. positions relatives des barycentres des images, de points des zones d'intérêt repérées, présentées par la figure 14, soit d'une utilisation antérieure du dispositif au cours de laquelle des données correspondant à l'objet lui ont été fournies, le dispositif en ayant extrait la définition. L'invention concerne un procédé et un dispositif de perception automatique. Le dispositif comporte une unité de calcul d'histogramme, de préférence auto-adaptative éventuellement avec anticipation et apprentissage. Ils sont plus particulièrement destinés à la perception et au traitement d'images.
On connaît des procédés et des dispositifs de traitement d'images permettant, en temps réel, de reconnaître, de localiser et/ou d'extraire des • objets correspondants à certains critères de leur contexte.
Les critères de sélections peuvent être extrêmement variés. Il peut s'agir d'une vitesse, d'une forme, d'une couleur... ou d'une combinaison de ces critères.
Ces procédés et dispositifs peuvent être utilisés pour faciliter l'appréhension d'une scène ou d'un phénomène par un observateur ou pour commander un automatisme à partir des informations ainsi extraites. De tels procédés et dispositifs sont par exemple décrits dans les publications suivantes FR-2.611.063 et WO-98/05002.
Certains de ces procédés et dispositifs mettent en oeuvre une unité de traitement spatial et temporel qui, . recevant un signal S(PI) dé type vidéo, : produit un certains nombre de paramètres pour chaque pixel. Il s'agit par exemple de la vitesse V, de la direction DL, d'une constante de temps CO, et d'un paramètre binaire de validation VL en plus du signal vidéo retardé VR et des différents signaux de synchronisation de trame, de ligne et de pixel ' regroupés sous la dénomination F.
Dans de tels dispositifs, on a déjà souligné l'intérêt de constituer des histogrammes de ces paramètres permettant la constitution la manipulation et l'exploitation d'informations statistiques.
Le but de ces procédés et de ces dispositifs de traitement d'images est de fournir en sortie un signal S'.(t) qui porte pour chaque pixel une information significative du résultat de l'application de critères de reconnaissance ou de sélection. Ces critères sont prédéfinis ou élaborés par les procédés et dispositifs de traitements d'images eux mêmes.
On connaît en particulier un tel procédé et un tel dispositif décrit dans la demande de brevet WO-98/05002, déjà citée qui est incorporée ici par référence. Le but de l'invention est de proposer un procédé et un dispositif de perception automatique rapide et efficace et d'améliorer pour un tel dispositif les unités de constitution d'histogrammes en assurant des fonctions d'auto- adaptation et, dans . des modes de réalisation préférés d'anticipation et d'apprentissage. ' - •
La présente invention concerne à cet effet un dispositif de perception automatique d'un événement intervenant dans un espace par rapport à au moins un paramètre.
Selon l'invention, ce dispositif comporte une unité de contrôle, un bus de données, un bus de rétroannotation et au moins une unité de calcul d'histogramme pour le traitement du paramètre.
La présente invention concerne également les caractéristiques qui ressortiront au cours de la description qui va suivre et qui devront être considérées isolément ou selon toutes leurs combinaisons techniques possibles :
- le dispositif comporte, pour traiter plusieurs paramètres, plusieurs unités de calcul d'histogramme organisées en matrice ; ,.
- les unités de calcul d' histogramme traitent des données associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments, les données parvenant à l'unité de calcul sous la forme d'un signal DATA(A) numérique sous forme d'une suite ayt de nombre binaire de n bits associé à des signaux de synchronisation permettant de définir le moment donné de l'espace et la position du pixel dans cet espace, auquel le signal aijt reçu à un instant donné • est associé, comprenant :
- une mémoire d'analyse comportant une mémoire avec des . adresses, chacune associée à des valeurs, possibles des nombres de n bits du signal DATA(A) . et dont l' écriture est contrôlée par un signal " WRITE " , - un classifieur comportant une mémoire destinée à recevoir un critère C de sélection du paramètre DATA(A), recevant le signal DATA(A) en entrée et fournissant, en sortie, un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal DATA(A) avec le critère C de sélection, - une unité de rétroannotation recevant le signal de sortie du classifieur et, de l'extérieur de l'unité de calcul de l'histogramme, des signaux binaires de classification individuels concernant des paramètres autres que DATA(A), ladite unité de rétroannotation fournissant en sortie un signal de validation global positif lorsque l'ensemble des signaux de rétroannotation individuels sont positifs,
- une unité de test,
- une unité de sortie d'analyse,
- un multiplexeur d'adresses, - une unité de validation d' incrémentation, le compteur de chaque adresse de la mémoire correspondant à la valeur d de a^ à un instant donné, étant incrémentée d'une unité lorsque l'unité de rétroannotation fournit en sortie un signal de validation global positif, l'unité de calcul et de mémorisation de données statistiques exploitant à la fin de la réception des données ayt correspondant à l'espace à un moment le contenu de la mémoire pour mettre à jour l'unité de sortie d'analyse, la mémoire étant effacée avant le début de chaque trame pour un espace à un moment par un signal d'initialisation " INIT " , et en outre :
- la mémoire du classifieur est une mémoire adressable permettant la mise à jour en temps réel du critère de sélection et ayant une entrée de données DATA IN, une commande d'adresse ADRESS et une commande d'écriture WR, recevant sur son entrée la sortie de la mémoire d'analyse et un signal END sur sa commande d'écriture,
- les unités de traitement d'histogramme comportent, de plus, un multiplexeur d'entrée ' e données ayant deux entrées et une sortie, recevant sur l'une de ses entrées un signal de comptage COUNTER et, sur l'autre de ses entrées, la suite de données aφ et fournissant en sortie la suite de données a-φ à la commande d'adresse de la mémoire du classifieur et un opérateur OU commandant le multiplexeur d'adresse et recevant sur ses entrées un signal d'initialisation INIT et le signal de fin END ; - l'espace est à deux dimensions et le signal DATA(A) est associé aux pixels d'une succession d'images ;
- les unités de traitements d'histogramme comportent des moyens d'anticipation de la valeur du critère de sélection ; - les moyens d'anticipation de. la valeur du critère de sélection comportent des mémoires destinées à contenir les valeurs de paramètres statistiques relatives à deux trames successives ;
- les paramètres statistiques sont les valeurs moyennes des données agt validées ; . - le registre de sortie d'analyse des unités de calcul d'histogramme constitue et garde en mémoire l'une au moins des valeurs suivantes : la valeur minimum " MIN " , la valeur maximum " MAX " , le nombre maximum de pixels pour lesquels le signal Vijt a une valeur particulière " RMAX " , la valeur particulière correspondante POSRMAX, le nombre total de pixels validés " NBPTS " ;
- le paramètre statistique de comparaison utilisé par le classifieur est RMAX 2. ; ,
- elle comporte un multiplexeur commandé, pouvant recevoir en entrée plusieurs paramètres statistiques et la nature de la comparaison faite par le classifieur dépend de la commande de ce multiplexeur ;
- certaines unités de calcul d'histogramme, au moins, comportent un multiplexeur d'apprentissage destiné à recevoir un signal de commande extérieur et produisant un fonctionnement selon un mode d'apprentissage dans lequel les registres du classifieur et de l'unité de rétroannotation sont effacés au début de l'exploitation d'une trame et que le registre de sortie d'analyse fournit des valeurs caractéristiques de la séquence pour, chacun de ces registres ; . . .
.. - dans certaines unités de calcul d'histogramme, au moins, là mémoire du classifieur est constituée d'un ensemble de registres indépendants comportant chacun une entrée, une sortie et une commande d'écriture, le nombre de ces registres étant égal au nombre n de bits des nombres de la suite Vjjt, et elle comporte un décodeur permettant de sortir un signal de commande d'écriture correspondant à la valeur d'entrée (adresse) associée et un multiplexeur commandé par cette valeur d'entrée, permettant de lire le registre choisi ; - certaines unités de calcul d'histogramme au moins, comportent des multiplexeurs, un d'entre eux étant associé à l'entrée de chaque registre et. des modules combinatoires reliant entre eux les registres, les multiplexeurs
. permettant le choix entre l'écriture séquentielle et une écriture commune à 5. tous les registres liés entre eux par les modules combinatoires ; " ' •
- dans certaines unités de calcul d'histogramme au moins, les modules combinatoires comportent un opérateur morphologique de dilatation comportant une unité logique " OU " à trois entrées dont la première reçoit le signal de sortie du registre de rang " Q " , la deuxième est reliée à la sortie 0 d'une unité logique " ET " à deux entrées recevant respectivement le signal de sortie du registre de rang " Q+1 " et un signal de dilatation positive, la troisième est reliée à la sortie d'une unité logique " ET " à deux entrées recevant respectivement le signal de sortie du registre de rang " Q-1 " et un signal de dilatation négative ; 5 ' - dans certaines unités de calcul d'histogramme au moins, les modules combinatoires comportent un opérateur morphologique d'érosion comportant
... une. unité logique " ET " à trois entrées dont la première reçoit. le signal de sortie du registre dé rang " Q " , la deuxième est reliée à la sortie d'une unité logique " ET " dont une inversée à quatre entrées recevant respectivement le 0 signal de sortie du registre de rang " Q " , le signal de sortie du registre de rang " Q-1 " , le signal de sortie du registre de rang " Q+1 " et un signal d'érosion positive, la troisième est reliée à la sortie d'une unité logique " ET " à quatre entrées dont une inversée recevant respectivement le signal de sortie du registre de rang " Q " , le signal de sortie du registre de rang " Q- 5 1 " , le signal de sortie du registre de rang " Q+1 " et un signal d'érosion négative ;
- dans certaines unités de calcul d'histogramme au moins, chaque modulé combinatbire comporte un ... multiplexeur, associant un opérateur morphologique d'érosion et un opérateur morphologique d'érosion ; 0 ' L'invention concerne un procédé de perception automatique d'un événement intervenant dans un espace par rapport à au moins un paramètre consistant à le digitaliser et à le fournir en entrée à une unité de calcul d'histogramme pour former un histogramme représentatif du paramètre et.-en déduire le résultat désiré. L'invention concerne également un procédé d'analyse d'un paramètre représentatif d'un événement dans un dispositif électronique comprenant un calcul d'histogramme sur des données aijt associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments, les données parvenant à l'unité de calcul sous là forme d'un signal DATA(A) numérique sous forme d'une suite aijt de nombre binaire de n bits associé à des signaux de synchronisation permettant de définir le moment donné de l'espace et la position du pixel dans cet espace, auquel le signal aijt reçu à un instant donné est associé dans lequel - on associe à chaque donnée aijt un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal DATA(A) avec le critère C de sélection,
- on constitue une répartition statistique des données ayt pour un moment donné pour lesquelles un signal de validation global est positif, ledit signal de validation global étant constitué d'un ensemble de signaux de rétroannotation individuels chacun correspondant à un paramètre DATA(A), ATA(B),...DATA(E)„ résultant de la comparaison entre un.; .. critère de rétroannotation R et de son signal de classification et étant positif. L'invention sera décrite plus en détail en référence aux dessins annexés dans lesquels :
- la figure 1 est une représentation de l'unité de calcul d'histogramme selon l'invention, dans son contexte ;
- la figure 2 est une représentation du signal vidéo d'entrée, traité par le dispositif et le procédé de l'invention et des signaux de commande générés par un séquenceur ;
- la figure 3 est un diagramme représentant une unité passive de calcul d'histogramme ; v . . . . . . . '.
- la figure 4 est un diagramme représentant une unité de calcul d'histogramme autoadaptative selon l'invention avec les fonctionnalités d'anticipation et d'apprentissage ;
- la figure 5 est un diagramme représentant des signaux exploités par. l'unité de calcul de la figure 4 ;
- la figure 6 est l'organigramme du logiciel de commande de l'unité de calcul de la figure 4 en mode maître ; - la figure 7 est l'organigramme du logiciel de commande de l'unité de calcul de la figure 4 en mode esclave ;
- la figure 8 est l'organigramme du logiciel d'insertion de la zone de courbe ; - la figure 9 est l'organigramme dû logiciel d'initialisation (génération de la commande « INIT ») ;
- la figure 10 est l'organigramme du logiciel de calcul de statistiques (utilisation de la commande « WRITE ») ;
- la figuré "11 'est l'organigramme de fin de traitement (utilisation de la commande « END ») ;
- la figure 12 est une représentation des éléments essentiels de l'unité de calcul d'histogramme ayant une fonctionnalité d' autoadaptation ;
- la figure 13 est une représentation d'un calculateur de validation ayant plusieurs fonctionnalités d' autoadaptation ; - la figure 14 est une représentation des éléments d'une unité de calcul d'histogramme produisant des valeurs POSMOY ;
, - la figure 15 est . un schéma représentant les éléments essentiels de ; . l'unité d'histogramme autoadaptàtive avec anticipation -selon, une première méthode ; - la figure 15a est une représentation analogue à la figure 15 mettant en œuvre une première méthode d'anticipation généralisée ;
- la figure 16 est un schéma de la mémoire du classifieur ;
- la figure 17 est un schéma représentant les éléments essentiels de l'unité d'histogramme autoadaptative avec anticipation selon une deuxième méthode ;
- la figure 18 est une représentation détaillée de la mémoire du classifieur avec un automate, de calcul élémentaire par bit.;
, . - la figure 19. est une représentation d'un automate, élémentaire, de calcul de l'anticipation; - la figure 20 est une représentation schématique de l'anticipation ;
- la figure 21 est l'organigramme du logiciel de mise en œuvre de l'anticipation ;
- la figure 22 est une représentation de l'unité de rétroannotation ;
- la figure 23 est une représentation synoptique d'une unité • reprogrammable logique (FPGA) utilisée comme unité de rétroannotation ; - la figure 24 est la représentation par registre, limitée à une rangée du circuit, de la figure 23 ;
- la figure 25 est une représentation des éléments essentiels d'une unité de calcul d'histogramme permettant l'apprentissage ; - les figures 26 et 27 sont dès représentations schématiques d'un choix d'axe particulier ;
- la figure 28 est une représentation schématique du dispositif de • visualisation statistique ;
- la figure 29 est un exemple du résultat de la visualisation produite par le dispositif de la figure 28 ;
- la figure 30 est la représentation de la mise en œuvre d'une pluralité d'unités de calcul d'histogramme ;
- la figure 31 est la représentation de. l'utilisation d'une unité de calcul d'histogramme unique programmable avec un multiplexeur permettant son ^exploitation pour une pluralité de paramètres ;
- la figure 32 représente un ensemble d'unités de calcul d'histogramme à contrôle d'entrée programmable dans leur contexte d'utilisation constituant une unité fonctionnelle ; -'•"--''
- la figure 33 est une représentation synthétique d'une unité fonctionnelle avec le générateur de signal associé ;
- la figure 34 correspond à la figure 32 dans le cas d'une acquisition à deux sources ;
- la figure 35 correspond à la figure 33 dans le cas d'une acquisition binoculaire ; - la figure 36 schématise un générateur de signal équipé d'une optique commandée ;
- la figure 37 présente le cas d'une acquisition à trois sources ; .
. - la figure 38 est une. représentation de l'interface .de gestion, dé l'application (API) ; - la figure 39 représente un dispositif de traitement d'un signal sonore selon l'invention ;
- la figure 40 est une représentation simplifiée d'un dispositif selon l'invention.
L'invention peut être l'objet de réalisations nombreuses. Les informations exploitées peuvent être de natures variées et représenter des données ou paramètres multiples, outefois, sa première application est le traitement d'images, celles-ci constituant l'espace considéré. Il est bien entendu, alors, à deux dimensions. La description détaillée qui suit correspond à ce mode de réalisation particulier. L'unité de calcul d'histogramme 1 de l'invention est représentée dans son contexte par les figures 1 et 2.
Cette unité de calcul d'histogramme 1 fait partie d'une unité de perception visuelle 13 qui reçoit et exploite un signal S(t) ou S(PI). L'unité de calcul d'histogramme exploite et génère une information dite rétroannotation S'(t) sur un bus 111. Plus précisément, la figure 1 représente plusieurs unités de calcul d'histogramme 1A, 1B,..., 1 E associées dans une même unité de perception visuelle.
Dans un mode de réalisation, l'unité de perception visuelle 13 traite différents signaux concernant une ou des scènes visuelles. Dans d'autres modes de réalisation, l'unité de perception 13 traite d'autres paramètres de perception, par exemple des sons, des odeurs... La description qui suit concerne principalement la perception visuelle, l'adaptation à . d'autres paramètres est possible.
Un séquenceur 9 génère, à partir de signaux de synchronisation ST, SL, CLOCK, des signaux de séquence INIT, WRITE et COUNTER qui commandent les unités de calcul d'histogramme.
Tels que représentés sur la figure 1, les signaux d'entrée du séquenceur 9 (SL, ST, CLOCK) peuvent provenir d'un ensemble générateur de signaux 2 comportant une caméra 22 ou d'un ensemble générateur de signaux 3 comportant un imageur CMOS 32.
Lorsque les signaux d'entrée proviennent d'un ensemble 2 comportant une caméra, cet ensemble impose des signaux de synchronisation de trames et de .lignes dé telle sorte, que l'unité de calcul d'histogramme et .sori séquenceur 9 fonctionnent en mode esclave ou - synchronisation esclave -. Au contraire, dans le cas où ces signaux proviennent d'un ensemble 3 comportant un imageur CMOS, le séquenceur 9 fonctionne en mode maître et génère lui-même les signaux de synchronisation.
Plus précisément, l'ensemble 2 permet l'acquisition de données provenant d'une scène 21 par une caméra 22. La caméra 22 produit un signal S(P1) dont la forme, du type de celle représentée sur la figure 2, sera décrite en détail plus loin.
L'unité électronique de commande 23 de la caméra 22 fournit alors les signaux S(t) résultant de l'extraction des signaux de synchronisation de S(PI), ST, SL et le signal d'horloge CLOCK issu d'une boucle à verrouillage de phase, qui sont utilisés par l'unité de calcul d'histogramme.
Dans le cas d'un ensemble 3 comportant un imageur CMOS, cet imageur 32 est utilisé pour l'acquisition de données de la scène 31, il fournit S(t) et est piloté par une unité de synchronisation 33 qui produit les signaux de synchronisation de trames ST et de synchronisation de lignes SL, ainsi que le signal d'horloge CLOCK utilisé aussi bien par l' imageur CMOS 32 que par les autres éléments de l'unité de perception visuelle 13.
Les unités de calcul d'histogramme 1 sont avantageusement coordonnées à une unité de traitement spatial 6 et temporel 5 qui a été décrite dans la demande de brevet WO-98/05002, et à une ligne à retard 7. L'unité de traitement spatial et temporel 5, 6 correspond au dispositif référencé 11 dans la demande de brevet citée. Il reçoit le signal S(Pl) et génère des paramètres V (vitesse), Dl (direction) correspondant chacun à l'une des données identifiées par DATA(A)... DATA(E) dans la présente demande.
Ces paramètres peuvent aussi être la résolution spatiale, la structure de l'image (variation du contraste multi-échelle en coordonnées polaires...), tels qu'ils résultent d'une analyse par ondelettes de Gabor et décrits dans l'article de Daugman, 1988, Complète Discrète 2D Gabor Transform..., IEEE Trans. Acoust. Speech Signal Process, 36 : 1169-1179.
Cet ensemble, constitué par une unité de calcul d'histogramme 1, l'unité de traitement spatial et temporel 5, 6 et la ligne à retard 7, fournit soit
• des informations, généralement sous forme numérique, dites - de rétroannotation - exploitables par un dispositif aval, soit un signal permettant la visualisation des informations sur un écran 8 par l'intermédiaire du bus
111.
Une unité de calcul d'histogramme passive (non autoadaptative) et sans anticipation est représentée sur la figure 3.
Cette unité de calcul d'histogramme est destinée à traiter les valeurs d'un paramètre A qui sont affectées à chaque pixel dans un signal S(t) = {aljT} de type vidéo
Plus précisément, on appelle - signal S de type vidéo - un signal qui est composé d'une succession de trames, chaque trame consistant en une succession de pixels dont l'ensemble forme un espace, par exemple une image pour un espace à deux dimensions. Dans ce cas, les trames sont elles- mêmes décomposées en lignes et colonnes. Ce signal S(t) porte une valeur ay du paramètre A pour chacun des pixels (i,j). La succession des trames représente donc la succession d'images dans le temps. Dans la notation {ayT}, T représente la trame, i est le numéro d'une ligne dans la trame T, j est le numéro de la colonne du pixel dans cette ligne, a est la valeur du paramètre A associée au pixel ijT.
Le signal S peut être un signal analogique. Toutefois, il est de préférence numérique et composé, tel que représenté sur la figure 2 d'une succession de trames Ti et T2, chacune étant formée d'une succession de lignes horizontales balayées telles que .i, I1.2,..., I1.17 pour T1 et l2.ι... pour T2.
Chaque ligne consiste en une succession de pixels ou de points-images PI.
S(PI) comprend un signal (ST) de synchronisation de trames au début de chaque trame, un signal (SL) de synchronisation de lignes au début de chaque ligne qui n'est pas également un début de trame. Ainsi, S(PI) comprend une succession de trames qui représente le domaine temporel et, à l'intérieur de chaque trame, une série de lignes et de pixels en colonnes qui sont représentatifs du domaine spatial.
Dans le domaine temporel, " des trames successives " désignent des trames se succédant dans le temps et " des pixels successifs à la même position " désignent les valeurs successives ay associées respectivement aux pixels (i, j) placés au même endroit dans les trames successives, c'est-à-dire par exemple (1, 1) de Λ dans la trame T1 et (1, 1) de l2.ι dans la trame suivante correspondante T2...
A partir du S(PI), tel qu'indiqué plus haut par référence à la demande PCT/FR-97/01354, l'unité de traitement spatial 6 et temporel 5 génère un ou plusieurs signaux DATA(A)... DATA(E).
L'unité de calcul d'histogramme passive et sans anticipation, telle que représentée sur la figure 3, exploite un signal DATA(A) dont la structure est représentée sur la figure 2. Ce signal peut provenir soit directement d'une caméra ou d'un système quelconque d'acquisition d'images, ou avoir préalablement subi un premier traitement, par exemple un traitement spatial et/ou temporel.
Elle génère un signal 101s de même structure qui porte pour chaque " ;. pixel une information significative du résultat de l'application des critères de reconnaissance ou de sélection. • ••
Tel que représenté sur la figure 3, l'unité de calcul d'histogramme 1 comporte une mémoire d'analyse 100, un multiplexeur d'adresses 105, un multiplexeur d'entrées de données 106, une unité de validation d'incrémentation 107, un classifieur 101, une unité de rétroannotation 102 et une unité de test 103 dont les fonctionnements seront décrits plus loin.
L'ensemble des éléments constituant l'unité de calcul d'histogramme sont commandés et synchronisés par un signal d'horloge (dock).
I. La mémoire d'analyse 100
Cette unité de calcul d'histogramme 1 comporte une mémoire d'analyse 100.
Cette mémoire d'analyse 100 est de préférence une mémoire
• numérique classique synchrone, ou asynchrone, telle qu'une DRAM pu Une
SDRAM. Cette mémoire a un nombre n d'adresses d égal au nombre de niveaux possibles pour les valeurs du paramètre A qui doivent être 0 discriminées.
Chacune de ces adresses peut stocker au moins le nombre de pixels contenu dans une trame (c'est-à-dire dans une image).
A chaque trame, après une remise à zéro rapide par le signal de commande INIT, un signal WRITE valide, pendant toute la trame, le 5 traitement de la donnée DATA(A). Ainsi, la mémoire d'analyse 100 est susceptible de recevoir le signal DATA(A). Pour chaque trame, reçue, les pixels pour lesquels la valeur du paramètre A a une .valeur a ≈ d (s'ils sont validés par le signal de validation 102s qui sera décrit plus loin), incrementent le contenu de l'adresse de rang d de la mémoire 100 d'une valeur 1. Ainsi, 0 après avoir reçu une trame complète, la mémoire 100 comporte, à chacune de ses adresses d, le nombre de pixels qui sont validés et pour lesquels le paramètre A a une valeur d. II. Les multiplexeurs d'adresses et d'entrées de données
L'unité de calcul d'histogramme 1 comprend aussi un multiplexeur d'adresses 105, un multiplexeur d'entrées de données 106.
Chacun de ces multiplexeurs comporte une commande de sélection binaire, deux entrées et une sortie.
La sortie du multiplexeur a pour valeur celle de l'une des entrées lorsque la commande de sélection vaut 1 et l'autre lorsqu'elle vaut zéro.
Lorsque le signal de commande INIT est égal à zéro, le multiplexeur d'adresses 105 sélectionne une adresse dans la mémoire d'analyse 100 en fonction du niveau d du signal (aljT) reçu, le multiplexeur d'entrées de données 106 transfert l'incrémentation de la valeur contenue dans cette mémoire en fonction de l'état de sa commande de sélection.
Lorsque le signal de commande INIT est égal à 1, le multiplexeur d'adresses 105 transfert le signal du compteur qui incrémente l'adresse de zéro à la valeur maximum de DATA(A). Le multiplexeur d'entrées de données 106 force zéro sur l'entrée de la mémoire 100.
III. L'unité d'incrémentation
L'unité de calcul d'histogramme comporte également une unité d'incrémentation 107. II s'agit d'un incrémenteur commandé comportant une entrée, une commande et une sortie.
La sortie de l'unité d'incrémentation est égale à la sortie de la mémoire d'analyse 100 si le signal de validation 102s est égal à zéro, elle est égale à cette même valeur augmentée de 1 dans le cas contraire.
IV. Le classifieur
L'unité passive de calcul d'histogramme comporte également un classifieur passif 101 qui comporte un registre 101r susceptible de mémoriser certaines des valeurs de niveaux possibles (di, d2,...) des niveaux du paramètre A. Le classifieur 101 reçoit le signal DATA(A) et effectue un tri des pixels fournissant, sur sa sortie 101s, une valeur 1 lorsque le paramètre A associé audit pixel a un niveau correspondant à celui contenu dans le registre 101r (di, d2,...) et la valeur zéro dans le cas contraire. La sortie du classifieur 101 est reliée à un bus 111.
V. L'unité de rétroannotation
L'unité de calcul d'histogramme comporte encore une . unité de rétroannotation 102; : Cette unité de rétroannotation 102 est reliée au bus 111. Elle comporte au moins un registre 102r et reçoit pour chaque pixel des signaux DATA(A), les valeurs (inE,..., inB, ÎΠA) de sortie des classifieurs 101 des différentes unités de calcul d'histogramme auto-adaptatives reliées au bus 111.
Cette unité de rétroannotation compare les valeurs ainsi reçues à celles contenues dans son registre 102r et émet, sur sa sortie 102s, pour chaque pixel, un signal de validation égal à 1 lorsqu'il y a coïncidence entre les valeurs du registre égales à 1 et les données correspondantes reçues du bus 111 , et une valeur zéro dans le cas contraire, ce qui correspond à la fonction booléenne suivante : out = (în Reg (n^+Reg ...(^
VI. L'unité de test et le registre de sortie d'analyse
L'unité de calcul d'histogramme comprend également une unité de test
103 recevant les informations sortant de la mémoire d'analyse 100 et reliée à des registres de sortie d'analyse 104. Les registres de sortie d'analyse 104 sont destinés à recevoir des
• informations statistiques élaborées sur les valeurs du paramètre A du signal
DATA(A) pour chaque trame.
Il peut s'agir par exemple des valeurs minimum (MIN) et maximum (MAX) du paramètre A, du nombre d'occurrences (RMAX) de la valeur la plus représentée . et de la position (POSRMAX) de cette yaleur, ainsi que du nombre (NBFTS) de points pour lesquels des informations ont été reçues.
L'unité de test 103. met à jour les registres de sortie d'analyse 104 en fonction des informations qu'il reçoit.
L'unité de validation d'incrémentation 107 produit également en sortie un signal adressé sur l'unité de test 103 lui permettant d'incrémenter le registre de sortie d'analyse 104 dans l'hypothèse favorable.
On comprend ainsi qu'après l'exploitation d'une trame complète, l'unité de calcul d'histogramme 1 a produit des informations statistiques représentatives de cette trame, disponibles dans le registre de sortie d'analyse 104 et exploitables à toutes fins utiles, soit pour une visualisation accessible à l'opérateur, soit pour exploitation par tout autre programme ou automate. Les registres de sortie d'analyse 104 comportent des mémoires pour chacune des caractéristiques-clés qui incluent le minimum (MIN) de l'histogramme, le maximum (MAX) de l'histogramme, le nombre de points (NBPTS) de l'histogramme, la position (POSRMAX) du maximum de l'histogramme et le nombre de points (RMAX) au maximum de l'histogramme. Ces caractéristiques sont déterminées en parallèle avec la formation de • l'histogramme par l'unité de test 103, de la manière suivante : Pour chaque pixel qui est validé :
(a) si la valeur du paramètre DATA(A) du pixel < MIN (qui est initialement fixée à la valeur maximale de DATA(A) possible de l'histogramme), alors la valeur du paramètre est inscrite dans MIN ;
(b) si la valeur du paramètre DATA(A) du pixel > MAX (qui est initialement . fixée à la valeur minimale , de DATA(A) possible de l'histogramme), alors la yaleur du paramètre est inscrite dans MAX ;
(c) si le contenu de la mémoire 100 à l'adresse de la valeur du paramètre du pixel > RMAX (qui est initialement fixée à la valeur minimale DATA(A) possible de l'histogramme), alors i) écrire la valeur du paramètre dans POSRMAX et ii) écrire la sortie de la mémoire dans RMAX ;
(d) augmenter NBPTS (qui est initialement fixé à la valeur zéro) d'une unité.
VIL Fonctionnement d'ensemble de l'unité de calcul d'histogramme passive
Plusieurs.uriites.de calcul d'histogramme 1A, 1 B...1E sont donc reliées au même bus de rétroannotation 111. La présente description est faite en référence à cinq unités de calcul d'histogramme A à E. On comprend que la généralisation à un nombre quelconque d'unités peut être faite.
A. Signal WRITE
Pendant chaque signal WRITE, chacune d'elles fournit au bus, pour chaque pixel, le signal de sortie 101s de son classifieur 101 et elles reçoivent ' chacune l'ensemble de ces signaux sur l'entrée inAl..., inE de leur unité de rétroannotation 102.
La valeur du paramètre, par exemple DATA(A) pour l'unité 1A, est comparée au contenu du registre 101r du classifieur 101. Le résultat inA = 101s de cette comparaison est un signal binaire qui est adressé en même temps que ses homologues inB...inE provenant des autres unités
1B...1E.
L'unité de rétroannotation 102 compare ces valeurs prises ensemble " au contenu de son registre 102r constituant un critère R de rétroannotation et génère, sur sa sortie 102s, un signai binaire dont la valeur dépend du résultat de la comparaison.
Ce signal 102s commande l'incrémenteur 107. Lorsqu'il est égal à 1, il produit, par l'intermédiaire du multiplexeur de données 106, l'incrémentation d'une unité du contenu du registre de la mémoire 100 correspondant à la valeur du paramètre DATA(A), simultanément l'unité de test 103 assure l'exploitation statistique du contenu de la mémoire 100 et en transfert le contenu dans le registre de sortie d'analyse 104.
A la fin du signal WRITE, les registres de la mémoire 100 contiennent chacun pour valeur d, le nombre de pixels pour lesquels le signal DATA (A) avait la valeur d correspondante et que l'unité de rétroannotation a validé.
B. Signal INIT
Pendant le signal INIT, le signal COUNTER qui balaie les valeurs de 0 à n, assure la remise à zéro des registres de la mémoire 100.
VIII. L'auto-adaptation Dans la description faite jusqu'à présent, la mémoire du classifieur 101 est un registre 101r dont le contenu déterminé de l'extérieur du système est fixe. Ce classifieur est alors dit passif.
L' autoadaptation consiste en l'actualisation automatique, par le système lui-même, du contenu de la mémoire du classifieur, ce contenu étant alors une table de transcodage (LUT - Look Up Table). On obtient ainsi une unité de calcul d'histogramme 1 autoadaptative. Pour assurer la fonction d' autoadaptation, c'est-à-dire de mise à jour en temps réel du classifieur, l'unité de calcul d'histogramme de la figure 3 est perfectionnée conformément à la figure 4.
Au lieu d'avoir un simple registre 101 r écrit de l'extérieur du système, le classifieur 101 à une mémoire adressable dont l'écriture est commandée par un signal END.
Le séquenceur 9 génère ce signal END représenté sur la figure 5. L'unité de calcul d'histogramme comporte un opérateur de sélection OU 110 recevant en entrée les signaux INIT et END et relié en sortie à la commande du multiplexeur d'adresses 105.
La mémoire du classifieur 101 est commandée par le système lui- même. Son contenu est modifiable, elle comporte une entrée de données DATA IN, une commande d'écriture WR et une entrée d'adresses ADRESS.
Cette entrée d'adresses est reliée à la sortie d'un multiplexeur d'anticipation 108. Ce multiplexeur 108 de type " deux vers un " comporte une commande d'anticipation reliée à la sortie d'un opérateur OU 112 recevant en entrée les signaux INIT et END. .
Les entrées, du multiplexeur d'anticipation reçoivent les :mémes signaux que les entrées du multiplexeur d'adresses 105 (DATA(A) et COUNTER). Lorsque le signal END vaut 1 , la mémoire du classifieur est écrite par un signal résultant de la comparaison entre la valeur de la mémoire 100 d'histogramme et une valeur issue du registre de sortie d'analyse 104 (RMAX 2) pour toutes les valeurs possibles de DATA(A)).
Ainsi, le classifieur assure une fonction de classification fA qui est la relation qu'il établit entre les données DATA(A) qu'il reçoit et la valeur de sortie 101s qu'il produit.
A. Classifieur premier mode de réalisation
En référence à la figure 12, le classifieur 101 assurant l' autoadaptation comporte une mémoire 118 dont l'entrée d'écriture WR reçoit le signal END, ' l'entrée d'adresses ADRESS reçoit le signal de sortie du multiplexeur d'adresses 108. Il comporte de plus un comparateur 119 comportant deux entrées et une sortie, celle-ci étant reliée à l'entrée de données DATA IN de la mémoire 118. La première entrée du comparateur 119 reçoit la valeur RMAX/2 produite par un registre de sortie d'analyse 104 et, sa deuxième entrée reçoit la sortie de la mémoire 100.
Le fonctionnement de la mémoire . 118 du classifieur est alors le 5 • . '- • • suivant.
Elle comporte le même nombre de mots que la mémoire d'analyse 100 mais dans la mémoire 118, chaque mot ne comporte qu'un seul bit.
A la fin (signal END = 1) de la réception d'un nouveau flux de données DATA(A) d'une trame, une séquence d'écriture commence. 10 Lorsque pour une mémoire donnée d de la mémoire d'analyse 100, la valeur lue est supérieure à RMAX/2, une valeur 1 est inscrite dans la mémoire 118 à la position correspondante. Dans le cas contraire, la valeur 0 est inscrite à cette position. L'ensemble des mémoires d est balayé de 0 à n. La mémoire 118. du classifieur 101 a ainsi été mise à jour.
15 B. Classifieur deuxième mode de réalisation .
La figure 1,3 représente un mode de réalisation alternatif du classifieur
; . dans lequel un multiplexeur. 120 est commandé par une commande de hoix 124 et permet la comparaison du paramètre P à une valeur statistique Q, qui peut être élaborée de différentes manières en fonction des paramètres
20 statistiques reçus sur ses différentes entrées 0, 1 , 2, 3 qui sont sélectionnées par la commande de choix 124. La commande de choix dépend du contenu du registre " CHOIX" . L'entrée 0 du multiplexeur 120 reçoit la valeur RMAX/2 produite à partir des données du registre de sortie d'analyse 104 par le diviseur par 2, 121 , l'entrée 1 du multiplexeur 120 reçoit directement la valeur
25 RMAX, l'entrée 2 du multiplexeur 120 reçoit une yaleur de seuil contenu dans un registre " SEUIL " .123 dont le contenu est programmé de l'extérieur du . système, l'entrée ,4 de ce multiplexeur reçoit le quotient du nombre de points NBPTS par le SEUIL produit par lé diviseur 122.
Donc tel que représenté sur la figure 13, le paramètre P peut être
30 • comparé aux valeurs respectives RMAX2, RMAX, à un seuil B entré depuis l'extérieur et au rapport du nombre de points NBPTS rapporté à ce seuil par le diviseur 122. Le contenu de la mémoire 118 est mis à jour, en fonction des signaux fournis par le comparateur 119 de manière analogue à la mise à jour décrite dans le premier mode de réalisation.
C. Classifieur troisième mode de réalisation La figure 13bis et 13ter représente un troisième mode de réalisation dans lequel on utilise le cumul des occurrences dans l'histogramme au lieu des niveaux de ceux-ci. Les bornes de classification sont définies par exemple par l'utilisation d'un registre RMAX-, correspondant au maximum d'occurrences du paramètre analysé, en recherchant les valeurs du paramètre pour RMAX/2. De part et d'autre de la position de RMAX, ces valeurs correspondent aux borne A et borne B du classifieur.
Ainsi, le registre RMAX est remplacé par le registre NBPTS, correspondant au cumul total des occurrences, et à supprimer un pourcentage k de NBPTS de part et d'autre de l'histogramme. Les bornes A et B deviennent plus stables.
Un dispositif peut aisément exécuter cette fonction. En fin de calcul d'histogramme, le registre NBPTS est connu et un signal Fin-Trame permet de connaître la valeur α = k.NBPTS et une valeur β = NBPTS-α. En initialisant à zéro une fonction de cumul S, soit S0 = zéro, l'incrément i d'un compteur connecté sur l'adresse de la mémoire histogramme précédemment calculée permet de lire le contenu de cette mémoire, et d'alimenter le registre de cumul Si.
Un premier test consiste à assigner à Borne A, la valeur d'incrément i tant que Si est plus petit que la valeur α précédemment définie.
Un second test consiste à assigner à Borne B, la valeur d'incrément i tant que Si est plus petit que la valeur β précédemment définie.
IX. La mémoire 118 du classifieur 101
La figure 16 est une représentation détaillée de la mémoire 118 faisant apparaître un démultiplexeur avec validation d'entrée 130 et un multiplexeur
- de sortie 131. Le démultiplexeur d'entrée 130 recevant le signal d'écriture
WR est donc à même de valider le choix du registre de la mémoire 118, sélectionné par la commande d'adresse ADRESS, pour l'écriture de la valeur binaire de la comparaison DATA IN. Le multiplexeur 131 de sortie adresse la valeur d'un registre particulier, sélectionné par la commande d'adresse ADRESS, sur la sortie 101s de la mémoire 118 du classifieur.
Le démultiplexeur d'entrée 130 et le multiplexeur de sortie 131 sont commandés par le bus 134 issu du multiplexeur d'anticipation 108.
Plus précisément, le démultiplexeur 1/n d'entrée 130, commandé par l'adresse transmise par le bus 134, envoie le signal WR (WRITE), respectivement sous la forme des signaux Sel0, Seli, Sel2,..., Sein sur les registres 140o, 14O1( 1402 140n de rang 0, 1... , n et détermine celui de ces registres dans lequel le contenu de l'information transmise par le signal DATA IN est adressé. En sortie, les informations provenant de ces registres 140o, 140ι, 1402,..., 140n sont adressées sur le multiplexeur 131 qui les dirige sur sa sortie OUT.
X. L'anticipation Dans une forme de réalisation préférée, en plus de la mise à jour en temps réel, l'unité 1 de constitution d'histogramme assure une fonction d'anticipation.
Cette anticipation de l' autoadaptation du classifieur 101 améliore le fonctionnement de ce système bouclé et le rapproche d'un fonctionnement d'un système physiologique.
Le but de l'anticipation est, comme son nom l'indique, d'anticiper la valeur contenue dans la mémoire 118 du classifieur de façon à accélérer le traitement et, par là, à faciliter le suivi d'un objet ou de son évolution.
A cet effet on recourt d'abord à un calcul de la variation global de l'histogramme dont le résultat est, ensuite, utilisé pour appliquer l'anticipation selon l'une ou l'autre des méthodes suivantes. Dans tous les cas, l'anticipation définit une fonction d'anticipation qui, combinée à la fonction de classification f, produit une fonction (fog)A reliant les données DATA(A) et la valeur de sortie (101s)A caractérisant l'unité de traitement d'histogramme traitant le paramètre A.
A. Calcul de la variation globale de l'histogramme
L'unité de test 103 et les registres 104 de sortie d'analyse génère alors une valeur statistique POSMOY dont les valeurs POSMOYo et POSMOYi pour deux trames successives sont mémorisées. POSMOY est la valeur du paramètre DATA(A) par rapport à laquelle, dans une trame donnée, ledit paramètre a une valeur supérieure ou égale pour la moitié des points validés de la trame et une valeur inférieure pour l'autre moitié. Préparation
Lorsque le signal END vaut 1 , la nouvelle valeur POSMOYo est calculée et la valeur précédente de POSMOY0 est sauvegardée en POSMOY .
POSMOY En référence à la figure 14, on décrira maintenant l'élaboration de la variable POSMOY0.
Cette variable POSMOYo est produite par un comparateur 302.
Ce comparateur 302 reçoit, sur l'une de ses entrées Q, le paramètre NBPTS qui est divisé par deux par le diviseur 303. Sa deuxième entrée P est alimentée par la sortie d'un registre 301 qui est commandé par les signaux d'initialisation INIT et de fin END, et reçoit en entrée la sortie d'un additionneur 300 qui reçoit lui-même en entrée, la valeur de sortie du registre 301 et sur sa deuxième entrée, la valeur de sortie de la mémoire 100 qui a été précédemment décrite. Ainsi, le registre 301 , initialement remis à zéro, mémorise le cumul du contenu des registres de la mémoire qui sont balayés par le signal COUNTER de zéro à n. •
Tant que ce cumul est inférieur à NBPTS/2, la valeur du COUNTER est mémorisée dans POSMOYo. A la fin du cycle END, POSMOYo contient donc la dernière valeur COUNTER pour laquelle le cumul est inférieur à NBPTS/2.
B. Application de la variation de l'histogramme à l'anticipation (1ere méthode)
Cette première méthode est représentée sur la figure 15. La mémoire 118 est celle décrite précédemment en référence à la figure 16. Un automate 310 dit - unité de calcul de valeur absolue avec extraction de signe - fournit les valeurs jPOSMOYo - POSMOYι| et le signe de cette différence.
Ces paramètres commandent un translateur 311 après inversion du signe par l'inverseur 312. La valeur du paramètre alimentant la mémoire 118 est ainsi décalée de la valeur |POSMOY0 - POSMOY^ par rapport au fonctionnement passif, dans le sens opposé à la variation de POSMOY calculée dans l'unité 310.
La figure 15a représente un circuit alternatif permettant la mise en œuvre de la première méthode d'application de la variation de l'histogramme à l'anticipation. Dans ce mode de réalisation, l'unité de calcul 310a est analogue à l'unité de calcul 310 mais elle permet des possibilités plus souples de décalage de la valeur du paramètre fourni à la mémoire 118. Alors que l'unité de calcul 310 de la figure 5 produit un décalage déterminé par une fonction de la forme y ≈ x où x est (POSMOY0 - POSMOYO, l'unité de calcul 310a fournit un décalage déterminé par des fonctions de la forme y = ax + b, dans laquelle a (par exemple k1 et k2) et b (par exemple d et c2) sont des constantes ajustables qui peuvent être fournies par un processeur.
On comprend qu'ainsi, toute autre fonction agissant sur les valeurs POSMOY peuvent être utilisées si voulu tel que y = ax2. Sur la figure 15a, le multiplexeur 127 reçoit en entrée les deux fonctions de POSMOY, c'est-à-dire k1 x (P0 - P + d et k2 x (P0 - P-i) + c2, et fournit une sortie fondée sur la valeur du signal de contrôle « CLOCK ».
Pour augmenter le domaine de classification, le circuit OU 125 et le circuit de retard 126 peuvent être utilisés. Le circuit de retard est contrôlé par le même signal d'horloge qui contrôle le multiplexeur 127. Les valeurs de sortie de la mémoire 118 reliées aux deux fonctions différentes de décalage sont alors fournies à la porte OU 125 dont la sortie est le signal 102s avec un domaine de classification amélioré, ce qui améliore l'anticipation.
C. Application de la variation de l'histogramme à l'anticipation
(2ème méthode)
Cette deuxième méthode est représentée sur la figure 17. La mémoire 118 est alors celle représentée sur la figure 18.
L'architecture générale de la mémoire 118 est celle déjà décrite plus haut. Nous décrirons une séquence pour 1 bit donnée, les autres étant analogues. Les éléments communs à la figure 16 portent les mêmes références.
Le registre 140ι est associé à un multiplexeur d'entrées 2/1 1601 qui reçoit sur l'une de ses entrées, le signal binaire sortant du comparateur 119 et sur l'autre de ses entrées, le signal de sortie de l'automate de calcul d'anticipation 150-].
Le multiplexeur d'entrée 160ι est commandé par le signal ETD qui commande également l'écriture, ; ' • • • A cet effet, la commande d'écriture du registre 14Û! est reliée à un opérateur OU 170-1 qui reçoit, sur l'une de ses entrées, le signal ETD et sur l'autre, un signal Sel0.
En sortie du registre 140ι, un automate de calcul d'anticipation 150ι reçoit en entrée les trois signaux Q0, Qi et Q2 de sortie des registres 1400, 140-t, 1402 de rang respectivement 0, 1, 2, il est commandé par les signaux SM, SP et T.
Dans les automates 150OI - 1501(..., l'anticipation est réalisée par la succession d'opérations de dilatation suivie d'opérations d'érosion.
L'automate de calcul d'anticipation 150 est décrit en détail sur la figure 19, il comporte un multiplexeur 207 comportant une sortie et deux entrées commandé par le signal T.
L'une de ses entrées est reliée à un opérateur de dilatation. 208. qui fournit. un signal Ai et . l'autre . à un opérateur d'érosion 209 qui fournit un signal BL L'opérateur de dilatation 208 comporte un circuit OU 201 à trois entrées et une sortie. Sa sortie est reliée au multiplexeur 207.
Sa première entrée est alimentée par le signal Q^ sa deuxième entrée est alimentée par la sortie d'un circuit ET 202 à deux entrées dont l'une des entrées est le signal Q0 et l'autre entrée est le signal SP. La troisième entrée du circuit OU 201 est alimentée par la sortie d'un circuit ET 203 à deux entrées, l'une dé ces entrées étant le signal Q2 et l'autre étant le signal SM. La fonction réalisée par l'opération de dilatation 208 est ainsi -.-• A1 =.Q1.+ QoX SF' + Q2 x SM ' . ' . . ' . . .. . , :
L'opérateur d'érosion 209 comporte un circuit ET 204 à trois entrées et une sortie. Sa sortie est reliée au multiplexeur 207.
Sa première entrée est alimentée par le signal Qi. Sa deuxième entrée est reliée à un circuit NON-ET à quatre entrées et une sortie 205. La première entrée de ce circuit NON-ET 205 est reliée au signal SP, la deuxième au signal Qi. La troisième entrée est reliée au signal Q0 et la quatrième inversée au signal Q2.
Un deuxième opérateur NON-ET 206 a quatre entrées et une sortie reliée à la troisième entrée du circuit ET 204, la première de ses entrées étant alimentée par le signal Q1( la deuxième par le signal SM, la troisième par le signal Q2 et la quatrième inversée par le signal Q0.
La fonction réalisée par l'opérateur d'érosion 209 est ainsi
B, =Q, x(SMx Q2 xâ)x(SPxâxQ0)
Le fonctionnement de l'opérateur d'anticipation est illustré par la figure 20.
Sur cette figure, à gauche en référence à l'axe des temps t, sont représentés les signaux INIT, WRITE, END, ETD, T, SP, SM.
Le signal INIT généré par le séquenceur 9 démarre le cycle de traitement d'une trame. Pendant sa durée, tous les mémoires et registres sont initjalisés.
Le signal WRITE également généré par le séquenceur 9 suit le signal INIT et commande les calculs statistiques pour la trame considérée dont les données sont représentées par la courbe C, dont les axes représentent en abscisse les valeurs du paramètre et en ordonnée le nombre d'occurrences.
L'unité de test 103 recherche le nombre d'occurrences maximum RMAX. A la fin du signal WRITE, le signal END encore généré par le séquenceur 9 valide la mise à jour de la mémoire du classifieur 118. Les nouvelles données sont générées par le comparateur 119.
A la fin du signal END au temps t0, le contenu de la mémoire 118 est représenté par la répartition R0. La fin du signal END démarre le signal ETD dont la durée est déterminée par le générateur de commande 313. Ce signal ETD valide le calcul de l'étendue dans la mémoire 118 du classifieur.
Les signaux SP (Sens Plus) et SM (Sens Moins) compris dans ETD commandent respectivement le traitement dans le sens positif (SP=1) et dans le sens négatif (SM=1) de l'étendue de la répartition R0 qui devient Ri à t-i, R2 à t2 et R3 à t3...
Ainsi, les durées respectives de SP et SM déterminent l'étendue et la position de la répartition R5 à la fin du signal ETD.
Le multiplexeur 207 commandé par la commande T ayant deux entrées alimentées respectivement par les sorties des opérateurs de dilatation et d'érosion et une sortie permet de mettre en oeuvre l'un ou l'autre de ces opérateurs en fonction de la commande T.
La sortie du multiplexeur 207 est OUT-i
OU ≈ A^ xT + B^T
XI. La rétroannotation
Dans un mode de réalisation simplifié décrit jusqu'à présent, le bloc de rétroannotation 102 comporte un seul registre contenant une seule valeur de rétroannotation constituant le critère R de rétroannotation.
A. Critères complexes de rétroannotation
Dans un mode de réalisation préféré, le bloc de rétroannotation est une mémoire pouvant contenir plusieurs valeurs formant ensemble le critère R de rétroannotation, l'une ou l'autre d'entre elles pouvant valider l'information portée par un pixel. Chacune de ces valeurs est mise en mémoire dans un registre terme produit 410.
La figure 22 représente un tel bloc de rétroannotation 102 dans son ensemble. Il est composé d'un ensemble de termes produits 410 alimentés par le bus 425 A « PRODUCT TERM » et commandés par le bus Programm Register 12.
Chacun de ces termes produits 410 a une sortie qui alimente un opérateur OU 421 qui fournit lui-même en sortie un signal entrant sur l'une des entrées d'un inverseur commandé 422, qui reçoit sur sa deuxième entrée les signaux provenant du bus Programm Register 12 par l'intermédiaire du registre 423.
Les figures 23 et 24 illustrent une unité mémoire (FPGA - Field Programmable Gâte Area) reprogrammable 400 mise en œuvre pour la réalisation de l'unité de rétroannotation 102. Une telle mémoire comporte un inverseur commandé 403 dont la sortie est la sortie de l'unité reprogrammable 400 et dont l'une des entrées est un opérateur OU 401 relié aux B lignes 405, ces lignes coupant les A colonnes 406 qui sont reliées à. des amplificateurs 402 fournissant des signaux s et. s..
5 Les intersections 404 des lignes 405 et des colonnes 406 sont des connexions programmables permettant de déterminer l'ensemble du fonctionnement de l'unité reprogrammable 400.
La figure 24 représente une ligne unique 410 d'une telle unité reprogrammable 400. 10 Une telle ligne comporte des registres 411 et 412 destinés à recevoir des variables Reg-aO et Reg-bO de programmation.
Cette ligne est décomposable en A fonctions élémentaires dont chacune comporte un inverseur commandé 413, un opérateur OU 415 et un inverseur 414. L'une des entrées de l'inverseur commandé 413 est reliée à 15 l'entrée A et l'autre de ces entrées au bit i du registre Reg-aO.
La sortie de cet inverseur commandé 413 est reliée à l'entrée de l'inverseur 414. qui alimente, par, sa sortie, l'une des entrées de l'opérateu
'. . '• ' ou 15. • ..'-.. '.'"' • '' •• ' '-. ''.: x .' •-•'••,.' -"•• <•' ' ' ' . '-';•• '.';
L'autre entrée de cet opérateur OU 415 est alimentée par le bit i du 20 registre Reg-bO.
La sortie de l'inverseur commandé 413 alimente également l'une des entrées d'un opérateur OU 417 qui reçoit encore l'ensemble des signaux correspondants produits par les différentes sorties des fonctions élémentaires. 25 Un opérateur ET 416 dont la sortie est product termO reçoit en entrée d'une part la sortie de l'opérateur OU 417 et d'autre part les sorties des différentes fonctions élémentaires.
B. L'apprentissage
Le bloc de rétroannotation peut être programmé de l'extérieur par une 30 instruction d'une interface de gestion d'application. Cette interface charge les registres 411 et 412.
Dans un mode de réalisation encore préféré, l'unité 1 de constitution . d'histogramme, en plus de la mise à jour du classifieur et de l'anticipation a une fonction d'apprentissage. A cet effet, l'unité 1 de constitution d'histogramme comporte un multiplexeur d'apprentissage 108 qui permet la programmation automatique de l'unité de rétroannotation 102.
Le multiplexeur d'apprentissage 108 sélectionne l'un ou l'autre des deux modes de fonctionnement possibles (exploitation et apprentissage). En mode d'exploitation, les valeurs contenues dans le registre de l'unité de rétroannotation 102 sont fixées, au contraire, en mode d'apprentissage, ces valeurs sont mises à jour.
Le mode d'exploitation Lors du fonctionnement en mode d'exploitation, le multiplexeur d'apprentissage 109 émet, sur sa sortie, un signal de valeur 1 signifiant que les valeurs contenues dans les registres du bloc de rétroannotation 102 ne sont pas modifiées pendant la séquence de fonctionnement en mode d'exploitation. Les valeurs stockées dans ces registres ont donc soit été choisies et mises en mémoire par l'utilisateur, soit ont résulté d'une phase d'apprentissage préalable que nous analyserons plus loin.
L'unité de rétroannotation 102 reçoit également, des autres unités de calcul d'histogramme coopérant avec celle décrite ici, des signaux comparables inE...inA.
Remplissant son rôle déjà décrit plus haut, cette unité de rétroannotation compare les valeurs ainsi reçues aux valeurs mises en mémoire dans son ou dans ses registre(s) et produit en sortie un signal 102s égal à 1 en cas de coïncidence et à zéro dans le cas contraire. Ce signal de validation est adressé à l'unité de validation d'incrémentation et lorsque sa valeur est égale à 1 , autorise la prise en compte de la valeur du paramètre DATA(A) du pixel concerné dans la mémoire d'analyse 100 et, dans le cas contraire, autorise le traitement du pixel suivant. Le mode d'apprentissage Le fonctionnement de l'unité de calcul d'histogramme est alors commandé par des signaux représentés sur la figure 5, c'est-à-dire un signal d'initialisation (INIT), un signal d'écriture (WRITE), qui portent les informations correspondant à chaque pixel de la trame (ou de l'image) et un signal de fin END. Dans le mode d'apprentissage, le multiplexeur d'apprentissage 109 fournit en sortie la valeur du signal de rétroannotation qui est alors utilisée comme donnée DATA(A).
Lors de l'apprentissage d'une unité de calcul d'histogramme de rang i, un signal LEARNj valide durant toute une séquence trame le traitement en mode apprentissage.
Pendant cette séquence, les registres d'apprentissage 116 sont mis à jour. Simultanément, le bloc de rétroannotation 102 assure la transparence des signaux, validant la donnée DATA(A), alors égale au signal de rétroannotation 111 dès qu'une au moins des entrées inA,..., in E est active
(=1).
A la fin du signal WRITE, la mémoire d'histogramme 100 représente la distribution du signal de rétroannotation.
L'unité de test 103 produit alors un classement des occurrences par valeur décroissante en nombre égal au B « SUM TERM ».
Pendant le signal END, les valeurs du signal de rétroannotation ainsi sélectionnées sont écrites dans les registres 411 et 412 de chacun des blocs 410 du bloc de rétroannotation 102.
Le registre 412 correspond à la valeur du signal de rétroannotation et le registre 411 correspond à son complément. En pratique, on peut utiliser deux sorties d'un même registre fournissant ces deux valeurs.
On réalise ainsi une élaboration statistique automatique des paramètres caractéristiques dans la trame étudiée.
Ainsi, l'apprentissage nécessite, pour n paramètres d'entrée, n+1 unités calcul d'histogramme. Les n blocs traitant l'un des paramètres et le bloc restant traitant l'information de rétroannotation pour assurer l'apprentissage. En pratique, l'information de rétroannotation ayant un nombre de digits important, l'unité d'apprentissage est dédiée et est de grande dimension.
Les organigrammes des différents logiciels requis pour assurer les fonctions d' autoadaptation, d'anticipation et d'apprentissage représentés sur les figures sont lisibles en eux-mêmes et ne nécessitent pas d'explications complémentaires pour être compris de l'homme du métier. Lorsque, de manière interne, ils font appel à des variables, celles-ci ont été représentées dans un cadre. Certaines fonctions étant réalisées dans un composant particulier décrit par ailleurs, la référence numérique de ce composant a aussi été affectée à la fonction.
XII. L'unité de traitement spatial et temporel Avantageusement, l'unité de traitement spatial 6 produit en sortie des signaux F, SR, V, VL, Dl, CO associés chacun à chaque pixel de manière synchrone. Ce sont de préférence des signaux numériques. Le signal complexe F comprend alors un certain nombre de signaux de sortie générés par le système comprenant de préférence des signaux signifiant la présence " et la localisation d'une zone ou d'un objet en mouvement, la vitesse V est la direction orientée du déplacement Dl de chaque pixel de l'image. Egalement, de préférence, une sortie du système est constituée par le signal vidéo numérique d'entrée qui est retardé (SR) de façon à le synchroniser avec la sortie ZH de la trame, en prenant en compte le temps de calcul du signal de données composite F (pour une trame). Le signal retardé SR est utilisé pour représenter, l'image reçue par la caméra sur un moniteur ou. un écran, de télévision, qui peut aussi être utilisé pour. représenter l'information contenue dans le signal composite ZH. Le signal composite. ZH peut aussi être transmis à une unité de traitement distincte 10a qui poursuit le traitement de ce signal.
XIII. Traitement spatial : Choix d'axes
La position d'un pixel dans l'espace est représentée par rapport à un système d'axes. Selon la forme, l'orientation,... des objets dans la scène, certains systèmes d'axes fournissent de meilleurs résultats que les autres.
Les figures 26 et 27 présentent le procédé de choix des axes permettant d'obtenir des histogrammes optimisés, c'est-à-dire présentant un maximum particulièrement marqué.
L'unité Space transform reçoit en entrée les données spatiales x, y qui peuvent être soit des données cartésiennes, soit des données polaires. Cette unité Space transform est commandée par un signal α et fournit en sortie, pour chacune des valeurs de α, un paramètre qui alimente une unité de constitution d'histogramme selon T invention. Le programme de commande de cette unité d'histogramme introduit par le Programm Register permet de sélectionner la valeur α produisant un histogramme optimisé.
Un tel procédé de choix des axes a été décrit en détail dans la demande PCT WO-98/05002 (voir la figure 11 et la description correspondante, l'unité « Space Transform » y étant référencée 37).
XIV. Traitement temporel
Au traitement colorimétrique qui exploite les valeurs des signaux de teinte, de saturation et de luminance, aux signaux de vitesse, direction et intensité, on peut adjoindre une fonction de filtrage spatial produisant un paramètre de résolution spatiale (méthode de Gabor) et une fonction
' binoculaire qui, par un automate de calcul de distance, fournit un paramètre de profondeur.
Des applications complètes peuvent être réalisées en exploitant tout ou partie de l'ensemble de ces paramètres.
XV. Visu courbe statistique
Dans un mode de réalisation préféré, un générateur de courbe 114 permet l'incrustation à l'écran d'une courbe des valeurs DATA pour la trame antérieurement traitée. De même, une incrustation du signal de rétroannotation est possible.-
Ces incrustations sont adressées respectivement par les lignes 14 et 5 vers un écran. Des interrupteurs 16 et 17 permettent de sélectionner une unité de calcul d'histogramme particulière parmi l'ensemble de celles-ci.
Les figures 28 et 29 décrivent plus précisément les moyens de visualisation de la courbe d'histogramme.
La mémoire 100 adressée par la valeur du compteur de colonnes 353 alimente l'une des entrées d'un registre à décalage 350 dont l'autre entrée est alimentée par le paramètre RMAX produit par le registre d'analyse 104.
La sortie de ce registre à décalage 350 alimente l'une des entrées d'un comparateur 351 dont l'autre entrée est alimentée par un compteur de lignes
352 au travers d'un inverseur 354. Un opérateur ET 355 recevant, d'une part, le résultat de la comparaison P≥Q et, d'autre part, la variable Vai_Zone, fournit en sortie la variable Aff Cbe. Le compteur de colonnes 353 qui génère les variables « Col-Counter » 356 et « Col_Curve_Counter » 357, le compteur de lignes 352 qui génère les variables « Row_Curve_Counter » 358 et « Row_Counter » 359 et le générateur de la variable Val_Zpne sont un sous-ensemble 91. du séquenceur. ' '• _ ••.• '- . - : ".'• : • '• •.- ' . • . • ;:".. ';' .' ' .-.- ' • '• -.. . = . .'• '.••
De plus, le bloc de commande de visualisation 365 de l'écran 8 reçoit le signal vidéo retardé SR, une commande de curseur produite par le bloc curseur 366, une commande produite par la mémoire semi-graphique 367.
La figure 29 est le résultat de la vignette obtenue 360 validé par le commutateur 16 qui transfert le signal d'affichage courbe sur la commande d'incrustation 15 dans l'écran 361 qui comporte de plus une zone de commande 362, un curseur 363 et une zone texte 364.
Ainsi, cet écran et la souris associée constituent une interface graphique utilisateur (GUI) permettant à l'utilisateur de générer et de commander l'application.
De même, la fonction de rétroannotation peut être visualisée, en dynamique, sous forme de pixels 365, par commutation du commutateur 17, sur la commandé d'incrustation de la rétroannotation 14. :
XVI. Applications Sur les figures 30 et suivantes, on a représenté la mise en œuvre d'un ensemble d'unités de calcul d'histogramme, permettant la gestion d'un nombre aussi grand que nécessaire de paramètres A, B, C, D, E... L'association de paramètres à la fois spatiaux (en principe au nombre de deux) et temporels (au moins un) permet de modéliser un neurone spatio- temporel. Les unités de traitement respectivement temporelles 5 et spatiales 6 • . , reçoivent d'une part le signal. S(t), d'autre part les signaux horloge. CLOCK et. de synchronisation ST, synchronisation de trames. et. SL, synchronisation de lignes.
Tel que représenté sur les figures 4 et 30, chacun, des paramètres À, B, C, D, E... sortant de ces unités de traitement temporel 5 et spatial 6 alimente une unité de calcul d'histogramme, respectivement 1A, 1B.-- 1 E- La rétroannotation produite par l'ensemble des classifieurs est disponible sur le bus 111 et utilisée dans son ensemble par chacune des unités de calcul d'histogramme, respectivement 1A, 1 B... 1 E- A titre d'exemple, A, B, C,..., E peuvent représenter respectivement les composantes couleur du pixel d'entrée sous la forme luminance L, teinte T et ' saturation S. D et E seraient les coordonnées P-i et P2 du pixel considéré dans un système d'axes optimisé. De manière synthétique, tel que représenté sur la figure 30bis, chaque unité de calcul d'histogramme 1A, 1 B, 1 E traite l'une des données DATA(A), DATA(B),...DATA(E) par la fonction correspondante (fog)A... pour produire individuellement une valeur de sortie (101s)A... et toutes ensemble la rétroannotation disponible sur le bus 111. Le choix du paramètre traité par chaque unité de calcul d'histogramme ainsi que la fonction fog qu'elle remplit, sont déterminés par l'A.P.I.
Dans le mode de réalisation de la figure 31, les différents paramètres DATA(A)... DATA(E) alimentent un multiplexeur d'entrée 500 qui est commandé par un registre 501. Le registre 501 est mis à jour par la commande SELECT référencée 502. Le multiplexeur commandé d'apprentissage 503 reçoit, selon l'état de la commande d'apprentissage de l'unité de calcul d'histogramme i, LEARNi, soit l'information de rétroannotation transmise par le bus 111, soit les informations provenant du multiplexeur d'entrée 500. II est ainsi possible d'utiliser une seule unité de calcul d'histogramme 1 pour traiter l'un quelconque des différents paramètres A, B, C,..., E qui lui sont adressés par un bus 510 en fonction de la commande SELECT.
Selon l'état de la commande d'apprentissage LEARN, l'unité de calcul d'histogramme fonctionnera soit en exploitation, soit en apprentissage. L'ensemble 1a ainsi formé par une unité de calcul d'histogramme 1, un multiplexeur d'entrée 500, son registre associé 501, et éventuellement un multiplexeur d'apprentissage constitue une unité de calcul d'histogramme polyvalente.
La figure 32 représente un dispositif complet comprenant à titre d'exemple un ensemble de seize unités de calcul d'histogramme polyvalentes.
Ces unités constituent une matrice, elles sont reliées à un bus 510 sur lequel les paramètres D, V, S, T, L, pO, p1, p2,..., p15 sont disponibles (pO, p1, p2,... , ρ15 sont des pentes d'axes de référence). Le bus 111 porte l'information de rétroannotation. L'ensemble de l'application est commandé par l'unité de contrôle 513 qui détermine ceux des paramètres L, T, S, N, D, p0, Pi... p-is qui sont traités à un instant donné par une ou un groupe d'unités d'histogramme polyvalentes dédié et, par le séquenceur.9. • La figuré 40 représente un diagramme fonctionnel d'un ensemble comportant plusieurs unités de calcul d'histogramme (tel que représenté sur la figure 31) conformément à un mode de réalisation de la présente invention. Chaque unité 1a de calcul d'histogramme est reliée à un bus de données 510 qui fournit les différents paramètres à traiter, et à un bus 11 qui fournit le signal de classification 101s et les signaux de fonction d'apprentissage aux différentes unités 1a. Chaque unité de calcul d'histogramme comporte une mémoire 100, un classifieur 101 et une unité de rétroannotation 102. Chaque unité 1a est susceptible d'avoir des fonctions de classification automatique d'anticipation et d'apprentissage telles que décrites plus haut. L'ensemble d'unités de calcul d'histogramme 1 peut fonctionner en mode de traitement pendant qu'une ou plusieurs d'entre elles sont en mode d'apprentissage
Dans un mode. de. réalisation particulier, une unité de calcul: d'histogramme est utilisée en temps partagé par plusieurs paramètres ' pendant chaque trame, éventuellement mémorisés dans une mémoire non représentée.
Par exemple, en référence à la figure 31, l'unité de . calcul d'histogramme 1 calcule des histogrammes et les statistiques correspondantes pour deux ou plus paramètres (par exemple DATA(A) et DATA(C)) pendant chaque trame.
Un multiplexeur 500 prévu dans ce mode de réalisation est susceptible de multiplexer les différents paramètres. De cette façon, un . nombre limité d'unités de calcul d'histogramme est nécessaire pour, traiter un plus grand nombre de paramètres, ce qui permet de diminuer la quantité de silicium nécessaire pour fabriquer le nombre utile d'unités de calcul d'histogramme.
Le processeur de perception visuelle générique (GVPP) 520 ainsi constitué peut être intégré sur un seul substrat semi-conducteur.
Le nombre d'unités de calcul d'histogramme polyvalentes 1a dépend de l'application et des technologies de fabrications de composants semi- conducteurs disponibles. La technologie 0,5 μm actuellement accessible permet l'intégration de 32 unités de façon économique. Avec les techniques avancées de semiconducteurs, il devient impossible de fabriquer de plus en plus d'unités de calcul d'histogramme (par exemple les blocs 1a de la figure 32) sur le même composant et de réaliser des calculs plus nombreux sur plus d'échantillons (c'est-à-dire des nombres de plus en plus importants d'échantillonnage par
• paramètre).
Une telle augmentation des capacités de calcul peut être réalisée sans augmentation de la complexité de l'API, qui est présentée plus loin et représentée en détail sur l'annexe A. Par exemple, le même ensemble d'instructions peut commander un ensemble de 20 unités comme un ensemble de 200 ou même de 2000 unités sans que sa complexité ne soit accrue.
Dans un autre mode de réalisation représenté sur la figure 39, une unité de calcul 605 conforme à la présente invention, c'est-à-dire similaire à l'unité de calcul 520 de la figure 32, est utilisée pour traiter les paramètres associés à un domaine de perception autre que le domaine visuel. Sur la figure 39, la technique de la présente invention est appliquée à l'analyse orale ou de son, par exemple pour la reconnaissance vocale ou l'utilisation de la voix pour entrer un texte dans un ordinateur. Sur la figure 39, un dispositif générant un signal sonore fournit un signal sonore au calculateur 605 qui
• produit un signal de sortie.
Dans un mode de réalisation, le dispositif générant le signal comporte un microphone 600 mais peut aussi comprendre n'importe quel dispositif susceptible de fournir des signaux analogues ou digitaux, par exemple un lecteur CD ou DVD... Le dispositif générateur de signal fournit de préférence des signaux digitaux et peut fonctionner dans un mode esclave ou dans un mode maître de la même manière que l'ensemble générateur de signal 2 de la figure 1. Le calculateur 605 reçoit les signaux et traite différents paramètres du signal sonore. Ces paramètres comportent la fréquence, l'amplitude et la phase. Les paramètres de phase et d'amplitude sont respectivement analogues aux signaux spatiaux et temporels exploités pour le traitement de scènes visuelles. Le calculateur 605 fournit des signaux au dispositif 610 de façon à permettre la représentation des résultats. Par exemple, dans un mode de réalisation, le dispositif 610 comporte une imprimante permettant l'impression de textes associés aux signaux fournis par le générateur de signal 600. De la même manière, le dispositif 610 peut comporter un moniteur ou n'importe quel autre dispositif générateur de texte.
La figure 33 est la représentation d'un processeur de perception visuelle générique 520 ou 530 recevant des informations d'un imageur CMOS 521 comportant une rétine 522 et un séquenceur 523.
La figure 34 représente un système complet susceptible de constituer une application complète et fonctionnant avec plusieurs imageurs CMOS.
L'association de deux imageurs CMOS 531, 532 représentés sur la figure 35 permettant d'acquérir des informations sur la profondeur dans la scène observée.
Dans certaines utilisations, il est souhaitable de pouvoir observer certains plans, en profondeur, d'une scène et c'est la raison pour laquelle la rétine peut être équipée d'un dispositif à focale variable tel que représenté sur la figure 36.
La figure 37 schématise un système constitué d'un ensemble d'unités de calcul d'histogramme polyvalente susceptible de traiter des informations provenant de .trois directions, respectivement V1, V2 et V3 pouvant représenter un espace tridimensionnel. On peut ainsi gérer des données de perception volumique et les utiliser dans le domaine de la robotique.
XVII. Interface de gestion de l'application (A.P.I.)
L'interface de gestion de l'application (A.P.I. - Application Programm Interface) représentée sur la figure 38 permet de fournir à système complet ou processeur de perception visuelle générique composé d'un certain nombre de d'unités de calcul d'histogramme polyvalentes, l'ensemble des paramètres extérieurs dont il a besoin. On assure ainsi sa configuration dynamique. L'annexe A qui est jointe, fait partie intégrante de la description de la présente demande, elle fournit un diagramme fonctionnel de l'unité spatiotemporelle API, l'interface graphique utilisatrice (GUI) API, la souris API et le I/O API, ainsi que les différentes commandes API associées.
Chacun des mnémoniques de commande est associé à un indice i correspondant au numéro de l'unité de calcul d'histogramme polyvalente à laquelle il est destiné. Il peut être accompagné de paramètres de configuration. Elle permet d'affecter les paramètres DATA(A)... DATA(E) à des paramètres réels de la scène observée.
SELECT permet d'attribuer un paramètre DATA(A) à une unité déterminée. LEARNj permet d'effectuer l'apprentissage pour une d'unité dé calcul d'histogramme polyvalente i. fiSTART assure l'initialisation d'une unité de calcul d'histogramme polyvalente. Cette commande configure la mémoire 118 de classifieur 101.
STOP assure l'arrêt de l'unité de calcul d'histogramme polyvalente. Elle est utilisée dès qu'une unité de calcul d'histogramme est inactive. On réduit ainsi la consommation d'énergie de l'ensemble.
AFCURV est la commande d'affichage de courbe commandant le commutateur 16 représenté sur la figure 4. Sa commande inverse est CLCURV. AFMAP est la commande d'affichage de la rétroannotation commandant le commutateur 17. Sa commande inverse est CLRMAP.
. MAP est la commande d'écriture, des registres 411 et 412 de l'unité de rétroannotation 102: .
GETLRN est la commande assurant la récupération du contenu des registres de rétroannotation 411 et 412 après l'apprentissage.
ANNEXE A
Spécifications API
(Application Programming Interface) interface de programmation applicative (API) pour le Processeur de Perception Visuelle Générique : (GVPP)
L'interface comporte 4 subdivisions pour GVPP :
- Une API Bloc spatio-temporel
- Une API graphique
- Une API de gestion de la souris
- Une API de gestion de la communication avec les périphériques
Figure imgf000050_0001
CLRSCR API Graphique
Interface générique DPDATA ψ Utilisateur (GUI)
DPNTER
API souris
Interface générique
BUTTON ψ Utilisateur (GUI)
MVCAM SENDPC
GETCAM
MVMOT GETPC
GETMOT
Figure imgf000050_0002
Description des commandes de programmation applicatives
API Bloc Spatio-temporel
Elle regroupe l'ensemble des fonctions génériques utilisées pour initialiser, paramétrer ou apprendre et démarrer le bloc ainsi que les fonctions pour récupérer les résultats de calcul. Le nom de la commande est suivi des paramètres nécessaires écrit dans des registres définis.
Fonctions
START
Rôle : Démarrage du calcul d'un bloc.
Paramètres : Numéro du bloc concerné, valeur MIN, valeur MAX pour initialisation
Prototype :
Bloc3 equ 03 MIN equ 10 MAX equ 100
START Bloc3 MIN MAX Entrée - R0 numéro du bloc
R1 valeur MIN
R2 valeur MAX Sortie -
STOP :
Rôle : Arrêt du calcul d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ 03 équivalence Bloc3 est égal à la valeur 3
STOP Bloc3 Entrée - R0 numéro du bloc Sortie -
SELECT:
Rôle : Sélection du signal d'entrée d'un bloc. Par exemple la luminance, la teinte, la saturation, l'orientation de lignes dans le plan...etc. Paramètres : Numéro du bloc concerné, signal a sélectionner. totype :
Bloc3 equ 03 LUM equ 00
SELECT Bloc3 LUM
Entrée - RO : Numéro du bloc . R1 .: Paramètre d'entrée
Sortie -
GET :
Rôle : Récupération des résultats de calcul.
Paramètres : Numéro du bloc concerné, paramètre(s) a récupérer.
Prototype
Bloc3 equ 03
MIN equ 00
MAX equ 01
RMAX equ 02
POSRMX equ 03
POSMOY equ 04
NBPTS. equ 05
GET Bloc3 NBPTS
Entrée - R0 : Numéro du bloc
R1 : Paramètre d'entrée
Sortie - R0 : valeur résultante de ce paramètre
LEARN :
Rôle ' : Passage d'un bloc en mode apprentissage.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ " 03
LEARN Bloc3 Entrée - R0 Numéro du bloc Sortie -
MAP :
Rôle : Programmation du bloc en fonction d'un apprentissage précédent pour changer de contexte. Recherche d'un autre événement ou objet : écriture de la matrice de rétro annotation du bloc. Paramètres : Numéro du bloc concerné, Combinaison logique des autres blocs associés ; somme de termes produits (ET et OU).
Prototype :
Bloc3 equ ( D3
MAP Bloc30F3 1AB 007
Entrée- RO Numéro du bloc
R1 Premier terme produit
R2 Second terme produit
R3 suite
Sortie-
GETLRN :
Rôle : Lecture des résultats de l'apprentissage .
Paramètres : Numéro du bloc concerné.
Prototype :
GETLRN
Entrée - RO Numéro du bloc
Sortie - RO MIN classification
R1 MAX Classification
R2 Première majeure association (terme produit)
R3 : Seconde association
R4 : suite
AFCURV:
Rôle : Affichage de la courbe d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ 03
AFCURV Bloc3
Entrée - R0 : Numéro du bloc
Sortie -
CLCURV :
Rôle : Effacement de la courbe d'un bloc. Paramètres : Numéro du bloc concerné. Prototype :
Bloc3 equ 03
CLCURV Bloc3
Entrée - RO : Numéro du bloc
Sortie -
AFMAP :
Rôle : Affichage de la table de rétro-annotation d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ 03
AFMAP Bloc3
Entrée - RO : Numéro du bloc
Sortie -
CLRMAP :
Rôle : Effacement de l'écran de la table de rétro-annotation d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ 03
CLRMAP Bloc3
Entrée - R0 : Numéro du bloc
Sortie -
API Graphique
CLRSCR :
Rôle : Effacage de l'écran.
Paramètres : Aucun.
Prototype :
CLRSCR Entrée - Sortie - DPDATA :
Rôle : Affichage des données à l'écran.
Paramètres : Donnée à afficher et position à l'écran.
Prototype :
DPDATA Entrée- RO Code ASCII
R1 position ligne
R2 position colonne Sortie-
API de gestion de la souris
DPNTER :
Rôle : Déplacer et afficher curseur.
Paramètres : Coordonnées.
Prototype :
DPNTER
Entrée- RO : position ligne
R1 : position colonne
Sortie-
BUTTON :
Rôle : Générer un click curseur.
Paramètres : Boutton.
Prototype :
BUTTON
Entrée-
Sortie-RO : nouvelle position des boutons
API de gestion de la communication avec les périphériques
MVCAM :
Rôle : Déplacer la caméra.
Paramètres : Position et focus.
Prototype :
MVCAM Entrée - RO : X position R1 Y position R2 : Focus Sortie -
GETCAM :
Rôle • : Récupérer la position de la caméra.
Paramètres : Aucun.
Prototype :
GETCAM
Entrée-
Sortie- R0 X position R1 Y position R2 Focus
MVMOT :
Rôle : Action moteur.
Paramètre : Sens+nombre de pas.
Prototype :
MVCAM Entrée - RO Sens+nombre de pas Sortie -
GETMOT:
Rôle : Récupère la position actuelle du moteur.
Paramètre : Non.
Prototype :
GETMOT Entrée - Sortie - RO position
SENDPC :
Rôle : Envoyer une information au PC.
Paramètres : pointer sur l'information et nombre d'informations.
Prototype :
SENDPC
Entrée- R0 : pointeur information
R1 : nombre d'informations
Sortie- GETPC :
Rôle : Récupérer une information du PC.
Paramètres : Aucun.
Prototype :
GETPC Entrée- Sortie-RO : information
ART ANTERIEUR
Figure imgf000058_0001
FÎG. 1
Figure imgf000059_0001
f^~ «as •• — . .. — ψr-
11,17 12,1 12,2 12.17
Figure imgf000059_0002
, . . . „ — te
FIG.2
Figure imgf000059_0003
FIG.3
Figure imgf000060_0001
WRITE
INIT W R
END_J1 IL
DATA (A) s I 3t
Figure imgf000061_0001
Figure imgf000062_0001
Figure imgf000063_0001
Figure imgf000064_0001
Figure imgf000065_0001
Fig. 11
Figure imgf000066_0001
FIG. 13
Figure imgf000067_0001
Figure imgf000067_0002
Figure imgf000068_0001
Figure imgf000069_0001
Figure imgf000070_0001
Figure imgf000071_0001
Figure imgf000072_0002
Figure imgf000072_0001
FIG. 21
Figure imgf000073_0001
FIG 22
Figure imgf000073_0002
FIG. 39
Figure imgf000074_0001
Figure imgf000075_0001
Figure imgf000076_0001
Figure imgf000076_0002
75
Figure imgf000077_0001
Figure imgf000077_0002
Fig. 29
Figure imgf000078_0001
Figure imgf000079_0001
Figure imgf000080_0002
Figure imgf000080_0001
Figure imgf000081_0002
Figure imgf000081_0001
Figure imgf000082_0001
Figure imgf000083_0001

Claims

REVEKDICATIONS
1. Procédé de localisation d'une forme dans un espace représenté par des pixels formant ensemble un espace i, j multidimensionnel, évoluant dans le temps, et représenté à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA B),... numériques constitués d'une suite Ayt, By , ... de nombres binaires de n bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position i, j dans cet espace, auquel les signaux Ayt, Byt, ... reçus à un instant donné, caractérisé en ce que a) l'on repère une zone d'intérêt de l'espace en fonction d'un critère statistique appliqué à un paramètre temporel, b) l'on inhibe la zone principale ainsi repérée, c) l'on réitère les étapes a) et b) de façon à repérer d'autres zones d'intérêt à l'intérieur d'une zone de l'espace non inhibée, d) l'on arrête le processus lorsqu'une zone restante, non inhibée, de l'espace ne produit plus de zone d'intérêt correspondant audit critère statistique, e) l'on incrémente par trame valide consécutive, un compteur, pour chaque zone d'intérêt ainsi repérée, et que lors de la perte d'une zone d'intérêt, son compteur associé soit remis à zéro, f) l'on récupère pour chaque zone d'intérêt ainsi repérée, le barycentre de son nuage de points.
2. Procédé de localisation d'une forme selon la revendication 1, caractérisé en ce qu'un compteur est associé à chaque zone d'intérêt, et que la valeur de compteur est incrémentée d'une unité à chacune des trames successives pour lesquelles ladite zone d'intérêt est repérée, la valeur de ce compteur étant forcée à zéro à la première trame pour laquelle ladite zone n'est plus repérée.
3. Procédé de localisation d'une forme selon l'une des revendications
1 ou 2, caractérisé en ce que la position du barycentre des points constituant une zone d'intérêt et mis en mémoire dans une mémoire associée et permet son identification.
4. Procédé de localisation d'une forme selon l'une des revendications 1 à 3, caractérisé en ce que la zone d'intérêt est validée pour une valeur de son compteur associé supérieur à 1.
5. Procédé de localisation d'une forme selon l'une des revendications 1 à 4, caractérisé en ce que la zone vahdée soit repérée par son barycentre, l'orientation de ses axes de projection et les dimensions du cadre associé.
6. Procédé de localisation d'une forme selon l'une des revendications 1 à 5, caractérisé en ce que le barycentre, les axes principaux du cadre et la dimension de celui-ci soient respectivement la position, l'orientation et la dimension de l'objet perçu.
7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que l'on repère, à l'intérieur de la zone d'intérêt, une ou des zones secondaires définies par un ou des critères de sélection.
8. Procédé de localisation d'une forme selon la revendication 7, caractérisé en ce que l'on réitère l'étape de la revendication 2, une zone secondaire jouant le rôle de la zone d'intérêt, ce qui conduit à repérer des zones tertiaires.
9. Procédé de localisation d'une forme selon l'une des revendications 7 ou 8, caractérisé en ce que l'on utilise le repérage desdites zones secondaires pour suivre les mouvements de la zone principale.
10. Procédé de localisation d'une forme selon l'une des revendications 1 à 9, caractérisé en ce que le paramètre temporel est la vitesse.
11. Procédé de localisation d'une forme selon l'une des revendications 1 à 9, caractérisé en ce que le paramètre temporel est un niveau de lurninance.
12. Procédé de localisation d'une forme selon l'une des revendications 1 à 9, caractérisé en ce que le paramètre temporel est une couleur.
13. Procédé de localisation d'une forme selon l'une des revendications 1 à 9, caractérisé en ce que le paramètre temporel est la résolution spatiale.
14. Procédé de localisation d'une forme selon l'une des revendications 1 à 9, caractérisé en ce que le paramètre temporel est la profondeur de champ.
15. Procédé de localisation d'une forme selon l'une des revendications 1 à 14, caractérisé en ce que la zone repérée est définie par rapport à un repère choisi parmi plusieurs repères d'orientations différentes.
16. Procédé de localisation d'une forme selon les revendications 1 à 5 15, caractérisé en ce que les positions relatives des barycentres des nuages de points des zones d'intérêt repérées servent à contrôler la forme de l'objet perçu.
17. Procédé de localisation d'une forme selon l'une quelconque des revendications 1 à 16, caractérisé en ce que la forme est un visage. 0
18. Procédé de localisation d'une forme selon la revendication 17, caractérisé en ce que ladite zone principale est le visage et que des zones secondaires sont choisies dans l'ensemble formé par les yeux, la bouche, les sourcils et le nez.
19. Dispositif de localisation d'une forme dans un espace représenté 5 par des pixels formant ensemble un espace i, j multidimensionnel, évoluant dans le temps, et représenté à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA(B), ... numériques sous forme d'une suite Aij , Bjjt, ... de nombres binaires de n bits associés à des signaux de o synchronisation permettant de définir le moment T de l'espace et la position i, j dans cet espace, auquel les signaux Aijt, Byt, ... reçus à un instant donné, caractérisé en ce qu'il comporte deux ensembles d'unités de calcul d'histogrammes recevant les signaux et produisant chacun une valeur de classification, 5 le premier sous-ensemble recevant un signal porteur d'un premier paramètre temporel et le deuxième sous-ensemble recevant deux signaux spatiaux, la valeur de classification du premier sous-ensemble validant un groupe de points de l'espace traités par le deuxième sous-ensemble, le 0 nombre desdits points étant ni, la valeur de classification du deuxième sous-ensemble validant les valeurs de paramètre traitées par le premier sous-ensemble, les deux sous-ensembles produisant conjointement un signal binaire ZA représentant une zone d'intérêt et un signal P représentant la valeur du 5 paramètre temporel dans cette zone.
20. Dispositif selon la revendication 19, caractérisé en ce qu'il comporte un troisième sous-ensemble recevant un signal porteur d'un deuxième paramètre temporel, ce troisième sous-ensemble ayant un fonctionnement analogue au premier et s'y substituant lorsqu'il valide des points de l'espace dont le nombre est ΏQ., n2 étant supérieur à ni.
21. Dispositif de localisation d'une forme selon l'une des revendications 19 ou 20, caractérisé en ce qu'il comporte plusieurs sous- ensembles recevant des signaux spatiaux permettant de valider successivement plusieurs groupes de points de l'espace.
22. Dispositif de localisation d'une forme selon l'une des revendications 19 à 21, caractérisé en ce qu'il comporte un ensemble d'unités de calcul d'histogramme commandé par un logiciel API et reliées entre elles par un bus de données et par un bus de rétroannotation.
PCT/EP2002/001899 2001-02-23 2002-02-22 Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation WO2002069265A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002568307A JP2004523047A (ja) 2001-02-23 2002-02-22 対象物をその形状、そのサイズ及び／又はその方向によって認知する方法及び装置
CA002439867A CA2439867A1 (fr) 2001-02-23 2002-02-22 Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
EP02716806A EP1364341A1 (fr) 2001-02-23 2002-02-22 Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
MXPA03007554A MXPA03007554A (es) 2001-02-23 2002-02-22 Metodo y dispositivo para la percepcion de un objeto por su forma, su tamano y/o su orientacion.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0102539 2001-02-23
FR0102539A FR2821459B1 (fr) 2001-02-23 2001-02-23 Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation

Publications (1)

Publication Number Publication Date
WO2002069265A1 true WO2002069265A1 (fr) 2002-09-06

Family

ID=8860406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2002/001899 WO2002069265A1 (fr) 2001-02-23 2002-02-22 Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation

Country Status (6)

Country Link
EP (1) EP1364341A1 (fr)
JP (1) JP2004523047A (fr)
CA (1) CA2439867A1 (fr)
FR (1) FR2821459B1 (fr)
MX (1) MXPA03007554A (fr)
WO (1) WO2002069265A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018197693A1 (fr) * 2017-04-28 2018-11-01 Another Brain Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2843467B1 (fr) * 2002-08-07 2005-03-25 Holding Bev Sa Procede et dispositif a recrutement dynamique de modules de calcul et traitement d'histogrammes pour caracterisation et reconnaissance d'objets
AU2003282816A1 (en) * 2002-08-07 2004-02-25 Holding B.E.V. Sa Active visual perception method and device for characterisation and recognition through the analysis of mono/multidimensional parameters in multiclass computing units and histogram processing, dynamic unit recruitment
FR2858447A1 (fr) * 2003-07-29 2005-02-04 Holding Bev Sa Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
FR2884625A1 (fr) * 2005-04-15 2006-10-20 Holding Bev Sa Sa Luxembourgeo Procede de guidage automatique de vehicule dans une voie de circulation, dispositif correspondant
JP4696991B2 (ja) * 2006-03-22 2011-06-08 日産自動車株式会社 動き検出方法および動き検出装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2611063A1 (fr) * 1987-02-13 1988-08-19 Imapply Procede et dispositif de traitement en temps reel d'un flot de donnees sequence, et application au traitement de signaux video numeriques representatifs d'une image video
US5795306A (en) * 1994-03-10 1998-08-18 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2611063A1 (fr) * 1987-02-13 1988-08-19 Imapply Procede et dispositif de traitement en temps reel d'un flot de donnees sequence, et application au traitement de signaux video numeriques representatifs d'une image video
US5795306A (en) * 1994-03-10 1998-08-18 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018197693A1 (fr) * 2017-04-28 2018-11-01 Another Brain Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées
FR3065825A1 (fr) * 2017-04-28 2018-11-02 Patrick Pirim Procede et dispositif automatises aptes a assurer l'invariance perceptive d'un evenement spatio-temporel dynamiquement en vue d'en extraire des representations semantiques unifiees
EP3616132A1 (fr) * 2017-04-28 2020-03-04 Another Brain Procédé et dispositif automatisés aptes à assurer l'invariance perceptive d'un évènement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées
US11164049B2 (en) 2017-04-28 2021-11-02 Another Brain Automated method and device capable of providing dynamic perceptive invariance of a space-time event with a view to extracting unified semantic representations therefrom

Also Published As

Publication number Publication date
FR2821459B1 (fr) 2004-11-12
FR2821459A1 (fr) 2002-08-30
MXPA03007554A (es) 2003-12-04
CA2439867A1 (fr) 2002-09-06
EP1364341A1 (fr) 2003-11-26
JP2004523047A (ja) 2004-07-29

Similar Documents

Publication Publication Date Title
Hernandez-Ortega et al. Deepfakeson-phys: Deepfakes detection based on heart rate estimation
EP1259939B1 (fr) Procede et dispositif de perception automatique
CN104246656B (zh) 建议的视频编辑的自动检测
Kim et al. Exposing fake faces through deep neural networks combining content and trace feature extractors
US12217474B2 (en) Detection of moment of perception
Hernandez-Ortega et al. Deepfakes detection based on heart rate estimation: Single-and multi-frame
Planamente et al. Da4event: towards bridging the sim-to-real gap for event cameras using domain adaptation
WO2018197693A1 (fr) Procédé et dispositif automatisés aptes à assurer l&#39;invariance perceptive d&#39;un évènement spatio-temporel dynamiquement en vue d&#39;en extraire des représentations sémantiques unifiées
WO2022245399A1 (fr) Utilisation d&#39;une interpolation pour générer une vidéo à partir d&#39;images statiques
CN118101856B (zh) 图像处理方法及电子设备
Zhang et al. Face spoofing video detection using spatio-temporal statistical binary pattern
WO2002069265A1 (fr) Procede et dispositif de reperage d&#39;un objet par sa forme, sa dimension et/ou son orientation
Kannoth et al. Hand Gesture Recognition Using CNN & Publication of World's Largest ASL Database
WO2020193972A1 (fr) Analyse faciale
Menon et al. Style transfer applied to face liveness detection with user-centered models
Pundir et al. A review of deep learning approaches for human gait recognition
WO2002075659A1 (fr) Procede et dispositif d&#39;adaption de la sensibilite de detection d&#39;un parametre porte par un signal
Dalal et al. False media detection by using deep learning
Bhamare et al. Translating the unspoken Deep learning approaches to Indian Sign Language recognition using CNN and LSTM networks
Mocanu et al. Gesture-based human-robot interaction
US12254406B2 (en) Object observation prediction in images using encoder-decoder models
Murtaza et al. Face forgery detection via optimum deep convolution activation feature selection algorithm using expert-generated images
Bansal et al. Detection of Anomalies in Surveillance Video using Improved Cheetah Optimizer Algorithm along with Variational Auto Encoder Classifier
Wen Reconstruction of human faces from voice
Pola et al. An Effective Deep Learning Model for Hand Shadow Puppet Recognition

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG UZ VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002716806

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: PA/a/2003/007554

Country of ref document: MX

Ref document number: 2002568307

Country of ref document: JP

Ref document number: 2439867

Country of ref document: CA

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWP Wipo information: published in national office

Ref document number: 2002716806

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWW Wipo information: withdrawn in national office

Ref document number: 2002716806

Country of ref document: EP

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载