+

WO2017017359A1 - Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile - Google Patents

Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile Download PDF

Info

Publication number
WO2017017359A1
WO2017017359A1 PCT/FR2016/051911 FR2016051911W WO2017017359A1 WO 2017017359 A1 WO2017017359 A1 WO 2017017359A1 FR 2016051911 W FR2016051911 W FR 2016051911W WO 2017017359 A1 WO2017017359 A1 WO 2017017359A1
Authority
WO
WIPO (PCT)
Prior art keywords
panel
displayed
screen
vehicle
image
Prior art date
Application number
PCT/FR2016/051911
Other languages
English (en)
Inventor
Francois Laurent
Adrien CARMONE
Original Assignee
Renault S.A.S
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault S.A.S filed Critical Renault S.A.S
Priority to EP16753952.7A priority Critical patent/EP3326110A1/fr
Publication of WO2017017359A1 publication Critical patent/WO2017017359A1/fr

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the technical field of the invention is the processing and display of images acquired by an on-board camera, and more particularly the application of such a treatment to traffic assistance systems.
  • document KR101478258 discloses a method of lane detection on a multi-lane road. However, the direction signs are not detected or displayed.
  • the subject of the invention is a method of displaying a direction sign of the road scene for a motor vehicle equipped with a camera, a screen and a first calculation means able to realize a recognition of the panels. of speed, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle, the screen being arranged so as to be visible to the driver during the use of the vehicle.
  • the method comprises the following steps:
  • the image of the direction sign to be displayed is scaled and the scaled image is processed, and
  • the display on the display of the direction panel is displayed, as long as the direction sign remains on the acquired image.
  • the sign to be displayed can be determined by performing the following steps:
  • the detected direction panels are associated with a track according to the respective positions of the panels and tracks,
  • the route is determined in the vehicle, and the panel is displayed as a panel to display the steering panel among the detected direction signs associated with the lane in which the vehicle is traveling.
  • the panel to be displayed is the direction sign detected.
  • Another object of the invention is a system for displaying a roadside direction sign for a motor vehicle. equipped with a camera, a screen and a first calculation means adapted to perform a recognition of the speed panels, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle , the screen being arranged so as to be visible to the driver during the use of the vehicle.
  • the system comprises the first calculation means capable of detecting the presence of signaling panels on the image received from the camera, a second calculation means able to determine if at least one direction sign is present among the detected signaling panels, and a fourth calculation means adapted to determine the readability of the characters of the direction panel to be displayed on the vehicle screen.
  • the fourth calculation means is furthermore capable of scaling the image of the directional panel to be displayed as well as scaled image processing, and to maintain the display on the screen. the display of the direction panel to be displayed, as long as the steering panel remains present on the acquired image, the first calculation means being connected at the output to the second calculation means itself connected at the output to the fourth calculation means, the fourth calculation means being outputted to the screen.
  • the second calculation means may be able to determine if a traffic sign is a direction sign comparing the shape of the traffic sign with a database of the shapes of the direction signs.
  • the second calculation means may be able to determine if a traffic sign is a direction sign by determining the presence of a direction arrow by comparison with a database of direction arrows on steering panels.
  • the system may comprise a third calculation means able to carry out an unintentional line crossing warning or a line maintenance assistance connected between the second calculation means and the fourth calculation means, the third calculation means being able to determine whether the road includes one or more lanes, and capable of determining the direction sign to be displayed in function of the respective positions of the panels, tracks and the vehicle.
  • the fourth calculation means may be able to determine the size in number of pixels of the characters whose presence has been detected on a cropped image of the vehicle. panel to be displayed from the first calculation means, to determine whether the determined size of the characters is greater than or equal to a predetermined minimum character size value according to the Johnson Rosell criterion with a pixel number value corresponding to 50% of recognition of an empirically determined character and if so, to confirm the possibility of scaling without degradation of readability on the screen according to ergonomic rules,
  • FIG. 1 illustrates the main steps of a method of displaying a direction sign of the road scene for a motor vehicle according to the invention
  • FIG. 2 illustrates the main elements of a display system of a roadside direction sign for a motor vehicle according to a first embodiment of the invention
  • FIG. 3 illustrates the main elements of a display system of a road sign of the road scene for a motor vehicle according to a second embodiment of the invention.
  • the Johnson Rosell Criterion was originally defined for military thermal observation applications in which detection, identification and recognition thresholds were to be determined. This criterion is employed in the present invention to determine the driver's ability to detect, identify and recognize on a display screen the image of characters present on a direction sign.
  • Johnson Rosell's criterion is to substitute for the object to be detected a target of the same size containing one or more pairs of lines in its height and width.
  • the number of line pairs in the target is associated with a detection, recognition, and identification rate. These rates represent the probabilities of detection, recognition or identification of the object by the user.
  • the implementation of the Johnson Rosell criterion in the invention makes it possible to determine whether an acquired image can be displayed or not, while knowing that it will be readable for the driver.
  • the number of pairs of lines N corresponds to a number of pairs of lines of pixels on the screen displaying the final image while the object to be identified corresponds to the shape of a letter on the direction sign.
  • the probability curve of Johnson's criterion is constructed according to the following formula:
  • N the number of line pairs
  • N50 the number of line pairs with a probability of identification.
  • the N50 value must be determined empirically and is dependent on the screen and the camera, as well as the position of the camera relative to the user.
  • This curve therefore makes it possible to determine the number N of lines or pixels on the screen necessary for the user to be able to identify a letter with a probability of success Probability (N) given and a number N50 of lines or pixels on the screen necessary for the user to be able to identify a letter with a 50% probability of success.
  • the letter On the sensor of the camera, the letter must at least make the same number of pixels as on the screen (a pixel of the screen corresponds to a pixel of the camera) for such a conclusion to be valid. In the opposite case, a ratio of pixels between the camera and the screen must be introduced.
  • a pixel of the camera corresponds to a pixel of the screen.
  • the number of line pairs of the camera is equal to the number of pixel pairs.
  • a probability table identifying a letter is then defined according to the number of pairs of lines acquired. Such a table can be determined empirically.
  • a threshold of number of line pairs is determined which makes it possible to exceed a chosen identification probability threshold.
  • a 95% probability of good identification corresponds to a number of pairs of pixels equal to at least 12, ie 24 pixels in height.
  • the character when the size of the letter is greater than 24 pixels, the character is considered identifiable in the horizontal direction.
  • a first step 1 it acquires, without digital zoom, an image of the scene observed with a camera attached to the motor vehicle so as to acquire images of the road scene in front of the vehicle.
  • a second step 2 it is detected whether at least one traffic sign is present on the observed scene via a recognition of speed panels known from the state of the prior art. Indeed, this type of method is able to recognize the traffic signs, and among these panels, to recognize those of the speed panel type. Such a method can therefore be used to detect the presence of a traffic sign. If this is the case, the process continues with a third step.
  • the third step 3 it is determined whether at least one direction sign is present among the detected traffic signs.
  • the detected panels are classified according to their type by determining the shape of the panels detected by recognizing the speed panels and by comparing the determined shapes to a database of panel shapes. Alternatively, it is also determined by comparison with a database whether the panel comprises a direction arrow. If this is the case, the panel is a direction sign. If at least one detected panel is a direction panel, the method continues with a fourth step.
  • a fourth optional step 4 it is determined whether the road comprises one or more lanes through an AFIL line crossing warning method (in English "Lane”). departure warning System ") or Lane Keeping Assist (known in French as” Lane Keeping Assist ”) known from the state of the art.
  • AFIL line crossing warning method in English "Lane”
  • Lane Keeping Assist known in French as” Lane Keeping Assist
  • the directional sign to be displayed is determined by performing the following steps:
  • the presence of tracks is determined according to the signaling lines present on the road,
  • the panel to be displayed is the direction sign detected.
  • a fifth step 5 the liability of the directional panel to be displayed on the screen is determined. To achieve this, the following steps are applied:
  • the number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed is determined by the method of recognizing the speed panels
  • a possible sixth step 6 the image of the directional panel to be displayed is displayed at the scale determined in the fifth step.
  • a possible seventh step 7 an image processing (saturation, contrast) of the direction panel to be displayed and scaled is performed.
  • the method continues with the display on the screen of the direction panel to be displayed, the panel display being maintained as long as the panel remains present on the acquired image.
  • the method displays at least one other type of road signs, for example an indication panel of fixed speed control radars.
  • Figure 2 illustrates the main elements of a roadside sign display system for a motor vehicle.
  • the display system comprises a calculator 10 comprising calculation means (10a, 10b, 10c, 10d), input connected to a camera 11 so as to acquire images of the road scene situated in front of the vehicle, the computer being connected at the output to a screen 12 disposed in the passenger compartment for displaying information to the driver during the use of the vehicle.
  • the computer 10 comprises a first calculation means 10a able to analyze the image received from the camera 11 in order to detect the presence of traffic signs.
  • a calculation means 10a may be a means for recognizing the speed limit signs. Indeed, such a means is able to determine the presence of road signs and then among these panels, those indicating a speed limit. It is thus possible to use the intermediate result of such a means to have road signs of the scene.
  • the first calculation means 10a is outputted to a second calculation means 10b capable of detecting the presence of direction panels among the detected panels.
  • the calculation means 10b is able to determine the shape of the panels detected by known means of the state of the art and to compare the determined forms to a database of forms of direction signs. As a variant, the calculation means 10b is also able to determine whether a signaling panel is a direction panel by determining the presence of a direction arrow by comparing it with a database of the direction arrows present on the steering arrows. direction signs.
  • the second calculation means 10b is connected at the output to a fourth calculation means l Od able to evaluate the liability of the characters detected which will be described later.
  • the system comprises a third computing means 10c connected at input to the second calculation means I Od and connected at the output to the fourth calculation means I Od able to evaluate the accessibility. detected characters.
  • the third calculation means 10c is able to determine the position of said panels with respect to the different traffic lanes on the road and to detect the characters present on said panels.
  • the third calculation means 10c may be an AFIL (Lane departure warning System) line crossing warning system or a line maintenance system (in the English language). "Lane Keeping Assi st”) known from the state of the art.
  • the calculation means 10c is able to determine whether the road comprises one or more traffic lanes.
  • the calculating means 10c is able to determine the directional sign to be displayed by determining the presence of lanes according to the signaling lines present on the road, by associating the detected directional signs with a lane according to the respective positions of the panels and the lanes, by determining the lane in which the vehicle is traveling, by choosing panel to display the direction sign among the panels detected direction associated with the lane in which the vehicle is traveling.
  • the calculating means 10c is able to determine that the panel to be displayed is the direction panel detected.
  • the calculation means l 0 is capable of determining the number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed received from the first calculation means 10 a, determining whether the determined size of the characters is greater than or equal to a predetermined minimum character size value based on Johnson Rosell's criterion with a pixel number s corresponding to 50% recognition of an empirically determined character, and if this is the case, to confirm the possibility of scaling without impairing the accessibility on the screen according to ergonomic rules specific to the manufacturer.
  • the present invention can be applied to any type of panel and ensures a comprehensible display by the driver of the image captured by the camera.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra, d'un écran et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule. Le procédé comprend les étapes suivantes : on acquiert, sans zoom numérique, une image de la scène observée avec la caméra, on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul (10a), si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire le premier moyen de calcul (10a), si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher, on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule, si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.

Description

Procédé et système d'affichage d'un panneau de direction de la scène routière pour véhicule automobile.
L'invention a pour domaine technique le traitement et l'affichage d'images acquises par une caméra embarquée, et plus particulièrement l'application d'un tel traitement aux systèmes d'aide à la circulation routière.
Lorsqu'un conducteur de véhicule automobile arrive sur un échangeur routier, il est intéressant pour lui d'identifier la voie qu'il doit emprunter afin de se positionner correctement selon sa direction et éviter des manœuvres précipitées au dernier moment.
Ceci est généralement proposé par les systèmes de navigation lorsqu'un parcours est défini. Par contre, lorsque le parcours dans le système de navigation n'a pas été défini, que la cartographie n'est plus à jour, que des zones de contournements/déviations sont proposées pour des raisons de travaux sur voie, que des itinéraires « bis » sont proposés ou que le signal GPS est perdu en cours de roulage (ex : sous tunnel), il est intéressant pour le conducteur d'avoir une aide visuelle sur l'écran présent dans le tableau de bord du véhicule.
De l'état de la technique, on connaît le document KR101478258 divulguant une méthode de détection de voie de circulation sur une route à plusieurs voies. Toutefois, les panneaux de direction ne sont ni détectés ni affichés.
De plus, il est connu de l'état de la technique, des procédés d'affichage des panneaux de limitation de vitesse dans un écran multimédia de véhicule automobile. Ces panneaux de limitation de vitesse sont situés sur la scène routière. Cependant, ces procédés ne permettent pas d'afficher les panneaux de direction.
II existe un besoin pour un procédé et un système d'affichage d'images de panneaux de direction de la scène routière détectés sur une image acquise par une caméra embarquée. L'invention a pour objet un procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra, d'un écran et d'un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule.
Le procédé comprend les étapes suivantes :
on acquiert, sans zoom numérique, une image de la scène observée avec la caméra,
on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul,
si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire du premier moyen de calcul,
si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher,
on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,
si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et
on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.
Pour déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, on peut déterminer la forme des panneaux détectés par reconnaissance des panneaux de vitesse et on peut comparer les formes déterminées à une base de données de formes de panneaux de direction.
On peut déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d'une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.
Lorsque la route comprend plusieurs voies de circulation, on peut déterminer le panneau à afficher en réali sant les étapes suivantes :
on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route par l ' intermédiaire d'un procédé d' alerte de franchi ssement involontaire de ligne AFIL (en langue anglai se « Lane departure warning System ») ou d' assi stance de maintien de ligne réali sables par un système de calcul équipant le véhicule,
on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,
on détermine la voie dans l aquelle le véhicule circule, et on choi sit comme panneau à afficher le panneau de directio n parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.
Lorsque la route comprend une seule voie de circulation, on peut déterminer que le panneau à afficher est le panneau de direction détecté.
Pour déterminer la lisibilité du panneau de direction à affi cher, on peut déterminer la taill e en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue de la reconnai ssance des panneaux de vitesse,
on peut déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d' un caractère déterminée empiriquement, et
si tel est le cas, on peut confirmer la possibilité d'une mi se à l ' échelle sans dégradation de la li sibilité sur l ' écran en fonction de règles ergonomiques .
Un autre obj et de l ' invention est un système d' affichage d' un panneau de direction de la scène routière pour un véhicule automobil e muni d'une caméra, d'un écran et d'un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule.
Le système comprend le premier moyen de calcul apte à détecter la présence de panneaux de signalisation sur l'image reçue de la caméra, un deuxième moyen de calcul apte à déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, et un quatrième moyen de calcul apte à déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule. Le quatrième moyen de calcul est par ailleurs apte à réaliser une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et à maintenir l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise, le premier moyen de calcul étant relié en sortie au deuxième moyen de calcul lui-même connecté en sortie au quatrième moyen de calcul, le quatrième moyen de calcul étant connecté en sortie à l'écran.
Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en comparant la forme du panneau de signalisation avec une base de données des formes des panneaux de direction.
Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d'une flèche de direction par comparaison avec une base de données des flèches de direction présentes sur des panneaux de direction.
Le système peut comprendre un troisième moyen de calcul apte à réaliser une alerte de franchissement involontaire de ligne ou une assistance de maintien de ligne connecté entre le deuxième moyen de calcul et le quatrième moyen de calcul, le troisième moyen de calcul étant apte à déterminer si la route comprend une ou plusieurs voies de circulation, et apte à déterminer le panneau de direction à afficher en fonction des positions respectives des panneaux, des voies et du véhicule.
Pour déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule, le quatrième moyen de calcul peut être apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l'une image rognée du panneau à afficher issue du premier moyen de calcul, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d'un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d'une mise à l'échelle sans dégradation de la lisibilité sur l'écran en fonction de règles ergonomiques,
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés sur lesquels :
- la figure 1 illustre les principales étapes d'un procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon l'invention,
- la figure 2 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon un premier mode de réalisation de l'invention, et
- la figure 3 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon un deuxième mode de réalisation de Γ invention.
Le critère Johnson Rosell a été initialement défini pour des applications militaires d'observation thermique au cours desquelles des seuils de détection, d'identification et de reconnaissance devaient être déterminés. Ce critère est employé dans la présente invention afin de déterminer la capacité du conducteur à détecter, identifier et reconnaître sur un écran d'affichage l'image de caractères présents sur un panneau de direction.
Le critère de Johnson Rosell consiste à substituer à l'objet à détecter une cible de même taille contenant une ou plusieurs paires de lignes dans sa hauteur et dans sa largeur. Le nombre de paires de lignes de la cible est associé à un taux de détection, de reconnaissance et d'identification. Ces taux représentent les probabilités de détection, de reconnaissance ou d'identification de l'objet par l'utilisateur. En d'autres termes, la mise en œuvre du critère de Johnson Rosell dans l'invention permet de déterminer si une image acquise peut être affichée ou non, tout en sachant qu'elle sera lisible pour le conducteur.
Appliqué à la détermination de la lisibilité de caractères sur un panneau de direction, le nombre de paires de lignes N correspond à un nombre de paires de lignes de pixels sur l'écran affichant l'image finale tandis que l'objet à identifier correspond à la forme d'une lettre sur le panneau de direction. La courbe des probabilités du critère de Johnson est construite selon la formule suivante :
E
( N
Probabilité (N)= (Eq. 1)
Figure imgf000008_0001
Avec
Figure imgf000008_0002
N : le nombre de paires de lignes
N50 : le nombre de paires de lignes avec une probabilité de 'identification. La valeur N50 doit être déterminée empiriquement et est dépendante de l'écran et de la caméra, ainsi que de la position de celui-ci par rapport à l'utilisateur.
Cette courbe permet donc de déterminer le nombre N de lignes ou de pixels sur l'écran nécessaires à l'utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite Probabilité (N) donnée et un nombre N50 de lignes ou de pixels sur l'écran nécessaires à l'utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite de 50% donnée.
Connaissant le nombre de pixels N requis pour une identification, on peut le comparer au nombre de pixels affichés afin de déterminer si l'utilisateur peut identifier une lettre ou non.
Sur le capteur de la caméra, la lettre doit à minima faire le même nombre de pixels que sur l'écran (un pixel de l'écran correspond à un pixel de la caméra) pour qu'une telle conclusion soit valable. Dans le cas contraire, un ratio de pixels entre la caméra et l'écran doit être introduit.
Compte tenu des éléments exposés ci-dessus, on peut également définir les probabilités suivantes par extension de l'équation (Eq. 1) à différentes situations :
Sur la scène de route avec l'acquisition d'un panneau de direction par la caméra, on peut détecter la présence d'informations à l'intérieur de ce panneau à hauteur d'une probabilité de détection. Dans ce cas on considère une valeur N50 relative à la détection.
Parmi les informations détectées à l'intérieur du panneau, on peut reconnaître un caractère d'un autre type d'information (flèche, symbole, etc.) à hauteur d'une probabilité de reconnaissance. Dans ce cas, on considère une valeur N50 relative à la reconnaissance.
Sur les panneaux contenant des caractères reconnus, on peut identifier ces caractères à hauteur d'une probabilité d'identification. Dans ce cas, on considère une valeur N50 relative à l'identification.
Dans chacune de ces situations, on peut déterminer une taille caractéristique minimale de détection, de reconnaissance et d'identification à comparer avec la taille de l'objet correspondant sur l'image issue de la caméra ou affichée sur l'écran.
On va maintenant décrire l'évaluation de la lisibilité d'un caractère.
Le raisonnement présenté ci-après est effectué par rapport à la direction horizontale d'un caractère et doit être reproduit de la même façon pour la taille verticale.
On pose qu'un pixel de la caméra correspond à un pixel de l'écran.
On pose également que le nombre de paires de lignes de la caméra est égal au nombre de paires de pixels.
On définit également les grandeurs suivantes :
Pe_h : Taille horizontale de l'écran en pixels
Pe_v : Taille verticale de l'écran en pixels
PL h : Taille horizontale de la lettre en pixels
PL v : Taille verticale de la lettre en pixels
On définit ensuite une table de probabilité d'identification d'une lettre en fonction du nombre de paires de lignes acquises. Une telle table peut être déterminée de façon empirique.
De cette table, on détermine un seuil de nombre de paires de lignes permettant de dépasser un seuil de probabilité d'identification choisi. Par exemple, une telle table peut renseigner qu'une probabilité de 95% de bonne identification correspond à un nombre de paires de pixels égal au minimum à 12, soit 24 pixels de hauteur.
En d'autres termes, dans cet exemple, lorsque la taille de la lettre est supérieure à 24 pixels, le caractère est considéré comme identifiable dans la direction horizontale.
On reproduit ensuite les mêmes étapes pour déterminer la taille verticale minimale d'identification.
On considère ensuite que le caractère est lisible lorsque ses dimensions satisfont les tailles minimales d'identification, dans les deux directions. Le procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile va maintenant être décrit en relation avec la figure 1.
Au cours d'une première étape 1, on acquiert, sans zoom numérique, une image de la scène observée avec une caméra fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule.
Au cours d'une deuxième étape 2, on détecte si au moins un panneau de signalisation est présent sur la scène observée par l'intermédiaire d'une reconnaissance des panneaux de vitesse connus de l'état de la technique antérieure. En effet, ce type de procédé est apte à reconnaître les panneaux de signalisation, et parmi ces panneaux, à reconnaître ceux du type panneau de vitesse. Un tel procédé peut donc être utilisé pour détecter la présence d'un panneau de signalisation. Si tel est le cas, le procédé se poursuit par une troisième étape.
Au cours de la troisième étape 3, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés. Pour cela, on classe les panneaux détectés en fonction de leur type en déterminant la forme des panneaux détectés par reconnaissance des panneaux de vitesse et en comparant les formes déterminées à une base de données de formes de panneaux. Alternativement, on détermine également par comparaison avec une base de données si le panneau comprend une flèche de direction. Si tel est le cas, le panneau est un panneau de direction. Si au moins un panneau détecté est un panneau de direction, le procédé se poursuit par une quatrième étape.
Au cours d'une quatrième étape 4 optionnelle selon les modes de réalisation, on détermine si la route comprend une ou plusieurs voies de circulation par l'intermédiaire d'un procédé d'alerte de franchissement involontaire de ligne AFIL (en langue anglaise « Lane departure warning System ») ou d'assistance de maintien de ligne (en langue anglaise « Lane Keeping Assist ») connus de l'état de la technique antérieure. Lorsque la route comprend plusieurs voies de circul ation et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, on détermine le panneau de direction à afficher en réali sant les étapes suivantes :
-on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route,
-on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,
-on détermine la voie dans laquelle le véhicule circule,
-on choi sit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.
Lorsque la route comprend une seule voie de circulation, on détermine que le panneau à afficher est le panneau de direction détecté.
On considère implicite la présence de caractères dès lors qu ' un panneau de direction est détecté.
Au cours d' une cinquième étape 5 , on détermine la li sibilité du panneau de direction à afficher sur l ' écran. Pour réali ser cel a, on applique les étapes suivantes :
on détermine la taill e en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue du procédé de reconnai ssance des panneaux de vitesse,
on détermine si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur N50 de nombre de pixel s correspondant à 50% de reconnai ssance d'un caractère déterminée empiriquement,
si tel est le cas, on confirme la possibilité d'une mi se à l ' échelle sans dégradation de la li sibilité sur l ' écran par application de règles ergonomiques propres au constructeur.
Au cours d' une éventuelle sixième étape 6, on met à l ' échelle l ' image du panneau de direction à afficher avec la mi se à l ' échelle déterminée à la cinquième étape. Au cours d'une éventuelle septième étape 7, on réalise un traitement de l'image (saturation, contraste) du panneau de direction à afficher et mis à l'échelle.
Dans tous les cas, le procédé se poursuit par l'affichage sur l'écran du panneau de direction à afficher, l'affichage du panneau étant maintenu tant que le panneau demeure présent sur l'image acquise.
Alternativement, le procédé affiche au moins un autre type de panneaux routiers, par exemple un panneau d'indication de radars fixes de contrôle de vitesse.
La figure 2 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile. On peut voir que le système d'affichage comprend un calculateur 10 comprenant des moyens de calculs (10a, 10b, 10c, lOd), connectés en entrée à une caméra 11 de sorte à acquérir des images de la scène routière située devant le véhicule, le calculateur étant connecté en sortie à un écran 12 disposé dans l'habitacle pour l'affichage d'informations au conducteur lors de l'utilisation du véhicule.
Le calculateur 10 comprend un premier moyen de calcul 10a apte à analyser l'image reçue de la caméra 11 afin d'y détecter la présence de panneaux de signalisation. Un moyen de calcul 10a peut être un moyen de reconnaissance des panneaux de limitation de vitesse. En effet, un tel moyen est apte à déterminer la présence de panneaux de signalisation routière puis parmi ces panneaux, ceux signalant une limitation de vitesse. Il est ainsi possible d'utiliser le résultat intermédiaire d'un tel moyen pour disposer des panneaux de signalisation routière de la scène.
Le premier moyen de calcul 10a est relié en sortie à un deuxième moyen de calcul 10b apte à détecter la présence de panneaux de direction parmi les panneaux détectés.
Pour cela, le moyen de calcul 10b est apte à déterminer la forme des panneaux détectés par des moyens connus de l'état de la technique et à comparer les formes déterminées à une base de données de formes de panneaux de direction. En variante, le moyen de calcul 10b est également apte à déterminer si un panneau de signali sation est un panneau de direction en déterminant la présence d' une fl èche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction. Le deuxième moyen de calcul 10b est connecté en sortie à un quatrième moyen de calcul l Od apte à évaluer la li sibilité des caractères détectés qui sera décrit plus loin.
Selon un deuxième mode de réali sation illustré par la figure 3 , le système comprend un troi sième moyen de calcul 10c connecté en entrée au deuxième moyen de calcul l Od et connecté en sortie au quatrième moyen de calcul l Od apte à évaluer la li sibilité des caractères détectés .
Le troi sième moyen de calcul 10c est apte à déterminer la position desdits panneaux par rapport aux différentes voies de circul ation sur la route et à détecter les caractères présents sur lesdit s panneaux. Le troi sième moyen de calcul 10c peut être un sy stème d' alerte de franchi ssement involontaire de ligne AFIL (en langue anglai se « Lane departure warning System ») ou un sy stème d' assi stance de maintien de ligne (en langue anglai se « Lane Keeping Assi st ») connus de l ' état de la technique antérieure.
Pour déterminer la position desdits panneaux par rapport aux différentes voies de circulation sur la route, le moyen de calcul 10c est apte à déterminer si la route comprend une ou plusieurs voies de circul ation. Lorsque la route comprend plusieurs voies de circulatio n et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, le moyen de calcul 1 0c est apte à déterminer le panneau de direction à affi cher en déterminant la présence de voies en fonction des lignes de signali sation présentes sur la route, en associant les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies, en déterminant la voie dans laquelle le véhicule circule, en choisissant comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circul e.
Lorsque la route comprend une seule voie de circulation, le moyen de calcul 10c est apte à déterminer que le panneau à afficher est le panneau de direction détecté .
Par ailleurs, on considère implicite la présence de caractères dès lors qu' un panneau de direction est détecté.
Quel que soit le mode de réali sation, le moyen de calcul l Od est apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher reçue du premier moyen de calcul 10a, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d'un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d'une mise à l ' échelle sans dégradation de la li sibilité sur l ' écran en fonction de règl es ergonomiques propres au constructeur.
La présente invention peut s' appliquer à tout type de panneau et permet de garantir un affichage compréhensibl e par le conducteur de l ' image capturée par la caméra.

Claims

REVENDICATIONS
1. Procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra (11), d'un écran (12) et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse,
la caméra (11) étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule,
l'écran (12) étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule,
caractérisé par le fait qu'il comprend les étapes suivantes : on acquiert, sans zoom numérique, une image de la scène observée avec la caméra (11),
on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul (10a),
si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire le premier moyen de calcul (10a),
si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher,
on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,
si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et
on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.
2. Procédé selon la revendication 1, dans lequel, pour déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, on détermine la forme des panneaux détectés par reconnaissance des panneaux de vitesse et on compare les formes déterminées à une base de données de formes de panneaux de direction.
3 Procédé selon l ' une quelconque des revendicatio ns précédentes, dans lequel on détermine si un panneau de signali satio n est un panneau de direction en déterminant la présence d ' une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.
4. Procédé selon l ' une quelconque des revendications précédentes, dans lequel, lorsque la route comprend plusieurs voies de circul ation, on détermine le panneau à afficher en réali sant les étapes suivantes :
on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route par l ' intermédiaire d'un procédé d' alerte de franchi ssement involontaire de ligne ou d' assi stance de maintien de ligne réali sables par un système de calcul équipant le véhicule,
on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,
on détermine la voie dans laquelle le véhicule circule, et on choi sit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle l e véhicule circule.
5. Procédé selon l ' une quelconque des revendications précédentes, dans lequel, lorsque la route comprend une seule voie de circul ation, on détermine que le panneau à afficher est le panneau de direction détecté.
6. Procédé selon l ' une quelconque des revendications précédentes, dans lequel, pour déterminer la li sibilité du panneau de direction à afficher, on détermine la taille en nombre de pixel s des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue de la reconnai ssance des panneaux de vitesse, on détermine si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d'un caractère déterminée empiriquement, et
si tel est le cas, on confirme la possibilité d'une mise à l'échelle sans dégradation de la lisibilité sur l'écran en fonction de règles ergonomiques.
7. Système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra (11), d'un écran (12) et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse,
la caméra (11) étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule,
l'écran (12) étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule, le système étant caractérisé par le fait qu'il comprend
le premier moyen de calcul (10a) étant apte à détecter la présence de panneaux de signalisation sur l'image reçue de la caméra (H),
un deuxième moyen de calcul (10b) apte à déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés,
un quatrième moyen de calcul (10d) apte à déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,
le quatrième moyen de calcul (10d) étant par ailleurs apte à réaliser une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et à maintenir l'affichage sur l'écran (12) du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise,
le premier moyen de calcul (10a) étant relié en sortie au deuxième moyen de calcul (10b) lui-même connecté en sortie au quatrième moyen de calcul (10d), le quatrième moyen de calcul (lOd)étant connecté en sortie à l'écran (12).
8. Système selon la revendication 7, dans lequel le deuxième moyen de calcul ( 10b) est apte à déterminer si un panneau de signali sation est un panneau de direction en comparant la forme du panneau de signali sation avec une base de données des formes des panneaux de direction.
9. Système selon l ' une quelconque des revendications 7 ou 8, dans lequel le deuxième moyen de calcul ( 10b) est apte à déterminer si un panneau de signali sation est un panneau de direction en déterminant la présence d' une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.
10. Système selon l ' une quel conque des revendications 7 à 9, comprenant un troisième moyen de calcul ( 10c) apte à réali ser une alerte de franchi ssement involontaire de ligne ou une assi stance de maintien de ligne connecté entre le deuxième moyen de calcul ( 10b) et le quatrième moyen de calcul ( 10d), le troi sième moyen de calcul ( 10c) est apte à déterminer si la route comprend une ou plusieurs voies de circulation, et apte à déterminer le panneau de direction à afficher en fonction des positions respectives des panneaux, des voies et du véhicule.
1 1 . Système selon l ' une quel conque des revendications 7 à 10, dans lequel pour déterminer la lisibilité des caractères du panneau de direction à afficher sur l ' écran du véhicule, le quatrième moyen de calcul ( 10d) est apte à déterminer la taille en nombre de pixel s des caractères dont la présence a été détectée sur l ' une image rognée du panneau à afficher i ssue du premi er moyen de calcul ( 10a), à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d' un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d' une mise à l ' échelle sans dégradation de la lisibilité sur l ' écran en fonction de règles ergonomiques.
PCT/FR2016/051911 2015-07-24 2016-07-22 Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile WO2017017359A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP16753952.7A EP3326110A1 (fr) 2015-07-24 2016-07-22 Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1557056A FR3039309B1 (fr) 2015-07-24 2015-07-24 Procede et systeme d'affichage d'un panneau de direction de la scene routiere pour vehicule automobile
FR1557056 2015-07-24

Publications (1)

Publication Number Publication Date
WO2017017359A1 true WO2017017359A1 (fr) 2017-02-02

Family

ID=54199887

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2016/051911 WO2017017359A1 (fr) 2015-07-24 2016-07-22 Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile

Country Status (3)

Country Link
EP (1) EP3326110A1 (fr)
FR (1) FR3039309B1 (fr)
WO (1) WO2017017359A1 (fr)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090312888A1 (en) * 2008-02-25 2009-12-17 Stefan Sickert Display of a relevant traffic sign or a relevant traffic installation
DE102008043155A1 (de) * 2008-10-24 2010-04-29 Robert Bosch Gmbh Fahrerinformationseinrichtung
DE102008054041B3 (de) * 2008-10-31 2010-06-10 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
US20130101174A1 (en) * 2010-06-15 2013-04-25 Conti Temic Microelectronic Gmbh Method for Combining a Road Sign Recognition System and a Lane Detection System of a Motor Vehicle
DE102012025067A1 (de) * 2012-12-19 2014-06-26 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung mit kombinierter Verkehrszeichenerfassung und Markierungserfassung für ein Kraftfahrzeug und entsprechendes Verfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090312888A1 (en) * 2008-02-25 2009-12-17 Stefan Sickert Display of a relevant traffic sign or a relevant traffic installation
DE102008043155A1 (de) * 2008-10-24 2010-04-29 Robert Bosch Gmbh Fahrerinformationseinrichtung
DE102008054041B3 (de) * 2008-10-31 2010-06-10 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
US20130101174A1 (en) * 2010-06-15 2013-04-25 Conti Temic Microelectronic Gmbh Method for Combining a Road Sign Recognition System and a Lane Detection System of a Motor Vehicle
DE102012025067A1 (de) * 2012-12-19 2014-06-26 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung mit kombinierter Verkehrszeichenerfassung und Markierungserfassung für ein Kraftfahrzeug und entsprechendes Verfahren

Also Published As

Publication number Publication date
EP3326110A1 (fr) 2018-05-30
FR3039309A1 (fr) 2017-01-27
FR3039309B1 (fr) 2017-07-14

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
EP3462377B1 (fr) Procédé et appareil permettant d'identifier une voie de conduite
GB2554503A (en) Pedestrian detection when a vehicle is reversing
CN113673438B (zh) 一种碰撞预警的方法、装置、电子设备及存储介质
CN107487258A (zh) 盲区检测系统和方法
JP2013225295A5 (fr)
CN107487333A (zh) 盲区检测系统和方法
JP4988781B2 (ja) 車両の周辺監視装置
JP2009048629A (ja) 検出方法
CN110909699A (zh) 视频车辆非导向行驶检测方法、装置及可读存储介质
KR20190095567A (ko) 객체를 인식하는 방법 및 장치
CN111967451B (zh) 一种道路拥堵检测方法及装置
US9600894B2 (en) Image processing apparatus and computer-readable storage medium
JP5811918B2 (ja) 注視対象物推定装置、方法、及びプログラム
US9916672B2 (en) Branching and merging determination apparatus
JP7183729B2 (ja) 撮影異常診断装置
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
JP7398257B2 (ja) 道路標示認識装置
WO2017017359A1 (fr) Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
Yoo et al. A new lane detection method based on vanishing point estimation with probabilistic voting
JP2018163592A (ja) 物体検知支援装置
CN107452230B (zh) 一种障碍物检测方法、装置、终端设备及存储介质
JP2017045193A (ja) 標識認識表示装置
CN115908486A (zh) 车辆速度预估方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16753952

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016753952

Country of ref document: EP

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载