+

WO2017008173A1 - Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel - Google Patents

Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel Download PDF

Info

Publication number
WO2017008173A1
WO2017008173A1 PCT/CH2016/000101 CH2016000101W WO2017008173A1 WO 2017008173 A1 WO2017008173 A1 WO 2017008173A1 CH 2016000101 W CH2016000101 W CH 2016000101W WO 2017008173 A1 WO2017008173 A1 WO 2017008173A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
visual
module
user
auditory
Prior art date
Application number
PCT/CH2016/000101
Other languages
English (en)
Inventor
Patrick Cosson
Original Assignee
Patrick Cosson
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Patrick Cosson filed Critical Patrick Cosson
Publication of WO2017008173A1 publication Critical patent/WO2017008173A1/fr

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0158—Head-up displays characterised by mechanical features with movable elements with adjustable nose pad
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Definitions

  • the present invention relates to a method for assisting, in particular a hearing-impaired person, understanding an auditory sensory message by transforming said auditory sensory message into a visual message and projecting it onto a surface positioned in the visual field of said hearing-impaired person.
  • an individual may have difficulty perceiving a hearing message, making it impossible or uncertain to understand.
  • the problem is usually due to a physical defect, such as an incipient deafness related to age or following an accident or illness, often manifested by the decrease of the sensitivity of the ear at certain frequencies.
  • What is often considered the cure for this lack of understanding is the prescription by a specialist of a hearing aid to amplify the sound in order to facilitate the perception of the message.
  • the amplification of the sound volume does not solve all the problems, especially when one of the problems is linked, for the individual concerned, to the selective loss of certain auditory frequency bands.
  • the sound amplification does not recreate the missing frequencies.
  • the random understanding mentioned above is not perceived as such by the individual, nor even by the interlocutor, and may lead to misinterpretation with more or less unfortunate consequences.
  • a subject perceiving a hearing message drowned in a disturbing sound environment for example in a workplace in a noisy industrial environment, or in a collective open environment;
  • Some equipment uses nerve stimulation techniques to replace acoustic stimulation.
  • osteology provides vibratory transmission by the bone itself or direct cochlear implantation.
  • they have the disadvantage of replacing the natural sound information with sensory information of an unknown type and, as a result, require a lengthy speech-language learning that can sometimes last for more than a year.
  • US Pat. No. 5,475,798 discloses an understanding aid which makes it possible to transcribe voice information into written information and to display said written information on a support arranged in the visual field of the invention. user.
  • the various proposed embodiments of the device are relatively bulky and do not trigger the display of the written information automatically, on simple request of the user, which complicates the use and decreases the comfort of the use of said device as well as its size. This device must be manually activated by the user before being used.
  • the deaf person does not know when it will require help to understand, because it can be a simple word misunderstood in a sentence uttered by a speaker or a partial misunderstanding during a conversation. interview or conference. It is imperative that the device is always available and that the data can be replayed or transcribed by the user, even after a first display.
  • the present invention proposes to solve these problems by offering a simplified, easy-to-use device, allowing the user to have visual information that translates a poorly perceived or misinterpreted voice information, this transcription or translation being carried out almost automatic, discreet with respect to the environment, without specific intervention, and offering complementary applications, such as providing assistance in understanding languages that are unknown or poorly understood by the user.
  • the variety of problems that can arise such as the poor translation of a language, the misunderstanding of a term or expression, requires a versatile device, instantly available, discreet and reliable, the whole being focused on a device that combines all the functions.
  • the method according to the invention is characterized in that said auditory sensory message is captured by means of at least one sensor mounted on a support of the telescope or equivalent type, in that said sensory message is transformed.
  • auditory in a visual message in that said auditory message is recorded, in that said visual message is projected following a command from the user, on a screen secured to said support of the type bezel or equivalent, placed in the visual field of said user, in that said user control is performed by at least one pupil movement of the user and in that the projection of the visual message is performed in static, scrolling, single or repetitive, direct form or delayed, as a function of said user command, picked up by a detection member of said pupillary movement.
  • the projection of the visual message is carried out on at least two display lines, the first line being assigned to the display of the visual transcription of the auditory message, the second line being assigned to additional information useful for the understanding of said message.
  • Said additional information useful for understanding said message may be a translation of said auditory message in a language of the user's choice.
  • the projection of the visual message can be performed with a predetermined offset with respect to the communication of said auditory message.
  • the device according to the invention is characterized in that it comprises: a support arranged to carry all the functional elements involved in fulfilling the functions of the method, said set of functional elements comprising;
  • At least one sensor arranged to receive said auditory sensory message and mounted on said support
  • transforming means for transforming said auditory sensory message into a visual message
  • Said support is advantageously of the telescope or equivalent type, and comprises an anterior arch with a nasal support, said anterior arch having two lateral branches articulated at the ends of said anterior arch.
  • said member for projecting said visual message comprises two projectors respectively mounted on said lateral branches, each of said projectors being arranged to project at least a portion of said visual message corresponding to said auditory sensory message.
  • the device comprises means for sensing at least one pupil movement of the user, means for interpreting said at least one pupillary movement and means for executing a projection command of said visual message according to the interpretation of said pupillary movement.
  • Said means for executing a projection command of said visual message can be directly coupled to said projectors arranged to project at least a portion of said visual message.
  • said at least one sensor arranged to capture said auditory sensory message is a directional microphone mounted on the front portion of said support.
  • the device comprises an electronic unit powered by a source of electrical energy, said electronic circuit comprising a first module, said storage module, which is arranged to store temporarily and in real time the auditory sensory message, a second module, said transcription module arranged to transcribe the auditory message into visual data, a third module, called control module, which is arranged to receive and interpret the pupillary command message and develop the corresponding visual message, and a fourth module , said triggering module of the display, arranged to perform the display of the message corresponding to the pupil control.
  • a source of electrical energy said electronic circuit comprising a first module, said storage module, which is arranged to store temporarily and in real time the auditory sensory message, a second module, said transcription module arranged to transcribe the auditory message into visual data, a third module, called control module, which is arranged to receive and interpret the pupillary command message and develop the corresponding visual message, and a fourth module , said triggering module of the display, arranged to perform the display of the message corresponding to the pupil control.
  • At least one of said first module, said storage module, second module, said transcription module, third module, said control module and fourth module, said module for triggering the display of said electronic circuit is relocated relative to to the support of the device and comprises means for transmitting and receiving information from a device external to the device.
  • the device preferably comprises a display device mounted on said front arc arranged to display said visual message in the form of a signal of words and written sentences and / or informative acronyms.
  • This display device may comprise a screen comprising at least two lines, arranged to display said visual message in static, scrolling, single or repetitive, direct or delayed form.
  • This display device may be arranged, in another arrangement, for projecting said visual message directly onto the upper part of the glasses.
  • FIG. 1 is a schematic overview illustrating all the Essential components of the device according to the invention
  • Figure 2 is a schematic view illustrating the essential steps of the method of the invention, according to a first embodiment
  • Figure 3 is a schematic view illustrating the essential steps of the process of the invention. invention, according to a second embodiment.
  • the device comprises several components making it possible, on the one hand, to pick up a voice information, to transcribe this voice information into a visual information, on the other hand to display the said visual information in the visual field of a user, to the request of the latter, if necessary to scroll the visual information in a predetermined area of said field of vision.
  • the information can be stored, its display can be static, but preferably mobile and scrolling can be triggered instantly or with a delay defined in advance, or repeated, so that the user can access at any time to information when he judges necessary depending on the degree of understanding of the communicated voice information.
  • the device 10 comprises a support 11 arranged to carry all the functional elements involved in performing the functions mentioned above.
  • the support 11 is advantageously constituted by a spectacle frame or equivalent presenting as an anterior arch 12 provided with a nasal support 13 and two lateral branches 14 and 15 which are articulated at the ends of the anterior bow 12. It can also be constituted by an independent piece which is fixed by means of rapid connection on a conventional telescope support.
  • the front arch 12 is arranged to be at the height of the eyebrow line, higher than the crossbar of conventional eyeglass frames.
  • the support 11 carries two very directional microphones 16 and 17 which are mounted on either side of the nasal support 13 of the anterior arch 12 and which preferentially pick up the sounds emitted by an interlocutor present in front of the user.
  • the front arch 12 is advantageously arranged at the level of the eyebrows of the user and, in its upper part, has a rectilinear strip 18, of sufficient height to allow at least two writing lines to be put in place, said strip 18 constituting a screen on which is projected visual information that transcribes the voice information that the hearing-impaired user has difficulty hearing and / or understanding.
  • the voice information received is processed by an electronic unit 19 which comprises different sectors having different functions. This electronic unit is, in the example shown in Figure 1, integrated in one of the branches 15 of the support 11.
  • a first module 19a said storage module, stores the auditory signal in real time.
  • a second module 19b said transcription module is arranged to transcribe the auditory message into visual data, for example in the form of a signal words and written sentences, which can be scrolling.
  • a third module 19c called the command interpretation module, prepares the visual message to be displayed as a function of the command command transmitted by pupillary motion detectors 25 and 26.
  • a fourth module 19d called the trigger module of FIG. display, transmits the visual message to two projectors 20 and 21, and triggers the display of the visual message on the anterior arc 18, or on the glasses 23 and 24 of the spectacle support 11.
  • the projectors 20, 21 are arranged to project said words and said sentences on said strip 18.
  • the strip has two lines 18a and 18b
  • one of the lines for example the upper line 18a ensures the display in a scrolling form of the information communicated, the lower line 18b being assigned to the display of additional information, useful for understanding the message, this additional information can for example be a translation into a foreign language of the common message ication, or the display of acronyms.
  • the scrolling display is substantially like a prompter.
  • the signal transmission of said fourth module 19d, said display triggering module to the projectors 20, 21 may also be made by a wired connection.
  • the fourth module 19d can also transmit the information on a mobile phone or a tablet or other equipment provided with a display screen 30, as shown in Figure 3, disposed away from the support 11, being understood that in this case means of communication between the relocated components and integrated components should be provided.
  • the electronic unit 19 is powered by a source of electrical energy 22, preferably a rechargeable battery, located for example in the branch Lateral arch 12 also serves as a support for spectacle lenses 23, 24.
  • a source of electrical energy 22 preferably a rechargeable battery, located for example in the branch Lateral arch 12 also serves as a support for spectacle lenses 23, 24.
  • the spectacle lenses can be mounted directly on the frame and the support 11 of the device 10 does not wear the spectacle lenses, but only serves to carry the functional components of the device 10.
  • the communication evoked with a mobile phone or a tablet or any other equipment provided with a display screen makes it possible to transfer the sound signal to a signal processing apparatus integrated in these devices, but also to receive from it a signal in return, in the form of a sentence written in a suitable language, or particular acronyms, which can be displayed by the screen of the strip 18.
  • the first module 19a, said memory module of the electronic unit 19 is arranged to memorize the auditory information, the third module 19c, said command interpreting module, and the fourth module, said display jitter module, are arranged to reuse the data stored by the module 19a so as to delay, if necessary, some seconds the display of this information transcribed in written form.
  • the fourth module 19d said triggering module of the display is arranged to allow the display, possibly by scrolling the transcribed visual message, if necessary, delayed or repeated with possibly a translation, at the request of the user.
  • the triggering of the operation is done at the request of the user by the detection of a predetermined movement of his eyeball, using at least one pupil movement detector 25, 26, placed on the inner face of the anterior arch 12 in front of each eye.
  • a management software of the device allows the user to select operating options relating for example to the display of information transcribed from the sound to the visual, such as the activation of the display mode static, the interlocking of scrolling display mode, the repetition of information, the choice of a language of translation, the complete transcription of a telephone conversation.
  • the active pupillary movement could for example be an upward movement having a first meaning which is the order to start a projection, a displacement to the left having a second meaning as the control of a temporal shift, a displacement to the right having a third meaning as the control of a scrolling acceleration, a downward movement having a fourth meaning as input in the menu of choice of display options and validation thereof.
  • FIG. 2 illustrates the main operating steps of the device 10, when configured in accordance with a first variant.
  • the first step is to capture the auditory sensory message by two very directional microphones 16 and 17 and send them on the electronic circuit 19, more precisely on the first module 19a of this circuit which serves as a receiver, powered by a source of electric current 22.
  • the auditory sensory message is transformed into a visual message by module 19b.
  • the link between the microphones 16, 17 and the electronic circuit can be provided by a cable mounted in the support 11.
  • the module 19c is designed to interpret a control signal transmitted by the pupil movement detectors 25, 26.
  • the module 19d said display triggering module, triggers the display of this message, according to the interpretation performed by the pupillary movement detectors 25, 26.
  • the display can be broken down into two complementary message elements C1 and C2 by transmission to the projectors 20 and 21 which project it on a line 18a or on two lines 18a and 18b of a screen carried by the display panel 18.
  • Figure 3 illustrates the main operating steps of the device 10, when configured as shown in Figure 3, consisting of a second embodiment.
  • the functional components are the same in this embodiment, but part of the functionalities is relocated in a mobile phone or in a tablet or the like, provided with a transmitter / receiver 31, so that the transcription of the message can have means complementary computer systems that improve the capabilities of the device to fulfill its function of aiding comprehension.
  • the electronic module is a module 19 'which has the function of a transceiver, arranged to communicate the voice message of the microphones 16 and 17, on the delocalized element, namely the portable 30, via its own transceiver 31.
  • the module 19 'carried by the branch 15 of the device 10 comprises, in this case a module 19'a which has the functions of transmitter / receiver, a module 19'c, identical to the module 19c of the first variant, namely the interpretation of the pupillary movement and a module 19'd, identical to the module 19d of the first variant, namely the control of the display.
  • the transformation of the voice message into a visual message and the eventual addition of additional data or the transformation of the signals takes place on an apparatus outside the device 10.
  • the visual message which is in one or two sentences, or the sign displayed corresponds to the last few seconds passed and recorded by the hearing aid. The user can then check that he has heard the message sound without error, thus ensuring a perfect understanding, even in the absence of a total perception.
  • This mode of operation can be used for situations requiring a perfect understanding, even though there is no defect of perception.
  • This is the case of a conversation between two people of different languages when the user does not perfectly control the language of the interlocutor.
  • the first line is used to display the message in the language of the interlocutor and allows the user to check that he has perceived the right word, and so to improve in this language. He can also use the second line to show the translation of the top line in his own language, thus ensuring good understanding even when he does not speak the language at all.
  • the device can be used by a person with total or partial deafness for all acts of everyday life, including the perception of alarms or for verbal communication, telephone; by a person with cognitive impairment, for example dementia or Alzheimer's disease that does not make it possible to understand the meaning of the sound signal; by a person working remotely from a command transmitter or in a noisy environment that does not allow a good understanding of a sound signal.
  • the device could be used as a teleprompter, for speakers, actors, in the theater, for learning music, a line displaying the score, the second its literal translation or the like.
  • the device may be arranged to be connected via the electronic unit 19, for example of the "Bluetooth" transceiver type, to any external device having a suitable connection and to receive an auditory signal to be processed. in the same way and according to the same procedure as the signal coming from the microphones 16 and 17.
  • This variant makes it possible in particular to visually process a telephone communication, or a remote order given on a building site by a walkie-talkie for example, or any other auditory or electrical means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

La présente invention concerne un procédé pour aider un malentendant à comprendre un message sensoriel auditif en transformant le message auditif en un message visuel et, en projetant ce message sur un support dans le pian visuel du malentendant. Elle concerne également un dispositif (10) comportant des moyens pour transformer ledit message sensoriel auditif en un message visuel et des moyens pour le projeter sur une surface positionnée dans le champ visuel dudit utilisateur. Ce dispositif comporte un support (1 1) portant un capteur en forme de microphones (16, 17) pour capter ledit message, des moyens d'enregistrement et de mémorisation (19) pour enregistrer, mémoriser en temps réei le message auditif, et le transformer en message visuel, un écran (18) placé dans le champ visuel de l'utilisateur, au moins un projecteur (20, 21 ) pour projeter le message visuel sur ledit écran ainsi qu'un capteur d'un mouvement pupiilaire de l'utilisateur, des moyens pour interpréter le mouvement pupillaire de l'utilisateur en une commande d'affichage du message visuel, et des moyens pour exécuter ladite commande en projetant ledit message visuel.

Description

PROCEDE ET DISPOSITIF POUR AIDER A COMPRENDRE UN MESSAGE SENSORIEL AUDITIF EN LE TRANSFORMANT EN UN MESSAGE VISUEL
Domaine technique
La présente invention concerne un procédé pour aider, notamment une personne malentendante, à comprendre un message sensoriel auditif en transformant ledit message sensoriel auditif en un message visuel et en le projetant sur une surface positionnée dans le champ visuel de ladite personne malentendante.
Elle concerne également un dispositif de mise en œuvre du procédé pour aider, notamment une personne malentendante, à comprendre un message sensoriel auditif, comportant des moyens pour transformer ledit message sensoriel auditif en un message visuel et des moyens pour le projeter sur une surface positionnée dans le champ visuel de ladite personne malentendante.
Technique antérieure
Dans certaines situations, un individu peut avoir des difficultés à percevoir un message auditif, rendant sa compréhension impossible ou aléatoire. Le problème est généralement dû à un défaut physique, comme par exemple une surdité naissante liée à l'âge ou suite à un accident ou une maladie, se manifestant souvent par la diminution de la sensibilité de l'oreille à certaines fréquences. Ce qui est souvent considéré comme le remède à ce défaut de compréhension, est la prescription par un spécialiste, d'une prothèse auditive en vue d'amplifier le son dans le but de faciliter la perception du message. Or l'amplification du volume sonore ne résout pas tous les problèmes, notamment lorsque l'un des problèmes est lié, pour l'individu concerné, à la perte sélective de certaines tranches de fréquences auditives. L'amplification sonore ne permet pas de recréer les fréquences manquantes. En outre, la compréhension aléatoire évoquée ci-dessus, n'est pas perçue comme telle par l'individu, ni même par l'interlocuteur, et peut conduire à des erreurs d'interprétation aux conséquences plus ou moins fâcheuses.
Les dispositifs auditifs actuels conseillés ou prescrits pour pallier ces inconvénients sont pour la plupart inefficaces, et sont de ce fait souvent abandonnés par l'utilisateur qui ne trouve pas la réponse à son problême. En particulier, la fatigue provoquée par l'excès de concentration nécessaire lors de l'utilisation de ces appareils auditifs, induit un risque supplémentaire de défaut de compréhension.
Les situations sont variées, mais on peut en isoler certaines :
un sujet présentant une hypoacousie plus ou moins importante allant jusqu'à une surdité totale ;
un sujet percevant un message auditif noyé dans une ambiance sonore perturbante, par exemple sur un lieu de travail en milieu industriel bruyant, ou en milieu ouvert collectif;
un sujet ne maîtrisant pas suffisamment la langue de son interlocuteur peut ne pas en isoler correctement les phonèmes et être incapable de reconnaître les mots prononcés.
Toutes ses situations mettent la personne concernée dans un inconfort se traduisant par une incapacité à répondre ou à participer à une conversation par incompréhension.
La seule alternative consiste alors à demander à l'interlocuteur de répéter ce qu'il vient de dire, parfois plusieurs fois, avec un risque d'erreur de compréhension qui demeure et devient de plus en plus embarrassant pour la personne qui doit répondre. Il se peut que l'interlocuteur se lasse et abandonne la conversation. Le malentendant ou «mal-comprenant» est encore plus mal à l'aise dans cette situation et peut avoir rapidement tendance à l'isolement, ou à se contenter d'une compréhension partielle, avec des conséquences parfois graves et préjudiciables. S'agissant d'un problème de surdité plus ou moins importante, il existe des dispositifs auditifs agissant comme des amplificateurs de son sur l'ensemble de la bande passante ou plus spécifiquement sur certaines fréquences déficitaires en fonction du type de surdité. Le bénéfice de ces appareils est variable voire aléatoire. L'augmentation de l'intensité des informations sonores est plus ou moins globale, avec l'inconvénient d'augmenter aussi bien l'information pertinente que le bruit de fond, même si certains dispositifs tentent avec plus ou moins de bonheur d'y remédier. Ainsi, la fatigue auditive est importante dans une ambiance très sonore, surtout lorsque plusieurs interlocuteurs parlent en même temps. Il ne faut pas oublier que le malentendant n'a plus l'habitude de ce bruit de fond et se voit sollicité tout d'un coup avec ces appareils par un environnement très bruyant qui l'oblige à être dans un état d'extrême vigilance pour extraire l'information pertinente. Bien souvent les malentendants qui ne supportent pas cette fatigue auditive abandonnent leur prothèse auditive et se réfugient dans un silence plus confortable, au prix d'un isolement social progressif. L'habitude prise de cet isolement est moins perturbante pour eux que la fatigue auditive ou l'éventuel sentiment de honte et de culpabilité que provoque une compréhension aléatoire. Certains équipements utilisent des techniques de stimulation nerveuse se substituant à la stimulation acoustique. A titre d'exemple l'ostéologie qui assure une transmission vibratoire par l'os lui-même ou l'implantation cochléaire directe. Outre le fait d'être des techniques invasives et traumatisantes, elles présentent l'inconvénient de remplacer l'information sonore naturelle par une information sensorielle d'un type inconnu et imposent, de ce fait, un long apprentissage orthophonique qui peut durer parfois plus d'un an, pour une efficacité de substitution qui reste souvent partielle et très éloignée de (a perception auditive naturelle. Beaucoup de malentendants refusent ces techniques.
La plupart des techniques existantes propose de tenter d'améliorer la perception de l'information sonore, au prix d'une amplification du son ou de l'utilisation d'une sensibilité non naturelle, toutes deux perturbantes pour l'intéressé. Mais le problème posé n'est pas tant la perception de l'information sonore que la compréhension intellectuelle de cette information. A ce propos, le brevet américain N° 5, 475,798 décrit un dispositif d'aide à la compréhension qui permet de transcrire une information vocale en une information écrite et d'afficher ladite information écrite sur un support disposé dans le champ visuel de l'utilisateur. Les différentes variantes proposées de réalisation de l'appareil sont relativement encombrantes et ne permettent pas de déclencher l'affichage de l'information écrite de manière automatique, sur simple demande de l'utilisateur, ce qui complique l'utilisation et diminue le confort de l'usage dudit appareil ainsi d'ailleurs que son encombrement. Cet appareil doit obligatoirement être enclenché manuellement par l'utilisateur avant d'être utilisé. Or la personne malentendante ne sait pas à quel moment elle va nécessiter une aide à la compréhension, car il peut s'agir d'un simple mot mal entendu dans une phrase prononcée par un interlocuteur ou d'une incompréhension partielle au cours d'un entretien ou d'une conférence. Il est impératif que l'appareil soit disponible en permanence et que les données puissent être réécoutées ou transcrites par l'utilisateur, même après un premier affichage.
Exposé de l'invention
La présente invention propose de résoudre ces problèmes en offrant un appareil simplifié, facile à utiliser, permettant à l'utilisateur de disposer d'une information visuelle qui traduit une information vocale mal perçue ou mal interprétée, cette transcription ou traduction s'effectuant de manière quasi automatique, discrète par rapport à l'environnement, sans intervention spécifique, et offrant des applications complémentaires, comme celle d'apporter une aide à la compréhension de langues inconnues ou mal maîtrisées par l'utilisateur. Enfin la diversité des problèmes qui peuvent se poser, comme la mauvaise traduction d'une langue, la mauvaise compréhension d'un terme ou d'une expression, nécessite un appareil polyvalent, instantanément disponible, discret et fiable, l'ensemble étant concentré sur un dispositif qui combine toutes les fonctions.
A cet effet le procédé selon l'invention est caractérisé en ce que l'on capte ledit message sensoriel auditif au moyen d'au moins un capteur monté sur un support du type lunette ou équivalent, en ce que l'on transforme ledit message sensoriel auditif en un message visuel, en ce que l'on enregistre ledit message auditif, en ce que l'on projette ledit message visuel suite à une commande de l'utilisateur, sur un écran solidaire dudit support du type lunette ou équivalent, placé dans le champ visuel dudit utilisateur, en ce que ladite commande de l'utilisateur est effectuée par au moins un mouvement pupillaire de l'utilisateur et en ce que la projection du message visuel est effectuée sous forme statique, en défilement, unique ou répétitive, directe ou retardée, en fonction de ladite commande de l'utilisateur, captée par un organe de détection dudit mouvement pupillaire.
D'une manière préférentielle, la projection du message visuel est effectuée sur au moins deux lignes d'affichage, la première ligne étant affectée à l'affichage de la transcription visuelle du message auditif, la deuxième ligne étant affectée à une information complémentaire utile pour la compréhension dudit message.
Ladite information complémentaire utile pour la compréhension dudit message peut être une traduction dudit message auditif dans une langue du choix de l'utilisateur.
De façon avantageuse, la projection du message visuel peut être effectuée avec un décalage prédéterminé par rapport à la communication dudit message auditif. En outre le dispositif selon l'invention est caractérisé en ce qu'il comporte : un support agencé pour porter l'ensemble des éléments fonctionnels qui interviennent pour remplir les fonctions du procédé, ledit ensemble d'éléments fonctionnels comportant ;
au moins un capteur agencé pour capter ledit message sensoriel auditif et monté sur ledit support,
des moyens d'enregistrement et de mémorisation pour enregistrer et mémoriser en temps réel ledit message auditif,
des moyens de transformation pour transformer ledit message sensoriel auditif en un message visuel,
- un écran solidaire dudit support et placé dans le champ visuel dudit utilisateur,
au moins un organe pour projeter ledit message visuel sur ledit écran du type lunette ou équivalent,
au moins un capteur d'un mouvement pupillaire de l'utilisateur,
- des moyens pour interpréter un mouvement pupillaire de l'utilisateur en une commande d'affichage dudit message visuel, et
des moyens pour exécuter ladite commande en projetant ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
Ledit support est avantageusement du type lunette ou équivalent, et comprend un arc antérieur avec un support nasal, ledit arc antérieur portant deux branches latérales articulées aux extrémités dudit arc antérieur. Selon un mode de réalisation préféré, ledit organe pour projeter ledit message visuel comporte deux projecteurs respectivement montés sur lesdites branches latérales, chacun desdits projecteurs étant agencé pour projeter au moins une partie dudit message visuel correspondant audit message sensoriel auditif. Selon le mode de réalisation préféré, le dispositif comporte des moyens pour capter au moins un mouvement pupillaire de l'utilisateur, des moyens pour interpréter ledit au moins un mouvement pupillaire et des moyens pour exécuter une commande de projection dudit message visuel en fonction de l'interprétation dudit mouvement pupillaire.
Lesdits moyens pour exécuter une commande de projection dudit message visuel peuvent être directement couplés audits projecteurs agencés pour projeter au moins une partie dudit message visuel.
De façon avantageuse, ledit au moins un capteur agencé pour capter ledit message sensoriel auditif est un microphone directif monté sur la partie frontale dudit support.
Selon une forme de réalisation préférée, le dispositif comporte une unité électronique alimentée par une source d'énergie électrique, ledit circuit électronique comportant un premier module, dit module de mémorisation, qui est agencé pour mémoriser temporairement et en temps réel le message sensoriel auditif, un deuxième module, dit module de transcription agencé pour transcrire le message auditif en données visuelles, un troisième module, dit module de commande, qui est agencé pour recevoir et interpréter le message de commande pupillaire et élaborer le message visuel correspondant, et un quatrième module, dit module de déclenchement de l'affichage, agencé pour réaliser l'affichage du message correspondant à la commande pupillaire.
De manière avantageuse, au moins un desdits premier module, dit module de mémorisation, deuxième module, dit module de transcription, troisième module, dit module de commande et quatrième module, dit module de déclenchement de l'affichage dudit circuit électronique est délocalisé par rapport au support du dispositif et comporte des moyens pour transmettre et recevoir des informations d'un équipement extérieur au dispositif. Le dispositif comporte préférentiellement un dispositif d'affichage monté sur ledit arc antérieur agencé pour afficher ledit message visuel sous la forme d'un signal de mots et de phrases écrites et/ou de sigles informatifs. Ce dispositif d'affichage peut comporter un écran comprenant au moins deux lignes, agencées pour afficher ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée. Ce dispositif d'affichage peut être agencé, selon une autre disposition, pour projeter ledit message visuel directement sur la partie haute des verres.
Description sommaire des dessins
La présente invention et ses avantages apparaîtront mieux dans la description ci-dessous d'un mode de réalisation donné à titre d'exemple non limitatif, en référence aux dessins annexés dans lesquels : la figure 1 est une vue schématique d'ensemble illustrant tous les composants essentiels du dispositif selon l'invention, la figure 2 est une vue schématique illustrant les étapes essentielles du procédé de l'invention, selon un premier mode de réalisation, et la figure 3 est une vue schématique illustrant les étapes essentielles du procédé de l'invention, selon un second mode de réalisation.
Meilleures manières de réaliser l'invention
Le dispositif selon l'invention comporte plusieurs composants permettant d'une part de capter une information vocale, de transcrire cette information vocale en une information visuelle, d'autre part d'afficher ladite information visuelle dans le champ visuel d'un utilisateur, à la demande de ce dernier, le cas échéant de faire défiler l'information visuelle dans une zone prédéterminée dudit champ visuel. L'information peut être mémorisée, son affichage peut être statique, mais de préférence mobile et le défilement peut être déclenché instantanément ou avec un retard défini à l'avance, voire répété, de telle manière que l'utilisateur puisse accéder à tout moment à l'information lorsqu'il le juge nécessaire en fonction du degré de compréhension de l'information vocale communiquée.
Il est essentiel que la mise à la disposition de l'utilisateur des données visuelles se fasse de manière efficace, quasi automatique et discrète afin que l'utilisateur ne soit pas pénalisé par le handicap d'une mauvaise perception auditive ou d'une mauvaise compréhension du message vocal et qu'il puisse participer à une discussion, voire participer à un débat de façon normale. En référence aux figures et en particulier à la figure 1, le dispositif 10 comporte un support 11 agencé pour porter l'ensemble des éléments fonctionnels qui interviennent pour remplir les fonctions évoquées ci-dessus. Le support 11 est avantageusement constitué d'une monture de lunette ou équivalente se présentant comme un arc antérieur 12 pourvu d'un support nasal 13 et de deux branches latérales 14 et 15 qui sont articulées aux extrémités de l'arc antérieur 12. Il peut également être constitué d'une pièce indépendante qui se fixe par des moyens de liaison rapide sur un support de lunette classique. L'arc antérieur 12 est disposé de façon à se trouver à la hauteur de la ligne des sourcils, soit plus haut que la barre transversale des montures de lunettes classiques.
Le support 11 porte deux microphones 16 et 17, très directionnels qui sont montés de part et d'autre du support nasal 13 de l'arc antérieur 12 et qui captent préférentiellement les sons émis par un interlocuteur présent devant l'utilisateur. L'arc antérieur 12 est avantageusement disposé au niveau des sourcils de l'utilisateur et ménage, dans sa partie haute un bandeau 18 rectiligne, ayant une hauteur suffisante pour permettre la mise en place d'au moins deux lignes d'écriture, ledit bandeau 18 constituant un écran sur lequel est projetée l'information visuelle qui transcrit l'information vocale que l'utilisateur malentendant a de la peine à entendre et/ou à comprendre. Les informations vocales captées sont traitées par une unité électronique 19 qui comporte différente secteurs ayant différentes fonctions. Cette unité électronique est, dans l'exemple représenté par la figure 1 , intégrée dans une des branches 15 du support 11. Un premier module 19a, dit module de mémorisation, mémorise le signal auditif en temps réel. Un deuxième module 19b, dit module de transcription est agencé pour transcrire le message auditif en données visuelles par exemple sous la forme d'un signal de mots et de phrases écrites, pouvant être défilantes. Un troisième module 19c, dit module d'interprétation de la commande, prépare le message visuel à afficher en fonction de l'ordre de commande transmis par des détecteurs de mouvement pupillaire 25 et 26. Un quatrième module 19d, dit module de déclenchement d'affichage, transmet le message visuel à deux projecteurs 20 et 21 , et déclenche l'affichage du message visuel sur l'arc antérieur 18, ou sur les verres 23 et 24 du support de lunettes 11. Les projecteurs 20, 21 sont agencés pour projeter lesdits mots et lesdites phrases sur ledit bandeau 18. Lorsque le bandeau comporte deux lignes 18a et 18b, l'une des lignes, par exemple la ligne supérieure 18a assure l'affichage sous une forme défilante de l'information communiquée, la ligne inférieure 18b étant affectée à l'affichage d'une information complémentaire, utile pour la compréhension du message, cette information complémentaire pouvant par exemple être une traduction, dans une langue étrangère du message communiqué, ou l'affichage de sigles informatifs. L'affichage défilant se fait sensiblement comme un prompteur. La transmission du signal dudit quatrième module 19d, dit module de déclanchement d'affichage vers les projecteurs 20, 21 peut également être faite par une liaison câblée. Le quatrième module 19d, peut également transmettre l'information sur un téléphone portable ou une tablette ou tout autre équipement pourvu d'un écran d'affichage 30, comme le montre la figure 3, disposé à l'écart du support 11 , étant entendu que dans ce cas des moyens de communication entre les composants délocalisés et les composants intégrés devront être prévus.
L'unité électronique 19 est alimentée par une source d'énergie électrique 22, de préférence une batterie rechargeable, localisée par exemple dans la branche latérale 14 au moyen d'un câblage intégré au support 11. L'arc antérieur 12 sert également de support à des verres de lunettes 23, 24. Dans le cas où le support est porté par une monture de lunette classique, les verres de lunettes peuvent montés directement sur la monture et le support 11 du dispositif 10 ne porte pas les verres de lunettes, mais sert uniquement à porter les composants fonctionnels du dispositif 10.
La communication évoquée avec un téléphone portable ou une tablette ou tout autre équipement pourvu d'un écran d'affichage permet de transférer le signal sonore à un appareil de traitement du signal intégré dans ces appareils, mais aussi de recevoir de celui-ci un signal en retour, sous forme d'une phrase écrite dans une langue adaptée, ou de sigles particuliers, pouvant être affichés par l'écran du bandeau 18. Le premier module 19a, dit module de mémorisation de l'unité électronique 19 est agencé pour mémoriser les informations auditives, le troisième module 19c, dit module d'interprétation de commande, et le quatrième module, dit module de décianchement d'affichage, sont agencés pour réutiliser les données mémorisées par le module 19a de façon à retarder, si nécessaire de quelques secondes l'affichage de ces informations transcrites sous forme écrite.
Le quatrième module 19d, dit module de déclenchement de l'affichage est agencé pour permettre l'affichage, éventuellement en faisant défiler le message visuel transcrit, le cas échéant, retardé ou répété avec éventuellement une traduction, à la demande de l'utilisateur. Le déclenchement de l'opération se fait à la demande de l'utilisateur par la détection d'un mouvement prédéterminé de son globe oculaire, à l'aide d'au moins un détecteur de mouvement pupillaire 25, 26, placé à la face interne de l'arc antérieur 12 en face de chaque œil. Un logiciel de gestion du dispositif permet à l'utilisateur de sélectionner des options de fonctionnement concernant par exemple l'affichage de l'information transcrite du phonique au visuel, comme l'enclenchement du mode d'affichage statique, l'enclenchement du mode d'affichage défilant, la répétition d'une information, le choix d'une langue de traduction, la transcription intégrale d'une conversation téléphonique. Le mouvement pupillaire actif pourrait par exemple être un déplacement vers le haut ayant une première signification qui est l'ordre de démarrer une projection, un déplacement vers la gauche ayant une deuxième signification comme la commande d'un décalage temporel, un déplacement vers la droite ayant une troisième signification comme la commande d'une accélération du défilement, un déplacement vers le bas ayant une quatrième signification comme entrée dans le menu de choix des options d'affichage et validation de celles-ci.
D'autres possibilités peuvent être développées, comme celle qui consiste à faire apparaître au moins un signal lumineux à la perception d'un interlocuteur pour attirer l'attention de l'utilisateur, celle consistant à effectuer une description écrite d'une ambiance sonore anormale, celle consistant à afficher des sigles d'alerte pour certains sons, comme par exemple la sonnerie de téléphone, la sonnette d'une porte, le réveil, un niveau sonore anormalement élevé, un véhicule en approche, un fracas de verre, de métal, un feu, de l'eau qui bout, de l'eau qui coule, un orage, la chute d'un objet, le bruit d'une personne, des aboiements, ou celle de communiquer par écrit des ordres transmis par voie orale.
La figure 2 illustre les principales étapes de fonctionnement du dispositif 10, lorsqu'il est configuré conformément à une première variante. La première étape consiste à capter le message sensoriel auditif par deux microphones 16 et 17 très directionnels et de les envoyer sur le circuit électronique 19, plus exactement sur le premier module 19a de ce circuit qui sert de récepteur, alimenté par une source de courant électrique 22. Le message sensoriel auditif est transformé en un message visuel par le module 19b. La liaison entre les microphones 16, 17 et le circuit électronique peut être assurée par un câble monté dans le support 11. Le module 19c est conçu pour interpréter un signal de commande transmis par les détecteurs de mouvement pupillaire 25, 26. Le module 19d, dit module de déclenchement d'affichage, déclenche l'affichage de ce message, en fonction de l'interprétation effectuée par les détecteurs de mouvement pupillaire 25, 26. L'affichage peut être décomposé en deux éléments de messages complémentaires C1 et C2 par transmission aux projecteurs 20 et 21 qui le projettent sur une ligne 18a ou sur deux lignes 18a et 18b d'un écran porté par le bandeau d'affichage 18.
La figure 3 illustre les principales étapes de fonctionnement du dispositif 10, lorsqu'il est configuré comme te montre la figure 3, constitué par une seconde variante de réalisation. Les composants fonctionnels sont les mêmes dans cette réalisation, mais une partie des fonctionnalités est délocalisée dans un téléphone portable 30 ou dans une tablette ou similaire, pourvue d'un émetteur/récepteur 31, de telle manière que la transcription du message peut disposer de moyens informatiques complémentaires qui améliorent les capacités du dispositif pour remplir sa fonction d'aide à la compréhension. Dans cette configuration, le module électronique est un module 19' qui a la fonction d'un émetteur-récepteur, agencé pour communiquer le message vocal des microphones 16 et 17, sur l'élément délocalisé, à savoir le portable 30, via son propre émetteur-récepteur 31. Le module 19' porté par la branche 15 du dispositif 10 comporte, dans ce cas un module 19'a qui a les fonctions d'émetteur/récepteur, un module 19'c, identique au module 19c de la première variante, à savoir l'interprétation du mouvement pupillaire et un module 19'd, identique au module 19d de la première variante, à savoir la commande de l'affichage.
Dans la seconde variante, seule la transformation du message vocal en message visuel et l'éventuel ajout de données complémentaires ou la transformation des signaux s'effectue sur un appareil extérieur au dispositif 10. Le message visuel, qui est en une ou deux phrases, ou le sigle affiché correspond aux quelques dernières secondes passées et enregistrées par le capteur auditif. L'utilisateur peut alors vérifier qu'il a bien entendu le message sonore sans erreur, assurant ainsi une parfaite compréhension, même en absence d'une perception totale.
Ce mode de fonctionnement peut être utilisé pour des situations demandant une compréhension parfaite, alors même qu'il n'existe pas de défaut de perception. C'est le cas d'une conversation entre deux personnes de langues différentes lorsque l'utilisateur ne maîtrise pas parfaitement la langue de l'interlocuteur. Dans ce cas, la première ligne sert à afficher le message dans la langue de l'interlocuteur et permet à l'utilisateur de vérifier qu'il a bien perçu le bon mot, et ainsi de se perfectionner dans cette langue. Il peut aussi utiliser la seconde ligne pour faire apparaître la traduction de la ligne supérieure dans sa propre langue, en assurant ainsi la bonne compréhension même lorsqu'il ne maîtrise pas du tout la langue concernée. L'appareil peut être utilisé par une personne atteinte de surdité totale ou partielle pour tous les actes de la vie courante, notamment la perception des alarmes ou encore pour une communication verbale, téléphonique; par une personne atteinte de troubles cognitifs par exemple de démences ou de la maladie d'Alzheimer ne permettant pas de comprendre la signification du signal sonore ; par une personne effectuant un travail à distance d'un émetteur d'ordre ou dans une ambiance bruyante ne permettant pas une bonne compréhension d'un signal phonique.
L'appareil pourrait être utilisé comme prompteur, pour des conférenciers, des acteurs, au théâtre, pour l'apprentissage de la musique, une ligne affichant la partition, la second sa traduction littérale ou similaire.
L'invention n'est pas limitée aux formes de réalisation décrites et peut se présenter sous différents aspects dans le cadre défini par les revendications. La réalisation et la disposition des différents composants pourraient être modifiées tout en respectant les fonctionnalités de l'appareil. Les applications pourraient être élargies au-delà de l'aide aux personnes atteintes de surdité partielle ou totale. En particulier te dispositif peut être agencé pour être connecté par l'intermédiaire de l'unité électronique 19, par exemple du type émetteur/récepteur « Bluetooth » à tout appareil externe disposant d'une connexion adaptée et pour recevoir un signal auditif à traiter de la même façon et selon la même procédure que le signal provenant des microphones 16 et 17. Cette variante permet en particulier de traiter visuellement une communication téléphonique, ou un ordre donné à distance sur un chantier par un talkie-walkie par exemple, ou tout autre moyen auditif ou électrique.

Claims

Revendications
1.- Procédé pour aider, notamment une personne malentendante, appelée l'utilisateur, à comprendre un message sensoriel auditif en transformant ledit message sensoriel auditif en un message visuel et en le projetant sur une surface positionnée dans le champ visuel dudit utilisateur, caractérisé en ce que l'on capte ledit message sensoriel auditif au moyen d'au moins un capteur monté sur un support du type lunette ou équivalent, en ce que l'on enregistre ledit message auditif en temps réel pour permettre sa réutilisation en temps différé, en ce que l'on transforme ledit message sensoriel auditif en un message visuel, en ce que l'on projette ledit message visuel suite à une commande de l'utilisateur, sur un écran solidaire dudit support du type lunette ou équivalent, placé dans le champ visuel dudit utilisateur, en ce que ladite commande de l'utilisateur est effectuée par au moins un mouvement pupillaire de l'utilisateur et en ce que la projection du message visuel est effectuée sous forme statique, en défilement, unique ou répétitive, directe ou retardée, en fonction de ladite commande de l'utilisateur, captée par un organe de détection dudit mouvement pupillaire.
2.- Procédé pour aider une personne malentendante, selon la revendication 1, caractérisé en ce que la projection du message visuel est effectuée sur au moins deux lignes d'affichage, la première ligne étant affectée à l'affichage de la transcription visuelle du message auditif, la deuxième ligne étant affectée à une information complémentaire utile pour la compréhension dudit message.
3.- Procédé pour aider une personne malentendante, selon la revendication 2, caractérisé en ce que ladite information complémentaire utile pour la compréhension dudit message est une traduction dudit message auditif dans une langue du choix de l'utilisateur.
4.- Procédé pour aider une personne malentendante, selon la revendication 2, caractérisé en ce que la projection du message visuel est effectuée avec un décalage prédéterminé par rapport à la communication dudit message auditif.
5.- Dispositif (10) de mise en œuvre du procédé pour aider, notamment une personne malentendante, appelée l'utilisateur, à comprendre un message sensoriel auditif, comportant des moyens pour transformer ledit message sensoriel auditif en un message visuel et des moyens pour le projeter sur une surface positionnée dans le champ visuel dudit utilisateur, caractérisé en ce qu'il comporte :
un support (11) agencé pour porter l'ensemble des éléments fonctionnels qui interviennent pour remplir les fonctions du procédé, ledit ensemble d'éléments fonctionnels comportant ;
- au moins un capteur (16, 17) agencé pour capter ledit message sensoriel auditif et monté sur ledit support,
- des moyens d'enregistrement et de mémorisation (19a, 19'a) pour enregistrer et mémoriser en temps réel ledit message auditif,
- des moyens de transformation (19b, 19'b) pour transformer ledit message sensoriel auditif en un message visuel,
- un écran solidaire ( 18) dudit support (11 ) et placé dans le champ visuel dudit utilisateur,
- au moins un organe (20, 21) pour projeter ledit message visuel sur ledit écran du type lunette ou équivalent,
- au moins un capteur (25, 26) d'un mouvement pupillaire de l'utilisateur, - des moyens pour interpréter (19c, 19'c) un mouvement pupillaire de l'utilisateur en une commande d'affichage dudit message visuel,
- et des moyens (19d, 19'd) pour exécuter ladite commande en projetant ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
6.- Dispositif selon la revendication 5, caractérisé en ce que ledit support est du type lunette ou équivalent, et comprend un arc antérieur (12) avec un support nasal (13), ledit arc antérieur portant deux branches latérales (14, 15) articulées aux extrémités dudit arc antérieur (12).
7.- Dispositif selon la revendication 5, caractérisé en ce que ledit organe pour projeter ledit message visuel comporte deux projecteurs (20, 21) respectivement montés sur lesdites branches latérales (14, 15), chacun desdits projecteurs étant agencé pour projeter au moins une partie dudit message visuel correspondant audit message sensoriel auditif.
8.- Dispositif selon la revendication 5, caractérisé en ce qu'il comporte des moyens (25, 26) pour capter au moins un mouvement pupillaire de l'utilisateur, des moyens pour interpréter ledit au moins un mouvement pupillaire et des moyens pour exécuter une commande de projection dudit message visuel en fonction de l'interprétation dudit mouvement pupillaire.
9. - Dispositif selon les revendications 5 et 7, caractérisé en ce que lesdits moyens (19d, 19'd) pour exécuter une commande de projection dudit message visuel sont couplés audits projecteurs (20, 21) agencés pour projeter au moins une partie dudit message visuel.
10. - Dispositif selon la revendication 5, caractérisé en ce que ledit au moins un capteur agencé pour capter ledit message sensoriel auditif est un microphone directif (20, 21) monté sur la partie frontale dudit support.
11.- Dispositif selon la revendication 5, caractérisé en ce qu'il comporte une unité électronique (19) alimentée par une source d'énergie électrique (22), ledit circuit électronique comportant un premier module (19a), dit module de mémorisation, qui est agencé pour mémoriser temporairement et en temps réel le message sensoriel auditif, un deuxième module (19b), dit module de transcription agencé pour transcrire le message auditif en données visuelles, un troisième module (19c), dit module de commande, qui est agencé pour recevoir et interpréter le message de commande pupillaire et élaborer le message visuel correspondant, et un quatrième module (19d), dit module de déclenchement de l'affichage, agencé pour réaliser l'affichage du message correspondant à la commande pupillaire.
12.- Dispositif selon la revendication 11, caractérisé en ce que, au moins un desdits premier module (19a), dit module de mémorisation, deuxième module (19b), dit module de transcription, troisième module (19c), dit module de commande et quatrième module (19d), dit module de déclenchement de l'affichage dudit circuit électronique (19) est délocalisé par rapport au support du dispositif (10) et comporte des moyens (30, 31) pour transmettre et recevoir des informations d'un équipement extérieur au dispositif.
13. - Dispositif selon la revendication 5, caractérisé en ce qu'il comporte un dispositif d'affichage (18) monté sur ledit arc antérieur agencé pour afficher ledit message visuel sous la forme d'un signal de mots et de phrases écrites, et/ou de sigies informatifs.
14. - Dispositif selon les revendications 11 à 13, caractérisé en ce que ledit dispositif d'affichage comporte un écran (18) comprenant au moins deux lignes (18a, 18b), agencées pour afficher ledit message visuel sous forme statique, en défilement, unique ou répétitive, directe ou retardée.
15. - Dispositif selon les revendications 11 à 14, caractérisé en ce qu'il est agencé pour être connecté par l'intermédiaire de l'unité électronique (19) du type émetteur/récepteur « Bluetooth » à tout appareil externe disposant d'une connexion adaptée et pour recevoir un signal auditif à traiter de la même façon et selon la même procédure que le signal provenant des microphones (16, 17).
PCT/CH2016/000101 2015-07-15 2016-07-08 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel WO2017008173A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH01030/15A CH711334A2 (fr) 2015-07-15 2015-07-15 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel.
CH01030/15 2015-07-15

Publications (1)

Publication Number Publication Date
WO2017008173A1 true WO2017008173A1 (fr) 2017-01-19

Family

ID=56686595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CH2016/000101 WO2017008173A1 (fr) 2015-07-15 2016-07-08 Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel

Country Status (3)

Country Link
US (1) US20170018281A1 (fr)
CH (1) CH711334A2 (fr)
WO (1) WO2017008173A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204260B4 (de) * 2018-03-20 2019-11-21 Zf Friedrichshafen Ag Auswerteeinrichtung, Vorrichtung, Verfahren und Computerprogrammprodukt für eine hörgeschädigte Person zur umgebungsabhängigen Wahrnehmung eines Schallereignisses
WO2021142242A1 (fr) * 2020-01-08 2021-07-15 Format Civil Engineering Ltd. Systèmes et programmes de visualisation de signaux auditifs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844824A (en) * 1995-10-02 1998-12-01 Xybernaut Corporation Hands-free, portable computer and system
US20120078628A1 (en) * 2010-09-28 2012-03-29 Ghulman Mahmoud M Head-mounted text display system and method for the hearing impaired
US20130289971A1 (en) * 2012-04-25 2013-10-31 Kopin Corporation Instant Translation System
US20140081634A1 (en) * 2012-09-18 2014-03-20 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US20140236594A1 (en) * 2011-10-03 2014-08-21 Rahul Govind Kanegaonkar Assistive device for converting an audio signal into a visual representation
US20140337023A1 (en) * 2013-05-10 2014-11-13 Daniel McCulloch Speech to text conversion
US20150002374A1 (en) * 2011-12-19 2015-01-01 Dolby Laboratories Licensing Corporation Head-Mounted Display
US20150088500A1 (en) * 2013-09-24 2015-03-26 Nuance Communications, Inc. Wearable communication enhancement device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191319A (en) * 1990-10-15 1993-03-02 Kiltz Richard M Method and apparatus for visual portrayal of music
US5285521A (en) * 1991-04-01 1994-02-08 Southwest Research Institute Audible techniques for the perception of nondestructive evaluation information
US5475798A (en) * 1992-01-06 1995-12-12 Handlos, L.L.C. Speech-to-text translator
US5720619A (en) * 1995-04-24 1998-02-24 Fisslinger; Johannes Interactive computer assisted multi-media biofeedback system
US5577510A (en) * 1995-08-18 1996-11-26 Chittum; William R. Portable and programmable biofeedback system with switching circuit for voice-message recording and playback
US6603835B2 (en) * 1997-09-08 2003-08-05 Ultratec, Inc. System for text assisted telephony
US20030191682A1 (en) * 1999-09-28 2003-10-09 Allen Oh Positioning system for perception management
US8248528B2 (en) * 2001-12-24 2012-08-21 Intrasonics S.A.R.L. Captioning system
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
EP1611546B1 (fr) * 2003-04-04 2013-01-02 Icosystem Corporation Procedes et systemes pour le calcul evolutif interactif
US20070168187A1 (en) * 2006-01-13 2007-07-19 Samuel Fletcher Real time voice analysis and method for providing speech therapy
US20090138270A1 (en) * 2007-11-26 2009-05-28 Samuel G. Fletcher Providing speech therapy by quantifying pronunciation accuracy of speech signals
WO2012164291A1 (fr) * 2011-05-31 2012-12-06 Promptcam Limited Appareil et procédé

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844824A (en) * 1995-10-02 1998-12-01 Xybernaut Corporation Hands-free, portable computer and system
US20120078628A1 (en) * 2010-09-28 2012-03-29 Ghulman Mahmoud M Head-mounted text display system and method for the hearing impaired
US20140236594A1 (en) * 2011-10-03 2014-08-21 Rahul Govind Kanegaonkar Assistive device for converting an audio signal into a visual representation
US20150002374A1 (en) * 2011-12-19 2015-01-01 Dolby Laboratories Licensing Corporation Head-Mounted Display
US20130289971A1 (en) * 2012-04-25 2013-10-31 Kopin Corporation Instant Translation System
US20140081634A1 (en) * 2012-09-18 2014-03-20 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US20140337023A1 (en) * 2013-05-10 2014-11-13 Daniel McCulloch Speech to text conversion
US20150088500A1 (en) * 2013-09-24 2015-03-26 Nuance Communications, Inc. Wearable communication enhancement device

Also Published As

Publication number Publication date
US20170018281A1 (en) 2017-01-19
CH711334A2 (fr) 2017-01-31

Similar Documents

Publication Publication Date Title
US20170303052A1 (en) Wearable auditory feedback device
US8902303B2 (en) Apparatus connectable to glasses
US9380374B2 (en) Hearing assistance systems configured to detect and provide protection to the user from harmful conditions
US20150319546A1 (en) Hearing Assistance System
WO2014140800A1 (fr) Appareil et procédé d'exécution de commandes d'un système sur la base de données d'une image capturée
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
JP6555272B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
JP6551417B2 (ja) ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
FR2921735A1 (fr) Procede et dispositif de traduction ainsi qu'un casque mis en oeuvre par ledit dispositif
US20230238001A1 (en) Eyeglass augmented reality speech to text device and method
WO2017008173A1 (fr) Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel
US8817996B2 (en) Audio signal processing system and its hearing curve adjusting unit for assisting listening devices
KR101017421B1 (ko) 청각장애인을 위한 의사 소통 시스템
CN114267224A (zh) 助聋眼镜
US20250149042A1 (en) Speech-to-text captioning system
KR19990030683A (ko) 언어학습자를 위한 언어능력 훈련장치
BE1028137B1 (fr) LUNETTE INTERACTIVE pour SOURD -MUET
IT201800011175A1 (it) Sistema e metodo di ausilio per utenti con disabilità uditiva
EP4504353A1 (fr) Reconnaissance vocale locale et traitement dans un dispositif porté sur la tête
TWM655413U (zh) 聽損輔助系統
FR3000592A1 (fr) Module de reconnaissance vocale
WO2014102354A1 (fr) Systeme de determination de la position dans l'espace de la langue d'un locuteur et procede associe
FR2894754A1 (fr) Dispositif mains-libres pour telephone portable

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16751460

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16751460

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载