+

WO2012002467A1 - 音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体 - Google Patents

音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体 Download PDF

Info

Publication number
WO2012002467A1
WO2012002467A1 PCT/JP2011/064981 JP2011064981W WO2012002467A1 WO 2012002467 A1 WO2012002467 A1 WO 2012002467A1 JP 2011064981 W JP2011064981 W JP 2011064981W WO 2012002467 A1 WO2012002467 A1 WO 2012002467A1
Authority
WO
WIPO (PCT)
Prior art keywords
scale
cochlear implant
music information
melody
sound
Prior art date
Application number
PCT/JP2011/064981
Other languages
English (en)
French (fr)
Inventor
茂良 北澤
Original Assignee
Kitazawa Shigeyoshi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kitazawa Shigeyoshi filed Critical Kitazawa Shigeyoshi
Priority to JP2012522680A priority Critical patent/JPWO2012002467A1/ja
Publication of WO2012002467A1 publication Critical patent/WO2012002467A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0541—Cochlear electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
    • A61N1/36038—Cochlear stimulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0083—Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/20—Selecting circuits for transposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/395—Special musical scales, i.e. other than the 12-interval equally tempered scale; Special input devices therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/555—Tonality processing, involving the key in which a musical piece or melody is played
    • G10H2210/561—Changing the tonality within a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311—MIDI transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/031—Spectrum envelope processing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471—General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G10H2250/481—Formant synthesis, i.e. simulating the human speech production mechanism by exciting formant resonators, e.g. mimicking vocal tract filtering as in LPC synthesis vocoders, wherein musical instruments may be used as excitation signal to the time-varying filter estimated from a singer's speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • H04R25/606—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers acting directly on the eardrum, the ossicles or the skull, e.g. mastoid, tooth, maxillary or mandibular bone, or mechanically stimulating the cochlea, e.g. at the oval window

Definitions

  • the present invention relates to a music information processing apparatus, method, program, music information processing system for cochlear implant, music information manufacturing method and medium for cochlear implant, and in particular, for providing sound such as music to a cochlear implant wearer.
  • the present invention relates to a music information processing apparatus, method, program, cochlear implant music information processing system, cochlear implant music information manufacturing method, and medium.
  • the cochlear implant is provided with a plurality of electrodes in the cochlea, and the voice information sampled through the microphone is classified into channels for each frequency band using a plurality of band pass filters. Then, the audio information for each channel is sent to the electrode as a stimulation command corresponding to the channel to generate an electrical stimulation pulse, and this stimulation pulse is given to the cochlea to reinforce hearing (for example, Reference 1: See US Pat. No. 5,597,380). Specifically, voice conversion is performed in which voice information is converted into stimulation pulses by a voice processor provided in the cochlear implant. As a result, it has become possible for a cochlear implant wearer to recognize words without using reading together.
  • the cochlear implant wearer can recognize words without using reading together, but it recognizes speech such as conversation and has not yet recognized music. For example, when listening to music, there is a case where it cannot be recognized as music as a result of voice conversion by the cochlear implant. This is because, in the cochlear implant, electrical stimulation by a plurality of electrodes provided in the cochlea is due to sound conversion on the premise of sound, and the frequency band of sound information corresponding to the plurality of electrodes is discrete and limited. This is considered to be biased toward a typical frequency range.
  • the present invention has been made in consideration of the above facts, and a music information processing apparatus, method, program, and cochlear implant music that can improve recognition when a cochlear implant wearer listens to music or the like.
  • An object is to provide an information processing system, a method for producing music information for a cochlear implant, and a medium.
  • an electrical stimulation pulse is generated by providing a plurality of electrodes in a cochlea and sending a sound signal corresponding to an input sound to each of the electrodes as a stimulation command. Then, for the cochlear implant that gives the input sound as the stimulation pulse to the cochlea, input means for inputting music information including a melody in which a plurality of musical sounds are continuous, and a main melody from the music information input by the input means.
  • Extracting means for extracting, dividing the main melody in predetermined units, analyzing the scale and pitch constituting the divided melody for each of the divided divided melody, and the scales of the scales arranged in time series of the divided melody
  • Analyzing means for obtaining a scale set consisting of a sequence of pitches and a pitch sequence of pitches, and each electrode provided in the cochlear implant that is in charge of a predetermined frequency band, depending on the frequency represented by the frequency band Associating floors, and making the group of electrodes of the plurality of electrodes as a cochlear implant scale, including the cochlear implant scale, and based on a scale map indicating a sequence of scales according to the magnitudes of fundamental frequency components of a plurality of musical sounds, Transposing means for transposing the scale set so as to include many different scales included in the cochlear implant scale while maintaining the pitch sequence of the scale set substantially, and using the transposed scale set as an extended scale set, the obtained Provided is a music information processing apparatus comprising: conversion means
  • the main melody from music information such as MIDI data by the extracted MIDI is divided by a predetermined unit such as a predetermined time, measure or phrase,
  • the scale and pitch are analyzed with respect to the divided melody, and a scale set including a scale sequence of pitches and a pitch sequence of pitches arranged in time series is obtained.
  • the scale set is transposed so as to include many different scales included in the cochlear implant scale while substantially maintaining the pitch sequence of the obtained scale set.
  • This transposed scale set is defined as an extended scale set.
  • a plurality of scale sets including the cochlear implant scale are searched, and the transposed scale set including the largest number of different scales included in the cochlear implant scale is set as the extended scale set.
  • the transposed scale set including the largest number of different scales included in the cochlear implant scale is set as the extended scale set.
  • the cochlear implant generates the stimulation pulse by classifying sounds into channels for each frequency band using a plurality of band pass filters and sending signals to the electrodes for each corresponding channel.
  • the input means inputs music information further including lyric information along the melody
  • the output means inputs lyric information along the melody to the converted extended scale set. Is provided as an extended scale set.
  • music information further including lyric information along the melody is input, and information in which the lyric information along the melody is associated with the converted extended scale set is output as an extended scale set.
  • the third aspect of the present invention provides a music information processing apparatus further comprising sound generating means for generating a musical sound based on an expanded scale set output from the output means and generating a generated musical sound.
  • a musical tone is generated by generating a musical tone based on the extended scale set output from the output means.
  • the fourth aspect of the present invention provides a music information processing apparatus further comprising transmission means for generating musical sound data based on the extended scale set output from the output means and transmitting the generated musical sound data.
  • the musical sound data is generated based on the extended scale set output from the output means, and the generated musical sound data is transmitted. Accordingly, music can be provided to the cochlear implant wearer by at least one of wireless communication and wired communication. Note that data communication is preferable for communication in this case.
  • an electrical stimulation pulse is generated by providing a plurality of electrodes in the cochlea and sending a sound signal corresponding to an input sound as a stimulation command to each of the electrodes.
  • the cochlear implant that gives the cochlea as the stimulation pulse, an input process for inputting music information including a melody in which a plurality of musical sounds are continuous, and an extraction process for extracting the main melody from the music information input by the input means; Divide the main melody by a predetermined unit, and for each of the divided divided melody, analyze the scale and pitch that constitute the divided melody, and the scale sequence and the pitch of the pitch arranged in the time series of the divided melody
  • An analysis step for obtaining a scale set consisting of a sequence, and each electrode provided in the cochlear implant that is in charge of a sound in a predetermined frequency band, and a scale corresponding to a frequency representative of the frequency band, Based on a scale map that includes a scale group of a plurality of electrodes as a coch
  • an electrical stimulation pulse is generated by providing a plurality of electrodes in the cochlea and sending a sound signal corresponding to an input sound as a stimulation command to each of the electrodes.
  • the scale set is based on a scale map that includes the artificial inner ear scale and indicates the arrangement of the scale
  • a transposition step in which the scale set is transposed so as to include many different scales included in the cochlear implant scale, and the transposed scale set is an extended scale set, and the obtained extended scale is maintained.
  • a music information processing program including a conversion step for converting a scale sequence of a set so as to correspond to a scale included in a predetermined voice band, and an output step for outputting the converted extended scale set.
  • a plurality of electrodes are provided in the cochlea, and an electrical stimulation pulse is generated by sending a sound signal corresponding to the input sound as a stimulation command to each of the electrodes, and the input sound
  • a cochlear implant device that supplies the cochlea as a stimulation pulse and the music information processing device is provided.
  • an electrical stimulation pulse is generated by providing a plurality of electrodes in the cochlea and sending a sound signal corresponding to the input sound as a stimulation command to each of the electrodes.
  • the cochlear implant that gives the cochlea as the stimulation pulse, an input process for inputting music information including a melody in which a plurality of musical sounds are continuous, and an extraction process for extracting the main melody from the music information input by the input means; Divide the main melody by a predetermined unit, and for each of the divided divided melody, analyze the scale and pitch that constitute the divided melody, and the scale sequence and the pitch of the pitch arranged in the time series of the divided melody
  • An analysis step for obtaining a scale set consisting of a sequence, and each electrode provided in the cochlear implant that is in charge of a sound in a predetermined frequency band, and a scale corresponding to a frequency representative of the frequency band, Based on a scale map that includes a scale group of a plurality of electrodes as a co
  • an artificial sound that generates a musical sound that can be reproduced by a playback device based on the converted extended scale set and manufactures the generated musical sound as music information for a cochlear implant.
  • a method for producing music information for the inner ear is provided.
  • the input step inputs music information further including lyric information along the melody
  • the manufacturing step includes lyric information along the melody in the converted extended scale set.
  • a method for producing cochlear implant music information for producing cochlear implant music information is provided using the information associated with the above as an extended scale set.
  • the eleventh aspect of the present invention provides a recording medium on which the manufactured music information for a cochlear implant is recorded.
  • music data is converted into cochlear implant data, and sound based on the converted data is generated. is there.
  • data MIDI data
  • MIDI Musical Instrument Digital Interface
  • FIG. 1 is a schematic configuration diagram of a music information processing apparatus 10 according to the present embodiment.
  • the music information processing apparatus 10 includes a sound source device 12 that outputs MIDI data, a music information processing apparatus main body 14, an audio information processing apparatus 22, an acoustic signal generator 24, and a speaker 26.
  • the music information processing apparatus main body 14 is configured by a computer including a CPU, ROM, and RAM, and functions as a music analysis unit 16, a transposition processing unit 18, and a scale map 20 by executing a music information processing program to be described later. Is included.
  • the music data converted from the MIDI data by the music information processing apparatus 10 is provided as a musical sound by the speaker 26 and provided to the cochlear implant device 30. The case where the cochlear implant device 30 is used as it is will be described.
  • the music information processing apparatus main body 14 of the music information processing apparatus 10 is a read / write device that accesses various recording buttons (not shown) and recording media such as a flexible disk, CDROM, and DVD disk, and writes and reads data. Can be provided. Various types of information used for processing to be described later may be read from and written to a storage device (not shown) in the music information processing apparatus main body 14 or read from and written to a read / write device (not shown).
  • the sound source device 12 is a device that outputs music information such as MIDI data for creating music for a cochlear implant user.
  • the music information processing apparatus main body 14 is an apparatus that converts music information such as MIDI data into data for a cochlear implant user. Specifically, as described later, the main melody is extracted from the music information such as the acquired MIDI data, and the music analysis (scale) is performed for each divided melody obtained by dividing the main melody by a predetermined division unit (measure, phrase, time, etc.). And musical interval analysis) to obtain a musical scale set composed of musical scale sequences and musical pitch sequences. Then, the scale set is used to convert (transpose) the scale using the extended cochlear implant scale while maintaining the pitch of the original music so that the cochlear implant wearer can recognize the melody of the music. Execute.
  • the voice information processing device 22 is a device that creates vocal music based on music information including lyrics data and outputs it to the acoustic signal generator 24.
  • the audio information processing apparatus 22 does not necessarily need to be provided as a configuration. That is, the configuration may be such that the data for the cochlear implant user converted by the music information processing apparatus main body 14 is output to the acoustic signal generator 24 without providing the audio information processing apparatus 22.
  • the acoustic signal generator 24 is a device that operates the speaker 26 at a pitch of each scale, converts an inputted scale set into an electrical signal that drives the speaker 26, and outputs a signal so that the speaker 26 operates. .
  • the speaker 26 is a device that provides a musical sound by a drive signal from the acoustic signal generator 24.
  • a console 15 can be connected to the music information processing apparatus main body 14.
  • the console 15 is connected to the music information processing apparatus main body 14 by wire, wireless, light, etc., and is used for data input and information display.
  • the console 15 can be operated by a specialist or a trained cochlear implant user himself and can adjust the cochlear implant scale and the extended cochlear implant scale of the cochlear implant wearer.
  • the console 15 can perform analysis from the extraction of the main melody to create a scale set. Thereby, the favorite music suitable for the cochlear implant wearer's own image can be produced.
  • the cochlear implant device 30 shown in FIG. 2 includes an external device 32 that is worn outside the body and an internal device 34 that is embedded inside the body.
  • the cochlear implant device 30 reinforces hearing by applying an electrical stimulation pulse to the cochlea 48.
  • the external device 32 includes a microphone 36 that captures external sound as an electrical signal, and a sound processor 38 that programmatically performs sound processing for converting sound information sampled via the microphone 36 into a stimulation command.
  • an external coil 40 constituting an antenna outside the body, and the internal device 34 is sent from the voice processor 38 via the internal coil 42 constituting the antenna inside the body and the external coil 40 and the internal coil 42.
  • a stimulation unit 44 that converts a stimulation command that is sound information into an electrical stimulation pulse, and an electrode array 46 that is provided in the cochlea 48 and includes a plurality of electrodes that actually output the stimulation pulse.
  • the current generated by each electrode stimulates the end of the auditory nerve and is perceived as sound.
  • 22 electrodes of the electrode array 46 are provided and can be used properly according to the state of the user.
  • the electrodes 46-01 to 46-22 divide the entire audible sound range into M (M is a natural number) bands to form channels and correspond to the channels.
  • M is a natural number
  • this embodiment demonstrates the case where 22 electrodes are provided, a use aspect is not restricted to this.
  • 17 may be provided.
  • the description will be given of the case where 20 electrodes are used without using the electrodes 46-01 and 02 corresponding to the high frequency band channel among the 22 electrodes. The embodiment is not limited to this.
  • FIG. 3 is a correspondence diagram showing an example of the relationship between electrodes and bands in the cochlear implant device 30 targeted by the music information processing apparatus 10 according to the present embodiment.
  • the 22nd electrode 46-22 is an electrode of the channel 22 and has a center frequency of about 200 Hz and takes charge of a band of about 120 Hz to about 280 Hz.
  • the sound processor 38 includes this band pass filter.
  • the other electrodes also correspond to those in FIG.
  • the scale of the sound corresponding to the center frequency of the band-pass filter or the nearby sound is the scale corresponding to the electrode, and can be regarded as the cochlear implant scale.
  • the cochlear implant scale with 20 electrodes is a series of musical sounds (G3, F4, C5, E5, G # 5, C6, D6, E6, F # 6, A6, B6, D7, E7, G7, A7, C8, D # 8, F # 8, A8, B8).
  • G3, F4, C5, E5, G # 5, C6, D6, E6, F # 6, A6, B6, D7, E7, G7, A7, C8, D # 8, F # 8, A8, B8) are biased toward the high frequency band, they are unsuitable for expressing music in the artificial inner ear scale as it is due to the inner ear scale.
  • ⁇ Extended cochlear implant scale> By the way, the present inventor has conducted various experiments to measure the hearing ability using the center frequency of the bandpass filter group and the corresponding vibration sound, or to generate musical sound by applying it and to play the music. It was. At this time, it has been considered that a cochlear implant wearer can listen to music with 20 cochlear implant scales, but the present invention has the knowledge that it can be presumed that the music is being listened to more like music from various experiments. One got. This is based on a delicate sensory result that scale groups belonging to the same channel are difficult to distinguish from each other, but not at all. Therefore, we adopted an extended cochlear implant scale that includes all scales.
  • FIG. 4 is a correspondence diagram showing the extended cochlear implant scale by the bandpass filter of the voice processor.
  • This extended cochlear implant scale is composed of the center frequency of each bandpass filter and the sound of the corresponding scale (sounds of any of the possible scales of each channel, ie the scales that apply within the band of each bandpass filter, FIG. The number of sounds in the Semitone column corresponding to the scale).
  • the sound of the scale corresponding to this center frequency refers to a set of sounds that can be selected and determined as appropriate by combining them so as to match the tune of the music. As shown in FIG.
  • the 22nd electrode 46-22 is an electrode of the channel 22 and has a center frequency of about 200 Hz and takes charge of a band of about 120 Hz to about 280 Hz.
  • This channel 22 corresponds to 15 sounds of scales 2B to 4C #.
  • the cochlear implant scale is represented as G3
  • the extended cochlear implant scale is represented as 3G (English characters / symbols and numbers are reversed).
  • a musical tone includes a number of harmonic components together with a fundamental frequency component corresponding to the height. That is, it is necessary that the fundamental frequency component is relatively dominant in auditory sense. Therefore, a sequence of musical sounds in which fundamental frequency components that can be captured by a cochlear implant wearer are arranged at appropriate intervals is defined as a cochlear implant scale. For a cochlear implant wearer, it can be interpreted fairly flexibly that the fundamental frequency is relatively auditory-sensitive.
  • FIG. 5 shows a sequence of musical sounds (G3, F4, C5, E5, G # 5, C6, D6, E6, F # 6, A6, B6, D7, E7, G7, A7, C8, D # 8, F #).
  • A8, B8) are scales having a frequency of fundamental frequency ⁇ (1/2, 1/3, 1/4, 1/6, 1/8) when the cochlear implant scale is used. . Note that 1/5 and 1/7 are not used because they are not compatible with Western music sequences consisting of 12 scales. In FIG. 5, numerical values are applied in the cells so as to increase by “1” as the semitone is increased.
  • cochlear implant scales (G3, F4, C5, E5, G # 5, C6, D6, E6, F # 6, A6, B6, D7, E7, G7, A7, C8, D # 8, F #).
  • the cells of (8, A8, B8) are surrounded by thick lines. In terms of numerical values in the cell, they are 43, 53, 60, 64, 68, 72, 74, 76, 78, 81, 83, 86, 88, 91, 93, 96, 99, 102, 105, 107.
  • the scale having a frequency of ⁇ 1/2 is a sound one octave (12 semitones) lower, and it is only necessary to move to the cell adjacent to the left by one.
  • a scale with a frequency of x1 / 3 is 19 semitones lower, a scale with a frequency of x1 / 4 is 2 octaves lower (24 semitones), and a scale with a frequency of x1 / 6 is A scale that is 31 semitones lower and has a frequency of 1/8 is a sound that is 3 octaves lower (36 semitones). Therefore, the cochlear implant scale can be expanded. Furthermore, in the present embodiment, the above-described extended cochlear implant scale is applied to expansion by harmonics.
  • the voice range is about 80 to 470 Hz for men and about 250 to 1100 Hz for women.
  • “28” to “58” correspond to the values in the cell for males
  • “48” to “72” correspond to the values for the females in the cell.
  • voice ranges common to males and females correspond to values “48” to “58” in the cell.
  • the relationship between the above-described electrode and the bandpass filter is not limited to this, and a channel and a scale may be appropriately selected and designated in accordance with the speech processor of the target cochlear implant device.
  • the music information processing apparatus main body 14 acquires MIDI data indicating the original song “Sakura Sakura” from the sound source device 12 as music information.
  • the main melody is extracted from the acquired MIDI data.
  • MIDI data has a large number of identification data
  • the main melody can be automatically extracted with reference to the identification data.
  • the main melody can be extracted from other MIDI data by extracting the melody of the instructed MIDI data in accordance with a melody instruction from an input means (not shown).
  • the music software having a musical score GUI may be used to instruct and extract the melody.
  • the conversion target period is a division unit for dividing a music piece into a plurality of time series and sequentially converting the music piece.
  • the division unit includes a measure, a phrase, and time. These division units can be determined by predetermined setting values. For example, a setting value indicating one measure unit for dividing the main melody by one measure unit, a setting value indicating a phrase unit for dividing by a phrase unit, and a setting value indicating a predetermined time for dividing every predetermined time may be adopted. it can.
  • As the set value a value stored in advance in the music information processing apparatus main body 14 can be read, or an input value by the input device can be read.
  • any one divided melody (unit melody) divided by the set conversion target period (divided unit) is selected and extracted.
  • This selection may be made sequentially according to the time series of the main melody, or an arbitrary divided melody may be selected.
  • An arbitrary divided melody can be selected according to the size of the processing load due to the similarity between the divided melody. For example, it is possible to reduce the number of processes by selecting and extracting any one of the divided melodies having high similarity as the representative divided melodies and substituting the divided melodies having high similarity with the representative divided melodies.
  • the most preferable example of the division melody having high similarity is the case where the division melody matches.
  • step 108 music analysis is performed on the divided melody.
  • This music analysis analyzes which scale is used for the division melody and how much the pitch is. For example, if the musical piece “Sakura Sakura” as an example is divided into phrases, the scales used are 4B, 5C, 5E, 5F, 5A, 5B, 6C, and 1, 4, 1, 4, 2, 1 semitone There is a division melody that is.
  • the scales “4B, 5C, 5E, 5F, 5A, 5B, 6C” arranged in time series are set as a scale sequence, and the intervals “1, 4, 1, 4, 2, 1” are set as a pitch sequence. Find a scale set consisting of columns.
  • step 110 conversion processing (FIG. 7) is executed using the above scale set.
  • the process of step 110 is a process of transposing the scale while maintaining the pitch of the original music so that the cochlear implant wearer can recognize the melody of the music.
  • the scale set of the division melody is the scale sequence “4B, 5C, 5E, 5F, 5A, 5B, 6C” and the pitch sequence “1, 4, 1, 4, 2, 1”.
  • the pitch of the conventional cochlear implant scale is "10, 7, 4, 4, 4, 2, 2, 2, 3, 2, 3, 2, 3, 2, 3, 3, 3, 2" semitones .
  • the upper two sounds and the lower one are not used because the pitch of the cochlear implant wearer is poor.
  • the pitch of the pitch sequence “2, 2, 2, 3, 2, 3” semitones That is, it is converted into a scale sequence “6C, 6D, 6E, 6F #, 6A, 6B, 7D”.
  • the scale corresponds to the center frequency of the electrode, which is the channel, the original music information is lost, which is insufficient for musical expression. That is, since all the melodies are individually assigned to stimulate different electrodes, the cochlear implant wearer can recognize the tendency of the pitch associated with the music melodies.
  • the pitch was changed only with the cochlear implant scale, so there was a slight sensation. Therefore, in this embodiment, further conversion (transposition) is performed using the extended cochlear implant scale.
  • step 200 the scale set of the divided melody obtained as described above is read in step 200, and transposition processing is executed in the next step 202.
  • the transposition process is a process of searching for a pitch sequence that contains the most musical scales corresponding to stimulating different electrodes that are close to the pitch sequence of a certain phrase of the music and that have different pitch sequences. Stimulating this different electrode is confirmed with reference to the augmented cochlear implant scale of FIG. That is, as the first process, while maintaining the pitch of the music, the transposition is performed so as to stimulate as many different pitches as possible. As a second process, when different pitches are overlapped with the same electrode, they are associated with different electrodes with the minimum pitch shift. At this time, as a third process, when the electrodes are associated with different electrodes, the musical scale is determined so as to cross between the electrodes, that is, the musical scale is continuous between the adjacent electrodes.
  • the transposition processing may be performed in the order of the first processing, the second processing, and the third processing, but may shift from the first processing to the third processing.
  • a process of giving priority to the pitch of the music (original music) and assigning it to the extended cochlear implant scale is executed.
  • the scale sequence “6C, 6C #, 6F, 6F #, 6A #, 7C, 7C #” and the pitch sequence “1, 4, 1, 4, 2, 1” can be converted. it can. That is, since all melodies are individually assigned to stimulate different electrodes, the cochlear implant wearer can recognize the music melodies. Since only the cochlear implant scale changes the pitch, there was a slight sensation of impression, but the extended cochlear implant scale does not have it at all.
  • the scale sequence “6C, 6D, 6E, 6F #, 6A, 6B, 7D” and the pitch sequence “2, 2, 2, 3, 2” are performed by the first and second processes. , 3 ".
  • the third sequence is converted into the scale sequence “6C, 6C #, 6F, 6F #, 6A #, 7C, 7C #” and the pitch sequence “1, 4, 1, 4, 2, 1”. . That is, all melodies are individually assigned to stimulate different electrodes and the scale is maintained, so that the cochlear implant wearer can recognize the music melodies. With this transposition processing, the extended cochlear implant scale disappeared completely due to the somewhat timid impression of changing the pitch of only the cochlear implant scale.
  • transposition is performed so that many pitches stimulate different electrodes while maintaining the pitch of the music, and when different pitches overlap the same electrode, the minimum pitch shifts to different electrodes. Matched.
  • it is preferable to define a continuous scale so that the scales extend between the electrodes, that is, the scales are continuous between adjacent electrodes.
  • FIG. 8 is an explanatory diagram of improvements in transposition processing.
  • the transposition process which is the first and second processes described above is denoted as transposition 1, and the transposition process by the improved third process is denoted as transposition 2.
  • transposition process of transposition many pitches are transposed so as to stimulate different electrodes, but there are places where the pitches are separated from the original music. Therefore, in the transposition process of transposition 2, first, a musical scale is selected from the musical scale group belonging to each electrode (each channel) so as to maintain the pitch of the original music as much as possible. And at the time of this selection, a musical scale is defined so that a musical scale may straddle between adjacent electrodes (continuous).
  • the scale sequence “6C, 6C #, 6F, 6F #, 6A #, 7C, 7C #” is determined.
  • This is a feature of the present invention that employs an extended cochlear implant scale and is achieved by selecting a plurality of possible sounds from any of the scales that apply within each channel or band of each bandpass filter.
  • the electrode stimulated by the scale set of the scale set by the transposition process of the transposition 1 and the electrode stimulated by the scale series of the scale set by the transposition process of the transposition 2 match.
  • the pitch sequence by the scale set by the transposition process of transposition 2 becomes the pitch sequence “1, 4, 1, 4, 2, 1”, which is improved from the pitch sequence by the scale set by the transposition process of transposition 1, It became close to the pitch sequence (in this case, it was a complete match).
  • the music for the cochlear implant closer to the original music could be provided. This greatly contributes to selecting an arbitrary scale that can maintain the pitch from a plurality of scales belonging to the same electrode.
  • determining the scale so that the scale is continuous between adjacent electrodes also greatly contributes.
  • This voice matching process is a process of extending the cochlear implant scale by harmonics. In other words, it is a process of moving to an integral multiple of the frequency component of the pitch height or a pitch of 1 / integer pitch by the effect of harmonics and subharmonics. That is, the scale sequence (melody) associated with the extended cochlear implant scale is moved to fall within the range of male voice or female voice. This is to move the scale to a scale having a frequency of fundamental frequency ⁇ (1/2, 1/3, 1/4, 1/6, 1/8).
  • the scale sequence becomes “4C, 4D, 4E, 4F #, 4A, 4B, 5D” Listen as normal music.
  • the scale sequence becomes “4C, 4C #, 4F, 4F #, 4A #, 5C, 5C #”. Listening as normal music.
  • the scale set by the scale sequence stored in the range of the male voice or female voice as described above is determined as the extended scale set, and this routine is terminated.
  • this routine is terminated.
  • step 112 in FIG. 6 it is determined in step 112 in FIG. 6 whether there is a remaining divided melody. If there is a divided melody that has not undergone transposition processing, an affirmative decision is made in step 112, the process returns to step 106, and the above processing is repeatedly executed.
  • Step 114 the extended scale set is output and this processing routine is terminated.
  • the extended scale set is converted into an electric signal for driving the speaker 26 by the acoustic signal generator 24, and the speaker 26 is operated.
  • the speaker 26 is operated at the pitch of each musical scale, musical sounds including not only a frequency component having a height corresponding to the pitch but also harmonics and subharmonics are provided to the cochlear implant device 30. Thereby, the cochlear implant wearer can perceive music.
  • the cochlear implant wearer can be made to listen to music.
  • any voice can be satisfactorily heard as long as it is voice. It is not limited to the prosody at the time of discourse, but listening to the singing voice is sufficiently good.
  • the vocal range of the singing is about 80 to 470 Hz for male voices and 250 to 1100 Hz for female voices in the scale diagram shown in FIG. 5. Is preferably assigned to. By assigning the lower scale in the range of each gender, good results have been obtained that the cochlear implant wearer has improved in listening to music.
  • the music information processing apparatus main body 14 may acquire lyrics data indicating the lyrics of the music as music information together with the MIDI data indicating the music from the sound source device 12 (step 100).
  • the music information including the lyrics data is provided to the voice information processing apparatus 22.
  • the voice information processing device 22 creates vocal music based on the music information including the lyrics data and outputs it to the acoustic signal generator 24.
  • the acoustic signal generator 24 is converted into an electric signal for driving the speaker 26 by voice music, and the speaker 26 is operated.
  • the audio information processing apparatus 22 is not necessarily required to be provided as a configuration. Therefore, the following three types of data may be input to the acoustic signal generator 24.
  • the first is a case where only the extended scale set is inputted from the music information processing apparatus main body 14 as a scale set by a scale sequence stored in the range of male voice or female voice. In this case, the extended scale set is converted into an electric signal for driving the speaker 26 by the acoustic signal generator 24.
  • music information including lyrics data is provided to the voice information processing apparatus 22 instead of outputting the music information to the acoustic signal generator 24.
  • the voice information processing apparatus 22 creates vocal music based on the music information including the lyrics data and outputs it to the acoustic signal generator 24. Then, the voice signal is converted into an electric signal for driving the speaker 26 by the acoustic signal generator 24.
  • an extended scale set is input from the music information processing apparatus main body 14 to the acoustic signal generator 24, and vocal music created based on music information including lyrics data is input from the voice information processing apparatus 22.
  • the acoustic signal generator 24 converts the vocal music together with the extended scale set into an electric signal for driving the speaker 26. Switching between these three types of data input may be set in advance, or one of the first to third may be selected. For this selection, a selection switch can be provided in the path of the acoustic signal generator 24 or the music information processing apparatus main body 14 or the acoustic signal generator 24 and the music information processing apparatus main body 14.
  • transposition is performed so as to stimulate different electrodes using the extended cochlear implant scale, so that it is possible to obtain a scale sequence and a pitch sequence that substantially maintain the pitch of the original music.
  • Music can be provided so that can recognize the melody of music. In addition, even a normal hearing person can listen to the music without a sense of incongruity.
  • the music information processing apparatus main body 14 acquires MIDI data indicating the original music from the sound source apparatus 12 as music information has been described.
  • the present invention is not limited to this, and at least the melody. Any music data may be used.
  • the sound source device 12 includes a sound input device such as a microphone and an analog-digital conversion device.
  • the sound input device such as a microphone collects the original sound of the music, converts the original sound into digital data, and outputs the digital data. It may be.
  • a receiving device that receives a signal from the transmitting device is provided in the vicinity of the microphone 36 of the cochlear implant device 30, and the receiving device is provided with a speaker, and the musical sound generated by the received signal is operated at a pitch of each scale.
  • the cochlear implant wearer can perceive music by wireless communication. It is also possible to directly transmit stimulus instructions directly.
  • the music information processing apparatus 10 and the cochlear implant device 30 are separately configured has been described in the present embodiment, the music information processing apparatus 10 may be incorporated in the voice processor 38 and processed by the voice processor 38. Good.
  • this embodiment demonstrated the case where the extended cochlear implant scale shown in FIG. 4 was used, it is not limited only to this extended cochlear implant scale. For example, a plurality of different extended cochlear implant scales may be prepared and any one of them may be selected.
  • a plurality of different augmented cochlear implant scales are stored in an external device (for example, an external memory or a storage device such as a file barber on the Internet), and the music information processing apparatus 10 is expanded artificially by wireless communication or wired communication.
  • the inner ear scale may be obtained.
  • the sound processor 38 may obtain the extended cochlear implant scale by wireless communication or wired communication.
  • an extended cochlear implant scale suitable for listening to the wearer of the cochlear implant device 30 can be selected.
  • the wearer of the cochlear implant device 30 feels the music with a difference and can listen as if it was arranged.
  • necessary operations and settings can be confirmed from the outside of the cochlear implant device 30 by an operation console 15 that can be appropriately connected to the built-in music information processing device 10.
  • the music information converted from the MIDI data by the music information processing apparatus 10 is provided as a musical sound by the speaker 26 and provided to the cochlear implant device 30.
  • the present invention is not limited to this. Is not to be done.
  • the computer can function as a music information processing apparatus or a music information processing apparatus body.
  • the above-described music information processing program is stored in a recording medium to be executed by a computer, and the music information processing program is executed from the recording medium to function as a music information processing apparatus or a music information processing apparatus main body.
  • the music information processing program can be installed on the computer from the recording medium, and the music information processing program can be executed on the computer to function as the music information processing apparatus or the music information processing apparatus body.
  • music information for a cochlear implant can be produced from music information as music generally used by a normal hearing person. That is, by providing a plurality of electrodes in the cochlea and sending a sound signal corresponding to the input sound as a stimulation command to each electrode, an electrical stimulation pulse is generated and the input sound is given to the cochlea as the stimulation pulse
  • music information for the cochlear implant can be manufactured by a method including an input process, an extraction process, an analysis process, a transposition process, a conversion process, and a manufacturing process.
  • music information including a melody in which a plurality of musical sounds are continuous is input.
  • the extraction step extracts the main melody from the music information input by the input means.
  • the analyzing step divides the main melody by a predetermined unit, analyzes the scale and pitch that constitute the divided melody for each of the divided divided melody, and stores a scale sequence of scales arranged in a time series of the divided melody A scale set consisting of a pitch sequence of pitches is obtained.
  • each electrode provided in the cochlear implant that is in charge of sound of a predetermined frequency band is associated with a scale corresponding to a frequency represented by a frequency band, and the scale group of the plurality of electrodes is set as a cochlear implant scale, Included in the cochlear implant scale while substantially maintaining the pitch sequence of the scale set, based on a scale map that includes a cochlear implant scale and that indicates the arrangement of scales according to the magnitudes of the fundamental frequency components of a plurality of musical sounds
  • the scale set is transposed so as to include many different scales, and the transposed scale set is set as an extended scale set.
  • the converting step converts the scale sequence of the obtained extended scale set so as to correspond to a scale included in a predetermined voice band.
  • the manufacturing process manufactures the converted extended scale set as music information for the cochlear implant.
  • a musical sound that can be reproduced by a reproduction device is generated based on the converted extended scale set, and the generated musical sound can be manufactured as music information for the cochlear implant.
  • the manufactured cochlear implant music information can generate musical sounds with a loudspeaker, a playback device, etc., and can provide music to a normal hearing person without discomfort, and can provide music to a wearer of the cochlear implant apparatus without discomfort.
  • Music information for cochlear implants can be produced.
  • music information further including lyric information along the melody is input, and in the manufacturing step, information relating the lyric information along the melody to the converted extended scale set is set as an extended scale set.
  • Music information for cochlear implants can be produced. Since the manufactured music information for the cochlear implant can be manufactured as lyric information including not only the melody but also the lyrics, the music information for the cochlear implant can be provided as the music accompanied by the lyrics.
  • the produced recording medium on which the cochlear implant music information is recorded can easily provide the cochlear implant music information to a third party.
  • the cochlear implant music information can be provided to a third party. That is, by making the music information for the cochlear implant into music information such as MIDI data, the music information for the cochlear implant can be reproduced as music by a computer device or the like for reproducing the music information such as MIDI data as music.
  • the music information for the inner ear can be provided to a third party.
  • the cochlear implant music information can be provided to a third party so that it can be played back as it is.
  • the music information processing apparatus 10 and the music information processing apparatus main body 14 may be incorporated in the voice processor 38 and processed by the voice processor 38.
  • the above-described music information for the cochlear implant is used for a musical sound produced for a normal hearing person.
  • the music that is assumed to be listened to by the cochlear implant wearer is a music generated by a telephone (for example, a melody at the time of holding) or a music provided to a train or a train passenger (for example, at a home announcement) Melody that flows at the beginning of the sound), musical sounds provided to operators and users of home appliances (for example, a melody at the time of setting or completion of processing), etc. can be employed.
  • the music information processing apparatus of the present embodiment it is possible to provide music (melody) that can be sufficiently listened to even for a cochlear implant user who has conventionally been insufficiently considered.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Prostheses (AREA)

Abstract

　、人工内耳装用者が音楽などを聴取したときの認知向上を可能にする。　音源装置１２からの楽曲のＭＩＤＩデータを音楽情報処理装置本体１４で処理する。まず、主旋律を抽出し、音階と音程を解析し、音階列と音程列とからなる音階セットを求め、人工内耳装用者が音楽の旋律を認識することができるように、原曲の音程を維持しつつより多くの異なる電極を刺激させるべく音階セットを移調し、音響信号発生器２４によりスピーカ２６を駆動させて、人工内耳装置３０へ提供する。

Description

音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体
　本発明は、音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体に係り、特に、人工内耳装用者に対して音楽などの音響を提供するために音楽情報を処理する音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体に関する。
　人工内耳は、蝸牛内に複数の電極を設けて、マイクロフォンを介してサンプリングされた音声情報を、複数の帯域通過フィルターを用いて周波数帯域毎のチャネルに分類している。そして、チャネル毎の音声情報を、チャネルに対応する刺激命令として電極に送ることによって電気的な刺激パルスを生成し、この刺激パルスを蝸牛に与えることにより聴覚の補強を行うものである（例えば、文献１：米国特許第５，５９７，３８０号明細書を参照）。具体的には、人工内耳に設けられた音声プロセッサで、音声情報を刺激パルスに変換するという音声変換が行われる。これにより、人工内耳装用者は、読話を併用しなくても言葉を認識することが可能になってきている。
　近年、人工内耳には性能向上が求められている。具体的には、人工内耳装用者は、読話を併用しなくても言葉を認識することができるようになってきているものの、会話などの音声の認識であり、音楽の認識までは至っていない。例えば、音楽の聴取について、人工内耳による音声変換が行われた結果、音楽として認知できない場合がある。このことは、人工内耳における、蝸牛内に設けられた複数の電極による電気刺激が、音声を前提とした音声変換によるものであり、複数の電極に対応する音声情報の周波数帯が離散的かつ限定的な周波数域に偏っているためと考えられる。
　このため、人工内耳の性能改善について研究は進められているが、音声プロセッサの処理方式の改善であり、音楽の聴取を前提としたものが少ないことが現状である。この音楽の聴取を前提とした幾つかの文献がある。例えば、文献２：”人工内耳のための音楽情報処理”（北澤茂良他　日本音響学会議演論文集，平成２１年９月）では、電極の対応周波数に合致させた音階を生成することで、人工内耳装用者に音高を伝達することが記載されている。しかしながら、この文献２では、電極の対応周波数に合致させた音階は、音楽理論に合致しないため、楽曲の生成には適していない。
　文献３：”人工内耳装用者のための音楽変換”（北澤茂良他　日本音響学会議演論文集，平成２２年３月）では、原曲の主旋律の音程を保持しつつ電極の対応周波数に合致させた音階を生成することで、人工内耳装用者に音高を伝達することが記載されている。
　しかしながら、文献３でも、電極の対応周波数に合致させた音階を用いるため、楽曲の生成には不充分であった。
　本発明は上記事実を考慮して成されたものであり、人工内耳装用者が音楽などを聴取したときの認知向上を可能にすることができる音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体を提供することを目的とする。
　上記目的を達成するため、本発明の第１の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力手段と、前記入力手段により入力された音楽情報から主旋律を抽出する抽出手段と、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析手段と、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調手段と、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換手段と、前記変換された拡張音階セットを出力する出力手段と、を備える音楽情報処理装置を提供する。
　この発明によれば、抽出したＭＩＤＩ（Musical Instrument Digital Interface、電子楽器デジタルインタフェース）によるＭＩＤＩデータ等の音楽情報からの主旋律を、予め定めた時間、小節またはフレーズなどの所定単位で分割し、その各分割旋律について音階と音程を解析して、時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。求めた音階セットの音程列を略維持しつつ、人工内耳音階に含まれる異なる音階を数多く含むように、音階セットを移調する。この移調した音階セットを拡張音階セットとする。この場合、人工内耳音階を含む音階セットを複数探索し、人工内耳音階に含まれる異なる音階を最も多く含む移調した音階セットを拡張音階セットとすることが好ましい。またこのとき、音階を高調波及び低調波に展開した音階マップを用いることが好ましい。そして、求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換して、出力する。
　これにより、人工内耳装用者が音楽などを聴取したときの認知向上を可能にすることができる。
　なお、前記人工内耳は、複数の帯域通過フィルターを用いて音を周波数帯域毎のチャネルに分類し、対応するチャネル毎に信号を電極に送ることにより、該刺激パルスを発生させるものである。
　また、本発明の第２の態様は、前記入力手段は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、前記出力手段は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして出力する音楽情報処理装置を提供する。
　この発明によれば、旋律に沿う歌詞情報をさらに含む音楽情報が入力され、変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして出力する。これにより、音声の聴取を目的として開発された人工内耳に対して、歌詞情報を用いた音声を提供でき、人工内耳装用者が音楽などを聴取したときのさらなる認知向上を可能にすることができる。
　また、本発明の第３の態様は、前記出力手段から出力された拡張音階セットに基づいて楽音を生成し生成した楽音を発生する音発生手段をさらに備える音楽情報処理装置を提供する。
　この発明によれば、出力手段から出力された拡張音階セットに基づいて楽音を生成し生成した楽音を発生する。これにより、人工内耳装用者に対して確実に音楽などを聴取可能に提供できる。
　また、本発明の第４の態様は、前記出力手段から出力された拡張音階セットに基づいて楽音データを生成し生成した楽音データを送信する送信手段をさらに備える音楽情報処理装置を提供する。
　この発明によれば、出力手段から出力された拡張音階セットに基づいて楽音データを生成し生成した楽音データを送信する。これにより、人工内耳装用者に対して、無線通信及び有線通信の少なくとも一方の通信により音楽を提供することができる。なお、この場合の通信は、データ通信が好ましい。
　また、本発明の第５の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、前記変換された拡張音階セットを出力する出力工程と、を備える音楽情報処理方法を提供する。
　また、本発明の第６の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力ステップと、前記入力手段により入力された音楽情報から主旋律を抽出する抽出ステップと、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析ステップと、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調ステップと、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換ステップと、前記変換された拡張音階セットを出力する出力ステップと、を含む音楽情報処理プログラムを提供する。
　また、本発明の第７の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳装置と、前記音楽情報処理装置と、を備える人工内耳用音楽情報処理システムを提供する。
　また、本発明の第８の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、前記変換された拡張音階セットを人工内耳用音楽情報として製造する製造工程と、を含む人工内耳用音楽情報製造方法を提供する。
　また、本発明の第９の態様は、前記製造工程は、前記変換された拡張音階セットに基づいて再生装置で再生可能な楽音を生成し、生成した楽音を人工内耳用音楽情報として製造する人工内耳用音楽情報製造方法を提供する。
　また、本発明の第１０の態様は、前記入力工程は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、前記製造工程は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして人工内耳用音楽情報を製造する人工内耳用音楽情報製造方法を提供する。
　また、本発明の第１１の態様は、前記製造した人工内耳用音楽情報が記録された記録媒体を提供する。
　本発明によれば、人工内耳装用者が音楽などを聴取したときの認知向上を可能にすることができる、という効果がある。
音楽情報処理装置の概略構成図である。 人工内耳装置の概略構成図である。 人工内耳装置における電極と帯域の関係を示す対応図である。 音声プロセッサの帯域通過フィルタによる拡張人工内耳音階を示す対応図である。 楽音の系列について、基本周波数×（１／２，１／３，１／４，１／６，１／８）の周波数を持つ音階を示した音階図である。 音楽情報処理のフローチャートである。 移調処理を含む変換処理のフローチャートである。 移調処理における改善点の説明図である。
　以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の音楽情報処理装置を、スピーカを作動させて楽音を人工内耳装用者へ向けて提供する装置に適用した場合について説明する。
　本実施形態は、人工内耳装用者に対して聴取可能に音楽を提供するために、音楽のデータを、人工内耳用のデータに変換して、その変換されたデータに基づく音を発生させるものである。この音楽のデータとして、扱いを簡単にするために、ＭＩＤＩ（Musical Instrument Digital Interface、電子楽器デジタルインタフェース）によるデータ（ＭＩＤＩデータ）を音楽情報として入手し、変換する場合を説明する。
　図１は、本実施形態に係る音楽情報処理装置１０の概略構成図である。図１に示すように、音楽情報処理装置１０は、ＭＩＤＩデータを出力する音源装置１２、音楽情報処理装置本体１４、音声情報処理装置２２、音響信号発生器２４、及びスピーカ２６を備えている。なお、音楽情報処理装置本体１４は、ＣＰＵ，ＲＯＭ，ＲＡＭを含むコンピュータで構成され、後述する音楽情報処理プログラムの実行により、音楽解析部１６，移調処理部１８，及び音階マップ２０として機能する構成を含んでいる。この音楽情報処理装置１０により、ＭＩＤＩデータから変換された音楽データは、スピーカ２６で楽音として供され、人工内耳装置３０へ提供される。この人工内耳装置３０は、人工内耳装用者のものをそのまま用いる場合を説明する。
　なお、音楽情報処理装置１０の音楽情報処理装置本体１４は、図示を省略した各種操作ボタンおよびフレキシブルディスクやＣＤＲＯＭ、ＤＶＤディスク等の記録メディアにアクセスしてデータ等の書き込み及び読み込みするリードライト装置を備えることができる。後述する処理に用いる各種情報は、音楽情報処理装置本体１４内の図示しない記憶装置に対して読み書きしてもよく、図示しないリードライト装置に対して読み書きしてもよい。
　音源装置１２は、人工内耳装用者用の楽曲作成のためのＭＩＤＩデータ等の音楽情報を出力する装置である。
　音楽情報処理装置本体１４は、ＭＩＤＩデータ等の音楽情報を人工内耳装用者用のデータに変換する装置である。詳細には、後述するように、取得したＭＩＤＩデータ等の音楽情報から主旋律を抽出し、その主旋律を所定の分割単位（小節、フレーズ、時間など）で区切った分割旋律毎に、音楽解析（音階及び音程の解析）し、音階列と音程列からなる音階セットを求める。そして、音階セットを用いて、人工内耳装用者が音楽の旋律を認識することができるように、原曲の音程を維持しつつ音階を拡張人工内耳音階を用いて変換（移調）する、処理を実行する。
　音声情報処理装置２２は、歌詞データを含む音楽情報を元にして声楽を作成し、音響信号発生器２４へ出力する装置である。なお、音声情報処理装置２２は、必ずしも構成として設けることを要求しない。すなわち、音声情報処理装置２２を設けることなく音楽情報処理装置本体１４により変換された人工内耳装用者用のデータを音響信号発生器２４へ出力するのみの構成でもよい。
　音響信号発生器２４は、各音階のピッチでスピーカ２６を作動させる装置であり、入力される音階セットをスピーカ２６を駆動する電気信号に変換して、スピーカ２６が作動するように信号を出力する。
　スピーカ２６は、音響信号発生器２４からの駆動信号により楽音を提供する装置である。
　また、音楽情報処理装置本体１４には、操作卓１５が接続可能になっている。操作卓１５は、有線・無線・光等により音楽情報処理装置本体１４に接続し、データ入力や情報表示を行うためのものである。操作卓１５は、専門家または講習を受けた人工内耳装用者自身で操作し、人工内耳装用者の人工内耳音階と拡張人工内耳音階を調整することができる。また、操作卓１５は、主旋律の抽出から解析を行い音階セットを作成することもできる。これにより、人工内耳装用者自身での自分のイメージに合った好みの楽曲を制作することができる。
　なお、本実施の形態では、音階として、１オクターブ内に１２個の半音階が存在する場合を想定している。具体的には、Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ａ，Ｂの７音を音階の構成音として、Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃，Ａ，Ａ＃，Ｂの半音の音高による音階を用いる。また、音程は、隣り合う音階の差を用いる。例えば、音階「Ｃ，Ｃ＃」は音程「１」であり、音階「Ｃ，Ｄ」は音程「２」であるとして説明する。
　図２に示す人工内耳装置３０は、身体の外部に装着される外部装置３２と身体の内部に埋め込まれる内部装置３４とから構成される。この人工内耳装置３０は、蝸牛４８に電気的な刺激パルスを与えることにより、聴覚の補強を行うものである。具体的には、外部装置３２は、外部の音声を電気信号として取り込むマイクロフォン３６と、マイクロフォン３６を介してサンプリングされた音情報を、刺激命令に変換する音声処理をプログラム的に行う音声プロセッサ３８と、身体の外部のアンテナを成す外部コイル４０とを備え、内部装置３４は、身体の内部のアンテナを成す内部コイル４２と、外部コイル４０及び内部コイル４２を介して音声プロセッサ３８から送られてくる音情報である刺激命令を電気的な刺激パルスに変換する刺激ユニット４４と、蝸牛４８に設けられ実際に刺激パルスを出力する複数の電極からなる電極アレイ４６とを備えている。各電極が発する電流によって、聴神経の末端が刺激され、音として知覚されることになる。
　電極アレイ４６の電極は、２２個設けられており、使用者の状態に応じて使い分けられる。電極４６－０１～４６－２２は、全可聴音域をＭ個（Ｍは自然数）の帯域に分割してチャネルとし、そのチャネルにそれぞれ対応した電極となっている。なお、本実施形態では、２２個の電極が設けられた場合を説明するが、使用態様はこれに限られたものではない。例えば１７個設けたものでもよい。また、本実施形態の説明では、２２個の電極のうち、高周波帯域のチャネルに対応する電極４６－０１、０２を利用せずに、２０個の電極を使用した場合の説明を行うが、使用態様はこれに限られたものではない。
　図３は、本実施形態に係る音楽情報処理装置１０で対象とした人工内耳装置３０における、電極と帯域の関係の一例を示す対応図である。図３に示すように、例えば、第２２番目の電極４６－２２は、チャネル２２の電極であり中心周波数が約２００Ｈｚで約１２０Ｈｚから約２８０Ｈｚの帯域を担当する。この帯域通過フィルタを音声プロセッサ３８が備える。他の電極も同様に図３の対応である。この帯域通過フィルタの中心周波数に対応する音または近傍の音の音階は、電極に対応する音階であり、これを人工内耳音階と捉えることができる。
　しかし、２０個の電極による人工内耳音階は、楽音の系列（Ｇ３，Ｆ４，Ｃ５，Ｅ５，Ｇ＃５，Ｃ６，Ｄ６，Ｅ６，Ｆ＃６，Ａ６，Ｂ６，Ｄ７，Ｅ７，Ｇ７，Ａ７，Ｃ８，Ｄ＃８，Ｆ＃８，Ａ８，Ｂ８）となるが、高周波帯域に偏っているため、人工内耳音階により、そのまま人工内耳音階で音楽を表現するのには不向きであった。
　＜拡張人工内耳音階＞
　ところで、本発明者は、帯域通過フィルタ群の中心周波数とそれに対応する震音を用いて聴力測定したり、それを応用して楽音を生成し、楽曲を演奏することを試みる各種の実験行ってきた。このとき、人工内耳装用者には２０個の人工内耳音階による音楽が聴取されると考えられてきたが、各種の実験から、もう少し音楽らしく聴取されていることが推測できる、という知見を本発明者は得た。これは、同一のチャネルに属する音階群は相互の判別は困難ではあるが、全くできない訳ではない、という微妙に感覚的な結果に基づくものである。そこで、全ての音階を含む拡張人工内耳音階を採用した。
　図４は、音声プロセッサの帯域通過フィルタによる拡張人工内耳音階を示す対応図である。この拡張人工内耳音階は、各帯域通過フィルタの中心周波数と、それに対応する音階の音（各チャネルすなわち各帯域通過フィルタの帯域内で当てはまる音階の何れかの複数の可能性の音、図４の音階に対応するSemitone欄の数の音）で構成される。この中心周波数に対応する音階の音は、楽曲の音の調律に適合するように組合せることによって適宜に選択決定することができる音の組をいう。図４に示すように、例えば、第２２番目の電極４６－２２は、チャネル２２の電極であり中心周波数が約２００Ｈｚで約１２０Ｈｚから約２８０Ｈｚの帯域を担当する。このチャネル２２には、音階２Ｂ～４Ｃ＃の１５個の数の音が対応する。なお、図４では、人工内耳音階をＧ３と表記し、拡張人工内耳音階を３Ｇ（英文字・記号と数字を逆転させる）と表記している。
　一般に、楽音は高さに対応する基本周波数成分と共に多数の高調波成分を含んでいる。つまり基本周波数成分が聴感覚的に相対的に優勢であることが必要である。従って、人工内耳装用者が捉えることのできる基本周波数成分が適切な間隔で配置された楽音の系列を人工内耳音階とする。人工内耳装用者にとって基本周波数が聴感覚的に相対的に優勢であるとは、かなり柔軟に解釈することができる。図５は、楽音の系列（Ｇ３，Ｆ４，Ｃ５，Ｅ５，Ｇ＃５，Ｃ６，Ｄ６，Ｅ６，Ｆ＃６，Ａ６，Ｂ６，Ｄ７，Ｅ７，Ｇ７，Ａ７，Ｃ８，Ｄ＃８，Ｆ＃８，Ａ８，Ｂ８）を人工内耳音階とした場合の、基本周波数×（１／２，１／３，１／４，１／６，１／８）の周波数を持つ音階を示したものである。なお、１／５及び１／７は１２音階からなる西洋音楽の系列には適合しないので用いない。図５では、半音づつ高くなるに従って「１」づつ増加するようにセル内に数値が当てはめられている。
　図５では、人工内耳音階（Ｇ３，Ｆ４，Ｃ５，Ｅ５，Ｇ＃５，Ｃ６，Ｄ６，Ｅ６，Ｆ＃６，Ａ６，Ｂ６，Ｄ７，Ｅ７，Ｇ７，Ａ７，Ｃ８，Ｄ＃８，Ｆ＃８，Ａ８，Ｂ８）のセルは、太線で囲ってある。セル内の数値で言えば、４３，５３，６０，６４，６８，７２，７４，７６，７８，８１，８３，８６，８８，９１，９３，９６，９９，１０２，１０５，１０７である。図５から理解されるように、×１／２の周波数を持つ音階は、１オクターブ（１２半音）低い音であり、１つ左隣のセルに移動すればよい。また、×１／３の周波数を持つ音階は１９半音低い音であり、×１／４の周波数を持つ音階は２オクターブ（２４半音）低い音であり、×１／６の周波数を持つ音階は３１半音低い音であり、×１／８の周波数を持つ音階は、３オクターブ（３６半音）低い音である。従って、人工内耳音階を拡張することができる。さらに、本実施形態では、上述の拡張人工内耳音階を高調波による拡張に適用する。
　なお、音声の声域は、男性が約８０～４７０Ｈｚで、女性が約２５０～１１００Ｈｚである。図５では、男性がセル内の値で「２８」～「５８」、女性がセル内の値で「４８」～「７２」が対応する。このとき、男性、女性に共通する声域は、セル内の値で「４８」～「５８」が対応する。
　また、上述の電極と帯域通過フィルタの関係は、これに限定されるものではなく、対象とする人工内耳装置の音声プロセッサに応じてチャネル及び音階を適宜選択し指定すればよい。
　＜人工内耳装用者用楽曲作成＞
　次に、人工内耳装用者用の楽曲作成について、音楽情報処理装置１０の音楽情報処理装置本体１４において実行される音楽情報処理と共に、図６及び図７に示すフローチャートを参照して説明する。ここでは、具体的な生成処理について一例として楽曲「さくらさくら」を用いて説明する。
　まずステップ１００では、音楽情報処理装置本体１４が音源装置１２から原曲の楽曲「さくらさくら」を示すＭＩＤＩデータを音楽情報として取得する。次のステップ１０２では、取得したＭＩＤＩデータにより、主旋律を抽出する。なお、ＭＩＤＩデータは多数の識別データを有するが、ＭＩＤＩデータ内に主旋律を示す識別データが存在するときは、この識別データを参照して、自動的に、主旋律を抽出することができる。また、他のＭＩＤＩデータからの主旋律の抽出は、図示しない入力手段の旋律指示により、指示されたＭＩＤＩデータの旋律を抽出するようにすればよい。さらに、楽譜のＧＵＩを有する音楽ソフトウェアを用いて、旋律を指示して抽出するようにしてもよい。
　次のステップ１０４では、変換対象期間を設定する。変換対象期間は、楽曲を時系列的に複数に分割して順次変換するための分割単位をいう。この分割単位としては、小節、フレーズ、時間がある。これらの分割単位は、予め定めた設定値により定めることができる。例えば一小節単位で主旋律を区切るための一小節単位を示す設定値やフレーズ単位で区切るためのフレーズ単位を示す設定値、そして所定時間毎に区切るための所定時間を示す設定値を採用することができる。設定値は、予め音楽情報処理装置本体１４内に記憶した値を読み取ったり、入力装置による入力値を読み取ったりすることができる。
　次のステップ１０６では、上記設定された変換対象期間（分割単位）で区切られた何れか１つの分割旋律（単位メロディ）を選択し、抽出する。この選択は、主旋律の時系列に従って順次選択してもよく、任意の分割旋律を選択してもよい。任意の分割旋律を選択するには、分割旋律間の類似性による処理負荷の大小に従って選択することができる。例えば、類似性が高い分割旋律のうち何れか１つを代表分割旋律として選択し抽出し、類似性が高い分割旋律を代表分割旋律で代替することで、処理数を削減できる。この類似性が高い分割旋律の最も好ましい例は、分割旋律が一致する場合である。
　次に、ステップ１０８において、分割旋律について音楽解析が行われる。この音楽解析は、分割旋律について何れの音階が使われているか、また音程はどれだけであるかを解析する。例えば、一例である楽曲「さくらさくら」をフレーズ単位で区切ると、使われている音階が４Ｂ，５Ｃ，５Ｅ，５Ｆ，５Ａ，５Ｂ，６Ｃであり、１，４，１，４，２，１半音である分割旋律がある。この時系列的にならぶ音階「４Ｂ，５Ｃ，５Ｅ，５Ｆ，５Ａ，５Ｂ，６Ｃ」を音階列とし、音程「１，４，１，４，２，１」を音程列として、音階列と音程列とからなる音階セットを求める。
　次のステップ１１０では、上記の音階セットを用いて変換処理（図７）を実行する。このステップ１１０の処理は、人工内耳装用者が音楽の旋律を認識することができるように、原曲の音程を維持しつつ音階を移調する処理である。
　ところで、分割旋律の音階セットは、音階列「４Ｂ，５Ｃ，５Ｅ，５Ｆ，５Ａ，５Ｂ，６Ｃ」、音程列「１，４，１，４，２，１」である。従来の人工内耳音階の音程は「１０，７，４，４，４，２，２，２，３，２，３，２，３，２，３，３，３，３，２」半音である。但し、上の２音と下の１音は、人工内耳装用者による音高の判別が悪いので使用しないこととする。これを原曲と出来るだけ近い音程を保持できるように、かつその中でも低い音を使用して人工内耳音階に基づき変換すると音程列「２，２，２，３，２，３」半音の音階、つまり音階列「６Ｃ，６Ｄ，６Ｅ，６Ｆ＃，６Ａ，６Ｂ，７Ｄ」に変換される。しかし、チャネルである電極の中心周波数に対応された音階になるため、原曲の情報が失われ、音楽表現には不充分である。すなわち、全ての旋律が個別に異なる電極を刺激するように割当てられるので、人工内耳装用者は音楽の旋律に伴う音程の傾向を認識することができる。しかし、人工内耳音階のみでは音程が変更されるため、やや音痴の印象があった。そこで、本実施形態では、拡張人工内耳音階を用いてさらに変換（移調）する。
　図７のステップ２００では、上述のように求めた分割旋律の音階セットを読み取り、次のステップ２０２において移調処理を実行する。
　移調処理は、楽曲の一定フレーズの音程列に近く且つ音程列の異なる音が異なる電極を刺激することに対応する音階を最も多く含む音程列を探し出す処理である。この異なる電極を刺激することは図４の拡張人工内耳音階を参照して確認する。すなわち、第１の処理として、楽曲が有する音程を維持した上で、できるだけ多くの音程が異なる電極を刺激するように移調する。第２の処理として、異なる音程が同一の電極に重なってしまった場合には最小の音程の移動で異なる電極に対応付ける。このとき、第３の処理として、異なる電極に対応付ける場合、電極間をまたがるように、すなわち隣り合う電極で音階が連続するように音階を定める。なお、移調処理は、第１の処理、第２の処理、そして第３の処理と順に行ってもよいが、第１の処理から第３の処理に移行してもよい。この場合、楽曲（原曲）の音程を優先させ、拡張人工内耳音階に割り当てる処理を実行することになる。
　このように、拡張人工内耳音階を用いて異なる電極を刺激するように移調するので、原曲の音程を略維持した音階列及び音程列を得ることができる。例えば、上記の例では、音階列「６Ｃ，６Ｃ＃，６Ｆ，６Ｆ＃，６Ａ＃，７Ｃ，７Ｃ＃」、音程列「１，４，１，４，２，１」へと変換することができる。すなわち、全ての旋律が個別に異なる電極を刺激するように割当てられるので、人工内耳装用者は音楽の旋律を認識することができる。人工内耳音階のみでは音程が変更されるため、やや音痴の印象があったが、拡張人工内耳音階では全くそれが無くなる。
　具体的には、上記の例では、第１及び第２の処理によって、音階列「６Ｃ，６Ｄ，６Ｅ，６Ｆ＃，６Ａ，６Ｂ，７Ｄ」、音程列「２，２，２，３，２，３」に移調される。そして、第３の処理によって、音階列「６Ｃ，６Ｃ＃，６Ｆ，６Ｆ＃，６Ａ＃，７Ｃ，７Ｃ＃」、音程列「１，４，１，４，２，１」へと変換される。すなわち、全ての旋律が個別に異なる電極を刺激するように割当てられると共に、音階をも維持されて、人工内耳装用者は音楽の旋律を認識することができる。この移調処理によって、人工内耳音階のみの音程変更によるやや音痴の印象から、拡張人工内耳音階では全くそれが無くなった。
　この移調処理について、本発明者は、第１及び第２の処理から、第３の処理による有効性について、更なる改善を得ることができるというの知見を得ている。上記では、楽曲が有する音程を維持した上で多くの音程が異なる電極を刺激するように移調して、異なる音程が同一の電極に重なってしまった場合には最小の音程の移動で異なる電極に対応付けた。この異なる電極に対応付ける場合、電極間をまたがるように、すなわち隣り合う電極で音階が連続するように連続した音階を定めることが好ましいという結果を得た。
　図８は、移調処理における改善点の説明図である。図８では、上述の第１と第２の処理である移調処理を、移調１と表記し、改善した第３の処理による移調処理を移調２と表記した。移調１の移調処理では、多くの音程が異なる電極を刺激するように移調しているが、音程が原曲と離間した箇所が生じた。そこで、移調２の移調処理では、まず原曲の音程を最大限維持するように、各電極（各チャネル）に属する音階群の中で音階を選択する。そして、この選択時に、隣り合う電極間で音階が跨るように（連続するように）音階を定める。ここでは、音階列「６Ｃ，６Ｃ＃，６Ｆ，６Ｆ＃，６Ａ＃，７Ｃ，７Ｃ＃」が定められる。これにより、原曲の音程を維持しつつ、異なる電極を刺激するように移調できた。これは、拡張人工内耳音階を採用した本発明の特徴であり、各チャネルすなわち各帯域通過フィルタの帯域内で当てはまる音階の何れかの複数の可能性の音を選択することで達成される。
　すなわち、移調１の移調処理による音階セットの音階列により刺激される電極と、移調２の移調処理による音階セットの音階列により刺激される電極は一致する。さらに、移調２の移調処理による音階セットによる音程列は、音程列「１，４，１，４，２，１」となり、移調１の移調処理による音階セットによる音程列より改善され、原曲の音程列に近くなった（この場合は完全に一致した。）。この結果、より原曲に近い人工内耳用の楽曲が提供できた。このことは、同一電極内に属する複数の音階から、音程を維持できる任意の音階を選択することが、大きく寄与する。また、隣り合う電極で音階が連続するように音階を定めることも大きく寄与する。
　ところで、ステップ２０２の移調処理を実行すると、かなり高い音に偏っている。このため、次のステップ２０４において、音声マッチング処理を実行する。この音声マッチング処理は、高調波による人工内耳音階の拡張を行う処理である。言い換えれば、高調波・低調波の効果により、ピッチの高さの周波数成分の整数倍または整数分の１ピッチの高さに移動する処理である。すなわち、拡張人工内耳音階に対応付けた音階列（メロディ）を移動して男性の声または女性の声の範囲に収める。これは、音階を、基本周波数×（１／２，１／３，１／４，１／６，１／８）の周波数を持つ音階に移動させることである。
　例えば、上記の移調１による移調処理の例では、高調波による人工内耳音階の拡張を行い２オクターブ下げれば、音階列「４Ｃ，４Ｄ，４Ｅ，４Ｆ＃，４Ａ，４Ｂ，５Ｄ」となって、通常の音楽として聴取可能になる。また、移調２による移調処理の例でも、高調波による人工内耳音階の拡張を行い２オクターブ下げると、音階列「４Ｃ，４Ｃ＃，４Ｆ，４Ｆ＃，４Ａ＃，５Ｃ，５Ｃ＃」となって、通常の音楽として聴取可能になる。
　次のステップ２０６では、上述のようにして男性の声または女性の声の範囲に収められた音階列による音階セットを拡張音階セットとして決定し、本ルーチンを終了する。これにより、原曲の音程を略維持した音階列及び音程列からなる拡張音階セットを得ることができる。
　このようにして移調処理による変換が終了すると、図６のステップ１１２において、残存する分割旋律が有るか否かを判断する。移調処理していない分割旋律がある場合には、ステップ１１２で肯定され、ステップ１０６へ戻り、上記処理を繰り返し実行する。
　一方、ステップ１１２で否定されると、主旋律の全てについて移調処理による変換が終了したので、ステップ１１４において、拡張音階セットを出力して本処理ルーチンを終了する。拡張音階セットが出力されると、拡張音階セットは音響信号発生器２４によりスピーカ２６を駆動する電気信号に変換されて、スピーカ２６が作動される。この場合、各音階のピッチで、スピーカ２６が作動されるので、ピッチに相当する高さの周波数成分のみならず高調波及び低調波を含む楽音が人工内耳装置３０へ供される。これによって、人工内耳装用者は、音楽を知覚することができる。
　＜拡張人工内耳音階による歌唱の作成＞
　ところで、歌詞を伴う音楽では、曲を歌って歌詞が伝わることは、その曲を理解する手助けになると考えられる。そこで、音声を人工内耳用の楽曲に変換して提供することで人工内耳装用者に音楽の聴取を実現させることができる。特に、人工内耳は音声の聴取を目的として開発されたものであるので、音声であれば誰の音声でも良好に聴取できる。談話の時の韻律に限られるのではなく、歌唱音声についても十分聴取が良好になる。歌唱の声域は、図５に示す音階図において、男性の声が約８０～４７０Ｈｚ、女性の声が２５０～１１００Ｈｚであるが、通常会話の音域近傍では、男女それぞれの音域でなるべく低い方の音階に割当てることが好ましい。男女それぞれの音域で低い方の音階に割当てることで、人工内耳装用者が音楽の聴取に改善が見られた、という良好な結果が得られている。
　この音声を人工内耳用の楽曲に変換して提供することは、図６のステップ１１４において実行可能である。すなわち、音楽情報処理装置本体１４が音源装置１２から楽曲を示すＭＩＤＩデータと共に、楽曲の歌詞を示す歌詞データを音楽情報として取得するようにすればよい（ステップ１００）。この場合、音楽情報を音響信号発生器２４へ出力するのに代えて歌詞データを含む音楽情報を音声情報処理装置２２へ提供する。音声情報処理装置２２では、歌詞データを含む音楽情報を元にして声楽を作成し、音響信号発生器２４へ出力する。これにより、音響信号発生器２４は声楽によりスピーカ２６を駆動する電気信号に変換して、スピーカ２６が作動される。
　なお、音声情報処理装置２２は、必ずしも構成として設けることを要求しない。従って、音響信号発生器２４には次の３種類のデータが入力される場合がある。第１は、音楽情報処理装置本体１４から男性の声または女性の声の範囲に収められた音階列による音階セットを拡張音階セットのみが入力される場合である。この場合、音響信号発生器２４により拡張音階セットがスピーカ２６を駆動する電気信号に変換される。第２は、上述のように、音楽情報を音響信号発生器２４へ出力するのに代えて歌詞データを含む音楽情報を音声情報処理装置２２へ提供する場合である。この場合、音声情報処理装置２２では、歌詞データを含む音楽情報を元にして声楽を作成し、音響信号発生器２４へ出力する。そして、音響信号発生器２４により声楽がスピーカ２６を駆動する電気信号に変換される。第３は、音響信号発生器２４に、音楽情報処理装置本体１４から拡張音階セットが入力され、かつ音声情報処理装置２２から歌詞データを含む音楽情報を元にして作成された声楽が入力される場合である。この場合、音響信号発生器２４により拡張音階セットと共に声楽がスピーカ２６を駆動する電気信号に変換される。これら３種類のデータ入力の切替は、予め設定するようにしてもよく、第１～第３の何れかを選択するようにしてもよい。この選択は、選択スイッチを音響信号発生器２４または音楽情報処理装置本体１４或いは音響信号発生器２４と音楽情報処理装置本体１４の経路に設けることができる。
　このように、本実施形態では、拡張人工内耳音階を用いて異なる電極を刺激するように移調するので、原曲の音程を略維持した音階列及び音程列を得ることができ、人工内耳装用者が音楽の旋律を認識することができるように、楽曲を提供することができる。また、健聴者においても違和感なく楽曲を聴取することができる。
　また、音声を人工内耳用の楽曲に変換した声楽として提供することで、音声の聴取を目的として開発された人工内耳に好ましく作用し、人工内耳装用者に音楽の聴取を容易に実現させることができる。
　原音の音形（立ち上がり、持続、減衰、余韻）を維持して信号処理を行うため、デジタルコード化された楽器音だけではなく、デジタルコード化された「人の声」を原音として用いることにより、つまり人の声を楽音として扱うことにより、人が歌う「歌唱」として認識させることができる。
　なお、上記実施形態では、音楽情報処理装置本体１４が音源装置１２から原曲を示すＭＩＤＩデータを音楽情報として取得する場合を説明したが、本発明はこれに限定されるものではなく、少なくとも旋律を示す音楽データであればよい。また、音源装置１２として、マイクロフォン等の音入力装置とアナログデジタル変換装置を具備して、マイクロフォン等の音入力装置により音楽の原音を集音し、その原音をデジタルデータに変換して出力するようにしてもよい。
　また、本実施形態では、音響信号発生器２４により各音階のピッチでスピーカ２６が作動されて、楽音が人工内耳装置３０へ供される場合を説明したが、スピーカ２６に代えて送信装置を具備するようにしてもよい。この場合、人工内耳装置３０のマイクロフォン３６近傍に送信装置からの信号を受信する受信装置を設けて、受信装置にスピーカを具備させ、受信した信号による楽音を、各音階のピッチで、作動させる。これによって、人工内耳装用者は、無線通信により音楽を知覚することができる。また、刺激命令を直接デジタル送信することもできる。
　さらに、本実施形態では音楽情報処理装置１０と人工内耳装置３０とを別個に構成した場合を説明したが、音楽情報処理装置１０を音声プロセッサ３８に組み込み、音声プロセッサ３８において処理させるようにしてもよい。また、本実施形態では、図４に示す拡張人工内耳音階を用いた場合を説明したが、この拡張人工内耳音階のみに限定されるものではない。例えば、複数の相違する拡張人工内耳音階を用意しておき、何れか１つを選択するようにしてもよい。この場合、複数の相違する拡張人工内耳音階を外部装置（例えば外部メモリや、インターネット上のファイルバーバ等の記憶装置）に格納しておき、音楽情報処理装置１０が無線通信や有線通信により拡張人工内耳音階を入手するようにしてもよい。また、音楽情報処理装置１０を音声プロセッサ３８に組み込む場合、音声プロセッサ３８が無線通信や有線通信により拡張人工内耳音階を入手するようにしてもよい。この場合、人工内耳装置３０の装着者が拡張人工内耳音階を選択することにより、人工内耳装置３０の装着者の聴取に好適な拡張人工内耳音階を選択することができる。この拡張人工内耳音階を選択することで、人工内耳装置３０の装着者は相違を伴う楽曲と感じて、あたかも編曲したように聴取することができる。これらの選択のために、組込んだ音楽情報処理装置１０に適宜接続できる操作卓１５によって、人工内耳装置３０の外部から必要な操作と設定の確認を行うことができる。
　なお、上記実施形態では、音楽情報処理装置１０によって、ＭＩＤＩデータから変換された音楽データがスピーカ２６で楽音として供されて人工内耳装置３０へ提供する場合を説明したが、本発明はこれに限定されるものではない。例えば、上述の音楽情報処理プログラムをコンピュータに実行させることによって、そのコンピュータを音楽情報処理装置や音楽情報処理装置本体として機能させることができる。また、上述の音楽情報処理プログラムをコンピュータで実行させるために記録媒体に格納しておき、その記録媒体から音楽情報処理プログラムを実行させて、音楽情報処理装置や音楽情報処理装置本体として機能させたり、記録媒体からコンピュータに音楽情報処理プログラムをインストールして、音楽情報処理プログラムをコンピュータで実行させて音楽情報処理装置や音楽情報処理装置本体として機能させたりすることができる。
　また、健聴者が一般的に利用する楽曲としての音楽情報から人工内耳用の音楽情報を製造することができる。すなわち、蝸牛内に複数の電極を設けて入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成して該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、入力工程と、抽出工程と、解析工程と、移調工程と、変換工程と、製造工程と、を含む方法により、人工内耳用の音楽情報を製造できる。詳細には、入力工程は、複数の楽音が連続した旋律を含む音楽情報を入力する。抽出工程は、前記入力手段により入力された音楽情報から主旋律を抽出する。解析工程は、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。移調工程は、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする。変換工程は、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する。製造工程は、前記変換された拡張音階セットを人工内耳用音楽情報として製造する。
　この場合、前記製造工程は、前記変換された拡張音階セットに基づいて再生装置で再生可能な楽音を生成し、生成した楽音を人工内耳用音楽情報として製造することができる。この製造された人工内耳用音楽情報は、拡声器や再生装置等により楽音を発生させることができ、健聴者に違和感なく楽曲を提供できると共に、人工内耳装置の装着者に違和感なく楽曲を提供できる人工内耳用の音楽情報を製造できる。
　また、前記入力工程において、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、前記製造工程において、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして人工内耳用音楽情報を製造することができる。この製造された人工内耳用音楽情報は、メロディのみならず歌詞を含む歌詞情報として製造できるので、歌詞を伴う楽曲として、人工内耳用の音楽情報を提供できる。
　なお、前記製造した人工内耳用音楽情報が記録された記録媒体は、人工内耳用音楽情報を容易に第三者に提供できるものである。例えば、人工内耳用音楽情報をＭＩＤＩデータ等の音楽情報として記録媒体に格納することで、人工内耳用音楽情報は第三者に提供可能になる。すなわち、人工内耳用音楽情報をＭＩＤＩデータ等の音楽情報とすることで、ＭＩＤＩデータ等の音楽情報を楽曲として再生するためのコンピュータ装置等により、人工内耳用音楽情報は楽曲として再生可能となり、人工内耳用音楽情報を第三者に提供できる。また、人工内耳用音楽情報を再生装置で再生可能な楽音として例えばコンパクトディスク等の記録媒体に格納することで、そのまま再生可能に人工内耳用音楽情報を第三者に提供できる。また、音楽情報処理装置１０や音楽情報処理装置本体１４を音声プロセッサ３８に組み込み、音声プロセッサ３８において処理させるようにしてもよい。
　上述した人工内耳用音楽情報は、健聴者を対象に製作された楽音に用いることが好ましい。例えば、人工内耳装着者が聴取することが想定される楽音には、電話器が発する楽音（例えば保留時のメロディ）、電車や列車の乗降客に対して提供される楽音（例えば、ホームアナウンス時の冒頭に流れるメロディ）、家電製品の操作者や利用者に提供される楽音（例えば設定時や処理完了時のメロディ）などが採用できる。本実施形態の音楽情報処理装置を用いることにより、従来、考慮が不充分であった人工内耳装用者に対しても、十分に聴取可能に楽曲（メロディ）を提供することができる。
１０　　　音楽情報処理装置
１２　　　音源装置
１４　　　音楽情報処理装置本体
２２　　　音声情報処理装置
２４　　　音響信号発生器
２６　　　スピーカ
３０　　　人工内耳装置
３２　　　外部装置
３４　　　内部装置
３６　　　マイクロフォン
３８　　　音声プロセッサ
４０　　　外部コイル
４２　　　内部コイル
４４　　　刺激ユニット
４６　　　電極アレイ
４８　　　蝸牛

Claims (11)

  1. 　蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力手段と、
    　前記入力手段により入力された音楽情報から主旋律を抽出する抽出手段と、
    　前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析手段と、
    　各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調手段と、
    　前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換手段と、
    　前記変換された拡張音階セットを出力する出力手段と、
    　を備えたことを特徴とする音楽情報処理装置。
  2. 　前記入力手段は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、
    　前記出力手段は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして出力する
    　ことを特徴とする請求項１に記載の音楽情報処理装置。
  3. 　前記出力手段から出力された拡張音階セットに基づいて楽音を生成し生成した楽音を発生する音発生手段をさらに備えたことを特徴とする請求項１または請求項２に記載の音楽情報処理装置。
  4. 　前記出力手段から出力された拡張音階セットに基づいて楽音データを生成し生成した楽音データを送信する送信手段をさらに備えたことを特徴とする請求項１～請求項３の何れか１項に記載の音楽情報処理装置。
  5. 　蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、
    　前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、
    　前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、
    　各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、
    　前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、
    　前記変換された拡張音階セットを出力する出力工程と、
    　を備えたことを特徴とする音楽情報処理方法。
  6. 　蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力ステップと、
    　前記入力手段により入力された音楽情報から主旋律を抽出する抽出ステップと、
    　前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析ステップと、
    　各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調ステップと、
    　前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換ステップと、
    　前記変換された拡張音階セットを出力する出力ステップと、
    　を含むことを特徴とする音楽情報処理プログラム。
  7. 　蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳装置と、
    　請求項１～請求項４の何れか１項の音楽情報処理装置と
    　を備えた人工内耳用音楽情報処理システム。
     
  8. 　蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、
    　前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、
    　前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、
    　各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、
    　前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、
    　前記変換された拡張音階セットを人工内耳用音楽情報として製造する製造工程と、
    　を含む人工内耳用音楽情報製造方法。
  9. 　前記製造工程は、前記変換された拡張音階セットに基づいて再生装置で再生可能な楽音を生成し、生成した楽音を人工内耳用音楽情報として製造する請求項８に記載の人工内耳用音楽情報製造方法。
  10. 　前記入力工程は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、
    　前記製造工程は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして人工内耳用音楽情報を製造する
    　請求項８または請求項９に記載の人工内耳用音楽情報製造方法。
  11. 　請求項８乃至請求項１０の何れか１項で製造した人工内耳用音楽情報が記録された記録媒体。
PCT/JP2011/064981 2010-06-29 2011-06-29 音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体 WO2012002467A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012522680A JPWO2012002467A1 (ja) 2010-06-29 2011-06-29 音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-148284 2010-06-29
JP2010148284 2010-06-29

Publications (1)

Publication Number Publication Date
WO2012002467A1 true WO2012002467A1 (ja) 2012-01-05

Family

ID=45402171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/064981 WO2012002467A1 (ja) 2010-06-29 2011-06-29 音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体

Country Status (2)

Country Link
JP (1) JPWO2012002467A1 (ja)
WO (1) WO2012002467A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104013480A (zh) * 2014-06-13 2014-09-03 山东大学 可感知音乐旋律的人工耳蜗听神经传导电极阵列

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11504479A (ja) * 1995-04-26 1999-04-20 アドヴァンスド バイオニクス コーポレイション 刺激波形の柔軟な制御を行なうマルチチャンネル蝸牛補助具
JP2008178680A (ja) * 2006-12-28 2008-08-07 Semiconductor Energy Lab Co Ltd 人工内耳装置、および体外集音装置、ならびにそれらを有する人工内耳システム
WO2008142651A1 (en) * 2007-05-22 2008-11-27 Koninklijke Philips Electronics N.V. A device for and a method of processing audio data
JP2008545170A (ja) * 2005-06-29 2008-12-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 音声信号を分析する装置、方法、およびコンピュータ・プログラム
JP2009508607A (ja) * 2005-09-19 2009-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 人工内耳、人工内耳の制御信号を生成するための装置、組合せ信号を生成するための装置、及び組合せ信号、並びに対応する方法
WO2009036146A1 (en) * 2007-09-11 2009-03-19 Med-El Elektromedizinische Geraete Gmbh Simultaneous intracochlear stimulation
JP4295765B2 (ja) * 2003-08-07 2009-07-15 財団法人浜松科学技術研究振興会 人工内耳の音声変換方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11504479A (ja) * 1995-04-26 1999-04-20 アドヴァンスド バイオニクス コーポレイション 刺激波形の柔軟な制御を行なうマルチチャンネル蝸牛補助具
JP4295765B2 (ja) * 2003-08-07 2009-07-15 財団法人浜松科学技術研究振興会 人工内耳の音声変換方法
JP2008545170A (ja) * 2005-06-29 2008-12-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 音声信号を分析する装置、方法、およびコンピュータ・プログラム
JP2009508607A (ja) * 2005-09-19 2009-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 人工内耳、人工内耳の制御信号を生成するための装置、組合せ信号を生成するための装置、及び組合せ信号、並びに対応する方法
JP2008178680A (ja) * 2006-12-28 2008-08-07 Semiconductor Energy Lab Co Ltd 人工内耳装置、および体外集音装置、ならびにそれらを有する人工内耳システム
WO2008142651A1 (en) * 2007-05-22 2008-11-27 Koninklijke Philips Electronics N.V. A device for and a method of processing audio data
WO2009036146A1 (en) * 2007-09-11 2009-03-19 Med-El Elektromedizinische Geraete Gmbh Simultaneous intracochlear stimulation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104013480A (zh) * 2014-06-13 2014-09-03 山东大学 可感知音乐旋律的人工耳蜗听神经传导电极阵列
CN104013480B (zh) * 2014-06-13 2016-04-13 山东大学 可感知音乐旋律的人工耳蜗听神经传导电极阵列

Also Published As

Publication number Publication date
JPWO2012002467A1 (ja) 2013-08-29

Similar Documents

Publication Publication Date Title
KR100275799B1 (ko) 음향구성장치
Drullman et al. Speech perception and talker segregation: Effects of level, pitch, and tactile support with multiple simultaneous talkers
CN107925830B (zh) 听力假体声音处理
US20100260363A1 (en) Midi-compatible hearing device and reproduction of speech sound in a hearing device
WO2011100802A1 (en) Hearing apparatus and method of modifying or improving hearing
Straatman et al. Advantage of bimodal fitting in prosody perception for children using a cochlear implant and a hearing aid
CN1832713B (zh) 人工内耳的语音转换方法
JP5598516B2 (ja) カラオケ用音声合成システム，及びパラメータ抽出装置
Omran et al. Pitch ranking, melody contour and instrument recognition tests using two semitone frequency maps for nucleus cochlear implants
JP2007017572A (ja) 外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラム
Marozeau et al. Timbre perception with cochlear implants
WO2012002467A1 (ja) 音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体
Kasturi et al. Effect of filter spacing on melody recognition: acoustic and electric hearing
Nogueira Evaluation of new music compositions in live concerts by cochlear implant users and normal hearing listeners
Innes-Brown et al. New music for the Bionic Ear: An assessment of the enjoyment of six new works composed for cochlear implant recipients
Cappotto et al. Dominant melody enhancement in cochlear implants
CN101692974A (zh) 用于电子耳蜗植入者的音乐能力测试系统
US11463829B2 (en) Apparatus and method of processing audio signals
JP5925493B2 (ja) 会話保護システム及び会話保護方法
Gupta et al. Simulated output of Continuous Interleaved Sampling and Frequency Amplitude Modulation Encoding techniques used in Cochlear Implant
Saimai et al. Speech synthesis algorithm for Thai cochlear implants
Brueggeman et al. Effect of Spectral Complexity Reduction and Number of Instruments on Musical Enjoyment with Cochlear Implants.
Burdo Cochlear Implants-Basic Textbook
WO2024200875A1 (en) Ego dystonic voice conversion for reducing stuttering
Vecellio Music-Remixing Preferences of Prelingual and Postlingual Cochlear Implant Users

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800929

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012522680

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800929

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载