+

WO2018146778A1 - 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム - Google Patents

送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム Download PDF

Info

Publication number
WO2018146778A1
WO2018146778A1 PCT/JP2017/004790 JP2017004790W WO2018146778A1 WO 2018146778 A1 WO2018146778 A1 WO 2018146778A1 JP 2017004790 W JP2017004790 W JP 2017004790W WO 2018146778 A1 WO2018146778 A1 WO 2018146778A1
Authority
WO
WIPO (PCT)
Prior art keywords
characteristic
pulse
value
unit
light emission
Prior art date
Application number
PCT/JP2017/004790
Other languages
English (en)
French (fr)
Inventor
健介 倉木
田中　竜太
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2017/004790 priority Critical patent/WO2018146778A1/ja
Priority to CN201780086050.8A priority patent/CN110268643B/zh
Priority to EP17895770.0A priority patent/EP3582410B1/en
Priority to JP2018566711A priority patent/JP6848988B2/ja
Publication of WO2018146778A1 publication Critical patent/WO2018146778A1/ja
Priority to US16/534,844 priority patent/US10951312B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/524—Pulse modulation

Definitions

  • the present invention relates to, for example, a communication system that transmits light using light, a transmission device, a transmission control device, a transmission method, and a computer program for transmission used in such a communication system.
  • LEDs light emitting diodes
  • the LED has a feature that its response speed is faster than that of an incandescent bulb or a fluorescent lamp.
  • Visible light communication technology that uses this feature to communicate by superimposing information on the light emitted from the LED by blinking the LED at a speed that cannot be recognized by the human eye has been studied.
  • a technique for superimposing information to be transmitted on illumination light is also called illumination light communication.
  • Visible light communication is being considered for use in places where radio wave usage is restricted, for information distribution limited to light, such as indoors, or for use in Intelligent Transport Systems (ITS).
  • ITS Intelligent Transport Systems
  • the receiving device When superimposing transmitted information on visible light by pulse modulation, it is necessary to blink the light source at a high speed, for example, several kHz, so that humans cannot detect flickering of visible light due to the pulse modulation. Is done.
  • the receiving device in order for a receiving device that receives information to demodulate information superimposed on visible light, the receiving device is required to be able to identify such blinking of visible light at high speed.
  • the receiving apparatus has a rolling shutter type camera and can adjust exposure or sensitivity.
  • the receiving device may not be able to identify such blinking of visible light at high speed. For example, when the shutter speed of the camera included in the receiving apparatus is fixed at a speed slower than the period of pulse modulation, the receiving apparatus cannot identify such blinking of visible light. As a result, the receiving device may not be able to demodulate the transmitted information.
  • an object of the present invention is to provide a transmission device that can transmit information to the reception device regardless of the exposure method of the camera included in the reception device that receives the light on which the information is superimposed.
  • a transmission device has a lighting unit that can change the first characteristic and the second characteristic of emitted light in a time series, and a waveform according to information to be transmitted in a period having a first time length
  • the illumination unit is controlled so as to modulate the first characteristic of the light emitted from the illumination unit according to the light emission pattern having the first time length along the time series, and the light emitted from the illumination unit according to the information to be transmitted
  • the illumination unit is controlled so as to pulse-modulate the second characteristic with a pulse pattern having a second time length shorter than the first time length, and a plurality of sub-intervals obtained by dividing a period having the first time length For each of the second characteristics of each pulse included in the sub-section, the average value of the second characteristics of the light emitted from the illumination unit in the sub-section is a value that maintains the waveform of the light emission pattern.
  • a transmission control device has a waveform corresponding to information to be transmitted and has a first characteristic of light emitted from the illumination unit according to a light emission pattern having a first time length in a period having a first time length.
  • a light emission pattern modulation unit that controls the illumination unit to modulate along the series, and a second time length of the second characteristic of the light emitted from the illumination unit according to the information to be transmitted is shorter than the first time length
  • the lighting unit is controlled to perform pulse modulation with a pulse pattern, and for each of a plurality of sub-sections obtained by dividing a period having the first time length, an average value of the second characteristic of light emitted from the lighting unit in the sub-section Has a pulse pattern modulation unit for setting a peak value and a bottom value for the second characteristic of each pulse included in the sub-interval so that the value of the waveform maintains the waveform of the light emission pattern.
  • a communication system having a transmitting device and a receiving device.
  • the transmission device transmits the first characteristic and the second characteristic of the emitted light in a period having a first time length and an illumination unit that can change the first characteristic and the second characteristic in time series.
  • Information that controls and transmits the illuminating unit so as to modulate the first characteristic of the light emitted from the illuminating unit according to a light emission pattern having a waveform corresponding to information and having a first time length in time series.
  • the illumination unit is controlled to pulse-modulate the second characteristic of the light emitted from the illumination unit in accordance with the pulse pattern having the second time length shorter than the first time length, and the period having the first time length
  • each of the sub-sections included in the sub-section is such that the average value of the second characteristic of the light emitted from the illumination unit in the sub-section is a value that maintains the waveform of the light emission pattern
  • a control section for setting a peak value and a bottom value.
  • the receiving device is based on an imaging unit that generates an image showing a shooting range including at least a part of a range irradiated with light from the transmission device at a predetermined shooting period, and a plurality of images generated by the imaging unit.
  • a control unit for decoding the transmitted information is based on an imaging unit that generates an image showing a shooting range including at least a part of a range irradiated with light from the transmission device at a predetermined shooting period, and a plurality of images generated by the imaging unit.
  • a transmission method in a period having a first time length, a first characteristic of light emitted from the illumination unit according to a light emission pattern having a waveform corresponding to information to be transmitted and having the first time length is time-sequentially.
  • the second characteristic of the light emitted from the illumination unit is modulated with a pulse pattern having a second time length shorter than the first time length according to information to be transmitted, and the first time length
  • the average value of the second characteristic of the light emitted from the illumination unit in the sub-section is set to a value that maintains the waveform of the light emission pattern. Setting a peak value and a bottom value for the second characteristic of each included pulse.
  • a transmission computer program has a first characteristic of light emitted from the illumination unit according to a light emission pattern having a waveform corresponding to information to be transmitted and having a first time length in a period having a first time length.
  • the second characteristic of the light emitted from the illuminating unit is modulated along a time series in accordance with information to be transmitted, and is pulse-modulated with a pulse pattern having a second time length shorter than the first time length, For each of a plurality of sub-sections obtained by dividing a period having a time length, the sub-interval is set such that the average value of the second characteristic of the light emitted from the illumination unit in the sub-section becomes a value that maintains the waveform of the light emission pattern. Instructions are included for causing the computer to set a peak value and a bottom value for the second characteristic of each pulse included in the interval.
  • the transmission device disclosed in this specification can transmit information to the reception device regardless of the exposure method of the camera included in the reception device that receives the light on which the information is superimposed.
  • FIG. 1 is a schematic configuration diagram of a communication system according to one embodiment.
  • FIG. 2 is a hardware configuration diagram of a transmission device used in the communication system shown in FIG.
  • FIG. 3 is a functional block diagram of a control unit related to transmission processing.
  • FIG. 4 is a diagram illustrating an example of a relationship between a light emission pattern and a symbol value to be superimposed.
  • FIG. 5 is a diagram illustrating an example of the relationship between the temporal change in the value of each component in the YUV color space and the temporal change in the value of each component in the RGB color space according to the light emission pattern.
  • FIG. 6 is a diagram illustrating an example of a temporal change in the brightness of one color component according to the light emission pattern.
  • FIG. 7 is an explanatory diagram of multiplexing of modulation by the light emission pattern and pulse modulation.
  • FIG. 8 is an explanatory diagram of multiplexing of light emission pattern modulation and pulse modulation according to a modification.
  • FIG. 9 is an explanatory diagram of multiplexing of the modulation by the light emission pattern and the pulse modulation according to another modification.
  • FIG. 10 is an operation flowchart of transmission processing by the transmission apparatus.
  • FIG. 11 is a hardware configuration diagram of a receiving device used in the communication system shown in FIG.
  • FIG. 12 is a functional block diagram of a control unit related to reception processing.
  • FIG. 13 is a conceptual diagram of a reception process for information superimposed by a light emission pattern.
  • FIG. 14 is a conceptual diagram of a reception process for information superimposed by pulse modulation.
  • FIG. 15 is an operation flowchart of reception processing by the reception device.
  • the transmission device modulates the first characteristic of the light emitted from the illumination unit with a light emission pattern having a waveform corresponding to the information to be transmitted and having a first time length. Further, the transmission device performs pulse modulation on the second characteristic of the light emitted from the illumination unit in accordance with the information to be transmitted with a pulse pattern having a second time length shorter than the first time length.
  • the transmission apparatus includes each of the plurality of sub-sections obtained by dividing the period having the first time length modulated by the light emission pattern so as to maintain the waveform of the light emission pattern. A peak value and a bottom value are set for the second characteristic of each pulse.
  • the transmission device can transmit information superimposed on the light emitted from the illumination unit to the reception device regardless of the camera exposure method of the reception device.
  • FIG. 1 is a schematic configuration diagram of a communication system according to one embodiment.
  • the communication system 100 includes a transmission device 1 and a reception device 2. And the transmission apparatus 1 superimposes the information transmitted on the light which the illumination part which an own apparatus has emits.
  • the receiving device 2 has an imaging unit, and is obtained in a time series obtained by continuously shooting a shooting range including the object 3 illuminated with the light from the transmission device 1 in the imaging unit. Information superimposed on light is decoded from a plurality of images arranged side by side.
  • the communication system 100 includes only one receiving device 2, but the number of receiving devices 2 included in the communication system 100 is not limited to one.
  • the communication system 100 may include a plurality of receiving devices 2.
  • the receiving apparatus 2 is not limited to the one having an exposure type camera that can identify individual pulses of pulse-modulated light, and exposure that cannot identify individual pulses of pulse-modulated light. You may have a camera of a system.
  • FIG. 2 is a hardware configuration diagram of the transmission apparatus 1.
  • the transmission device 1 includes a communication interface unit 11, a storage unit 12, a storage medium access device 13, an illumination unit 14, and a control unit 15.
  • the transmitting device 1 superimposes information to be transmitted acquired via the communication interface unit 11 or the storage medium access device 13 or stored in advance in the storage unit 12 on the light emitted by the illumination unit 14. Send.
  • the communication interface unit 11 includes, for example, a communication interface for connecting the transmission device 1 to a wired or wireless communication network and its control circuit. Then, the communication interface unit 11 passes information received from another device via the communication network to the control unit 15.
  • the storage unit 12 includes, for example, a read-only nonvolatile semiconductor memory and a readable / writable volatile semiconductor memory. And the memory
  • FIG. The storage unit 12 stores various information and programs used by the control unit 15 to perform transmission processing. For example, the storage unit 12 stores, for each symbol value, waveform data representing a light emission pattern corresponding to the symbol value.
  • the waveform data representing the light emission pattern includes, for example, the phase and period of the light emission pattern at the start of control of light from the illumination unit 14 corresponding to the light emission pattern, the maximum value and the minimum value of the characteristics of the modulated light.
  • the storage unit 12 stores a pulse pattern in pulse modulation corresponding to the symbol value. If the information to be transmitted is fixed, the storage unit 12 may store waveform data and a pulse pattern representing the light emission pattern of each symbol included in the information in advance.
  • the storage medium access device 13 is a device that accesses the storage medium 16 such as a magnetic disk, a semiconductor memory card, and an optical storage medium.
  • the storage medium access device 13 reads, for example, a computer program for transmission processing executed on the control unit 15 or information to be transmitted, which is stored in the storage medium 16, and passes it to the control unit 15.
  • the illumination unit 14 includes at least one light emitting element capable of changing the first characteristic and the second characteristic of the emitted light in time series, and a drive circuit.
  • the drive circuit drives the at least one light emitting element so as to change the characteristics of the light emitted from the at least one light emitting element in accordance with a control signal from the control unit 15.
  • the drive circuit for example, in accordance with the brightness of the light emitted from the light emitting element or the brightness of the color component instructed by the control signal, the magnitude of the current flowing through the light emitting element or the period during which the current flows through the light emitting element. Adjust the duty ratio (ie, when pulse width modulation is employed). When pulse width modulation is employed, if on / off of the current flowing through the light emitting element is controlled with a cycle shorter than the pulse pattern, for example, a cycle of 1/1000 to 1/100 of the second time length. Good.
  • the first characteristic of the light that can change along the time series can be, for example, a luminescent color.
  • the first characteristic of the light that can change along the time series may be luminance.
  • the first characteristic of the light that can change along the time series may be a combination of the emission color and the luminance.
  • the second characteristic of the light that can be changed along the time series can be a predetermined color component or luminance.
  • the first characteristic can be a luminescent color
  • the second characteristic can be a predetermined color component.
  • both the first characteristic and the second characteristic may be luminance.
  • the first characteristic may be luminance
  • the second characteristic may be emission color.
  • the illuminating unit 14 includes, for example, at least two types of light-emitting elements having different emission colors, for example, at least one of a red LED, a green LED, and a blue LED. There are two types. And since the ratio of the brightness
  • the illumination unit 14 may include at least one light emitting element that can modulate the emission color itself.
  • a light emitting element capable of modulating the emission color itself is, for example, a light emitting element that emits light including a plurality of wavelengths, such as a fluorescent lamp, and a liquid crystal panel having a color filter arranged in an array, for each light wavelength. It is possible to use a combination with a light modulation element capable of adjusting the transmittance.
  • the illumination unit 14 has at least one light-emitting element whose luminance can be changed in time series, for example, white LED or organic electroluminescence ( It may have an Electro (Luminescence, EL) element.
  • the illuminating unit 14 adjusts the first characteristic of the emitted light at a period having a first time length according to the light emission pattern according to the value of the symbol included in the transmitted information. By changing to a series, information is superimposed on the light emitted from the illumination unit 14.
  • the illuminating unit 14 modulates the second characteristic of the emitted light with a period having a second time length shorter than the first time length, according to a pulse pattern corresponding to the value of the symbol. Therefore, the light emitted from the illuminating unit 14 is multiplexed and modulated by the modulation by the light emission pattern and the pulse modulation.
  • the control unit 15 is an example of a transmission control device, and includes one or a plurality of processors and their peripheral circuits. And the control part 15 controls the transmitter 1 whole.
  • the control unit 15 receives information to be transmitted via the communication interface unit 11 or from the storage medium access device 13, the control unit 15 temporarily stores the information in the storage unit 12.
  • the control unit 15 reads information to be transmitted from the storage unit 12 and divides the information in symbol units. Then, for each symbol, the control unit 15 reads waveform data representing a light emission pattern corresponding to the value of the symbol and data representing a pulse pattern corresponding to the value of the symbol from the storage unit 12.
  • the control unit 15 changes the first characteristic of the light emitted from the illumination unit 14 according to the light emission pattern along the time series, and changes the second characteristic of the light emitted from the illumination unit 14 according to the pulse pattern.
  • the illumination unit 14 is controlled so as to change along the series.
  • the timing for executing the transmission process may be set in advance.
  • the control unit 15 starts transmission processing in response to a transmission processing start instruction signal from another device. Also good.
  • the control unit 15 may repeatedly execute the transmission process at regular intervals.
  • FIG. 3 is a functional block diagram of the control unit 15 relating to transmission processing.
  • the control unit 15 includes a light emission pattern modulation unit 151 and a pulse pattern modulation unit 152.
  • the light emission pattern modulation unit 151 modulates the first characteristic of the light emitted from the illumination unit 14 with the light emission pattern corresponding to the symbol value.
  • FIG. 4 is a diagram illustrating an example of a relationship between a light emission pattern and a symbol value to be superimposed.
  • the horizontal axis represents time
  • the vertical axis represents the first characteristic of light emitted from the transmission apparatus 1.
  • the light emission pattern 401 and the light emission pattern 402 correspond to symbol values “0” and “1”, respectively.
  • the first characteristic of light periodically changes with time, but the phases are shifted from each other by 180 °.
  • the transmission device 1 can superimpose information on the light emitted by the illumination unit 14 by changing the phase of the first characteristic of the light in time variation for each symbol value. Note that the relationship between the light emission pattern and the symbol value is not limited to this example.
  • the light emission pattern is a periodic fluctuation pattern in which the first characteristic of light changes in a sine wave shape with the passage of time.
  • the light emission pattern is not limited to this example, and may be, for example, a pattern in which the first characteristic of light periodically changes in a triangular shape or a rectangular pulse shape.
  • the light emission pattern is not limited to a periodically changing pattern, and may be, for example, a pattern in which the first characteristic of light changes monotonously within a period corresponding to one symbol.
  • the first characteristic of the light emitted from the illumination unit 14 at the start time of the period corresponding to the symbol has the first value, and the first characteristic at the end time of the period.
  • the first characteristic may change monotonously so that the characteristic of 1 has the second value.
  • the first characteristic of the light emitted from the illumination unit 14 has the second value at the start of the period corresponding to the symbol, and the first characteristic at the end of the period.
  • the light characteristic may change monotonously so that the characteristic of 1 has the first value.
  • One cycle of the light emission pattern is, for example, the reciprocal of the imaging rate so that the reception device can reproduce the waveform of the light emission pattern even at the imaging rate of the imaging unit of the reception device 2.
  • the first time length can be several tens of milliseconds to several hundreds of milliseconds (that is, the first frequency corresponding to the first time length is several Hz to several tens of Hz).
  • the light emission pattern modulation unit 151 divides information to be transmitted in units of a bit string having one to a plurality of bits, and each bit string is set as one symbol.
  • the light emission pattern modulation unit 151 reads data representing a light emission pattern corresponding to the value of the symbol from the storage unit 12. Then, the light emission pattern modulation unit 151 sets a period having a predetermined length for each symbol.
  • the light emission pattern modulation unit 151 causes the illumination unit 14 to repeat a light emission pattern corresponding to the symbol value for one to several cycles during the period.
  • the light emission pattern modulation unit 151 may include a predetermined symbol string (for example, “01010101”) as a preamble at a predetermined position of information to be transmitted, for example, at the head.
  • the light emission pattern modulation unit 151 may include an error detection code such as a cyclic redundancy check (CCR) code in the information to be transmitted.
  • CCR cyclic redundancy check
  • the light emission pattern modulation unit 151 can use various modulation methods used in wireless communication as a light emission pattern modulation method according to a symbol value. For example, the light emission pattern modulation unit 151 may associate one symbol with one bit. In this case, the light emission pattern modulation unit 151 sets the light emission pattern corresponding to the symbol value to “0” and the symbol value to “1” as in the case of binary phase shift keying (binary phase-shift keying, BPSK). The phase is inverted by 180 ° with the corresponding light emission pattern.
  • binary phase shift keying binary phase-shift keying
  • the light emission pattern modulation unit 151 may associate two bits with one symbol.
  • the light emission pattern modulation unit 151 may set a light emission pattern in which the first characteristic of light periodically varies according to, for example, a quadrature phase-shift keying (QQPSK). That is, the light emission pattern modulation unit 151 periodically shifts the light for each of the four values ('00', '01', '10', and '11') that the symbol can take.
  • QQPSK quadrature phase-shift keying
  • the light emission pattern modulation unit 151 may also modulate the change width (hereinafter referred to as amplitude level) of the first characteristic of light according to the value of the symbol.
  • the light emission pattern modulation unit 151 may set a light emission pattern having a different combination of amplitude level and phase for each value that a symbol can take, such as quadrature amplitude modulation (QAM). .
  • QAM quadrature amplitude modulation
  • the light emission pattern modulation unit 151 monotonically increases the amplitude level within a period corresponding to the symbol for a certain symbol value, and monotonically increases the amplitude level within the period corresponding to the symbol for other symbol values. It may be decreased.
  • FIG. 5 shows the temporal change of the value of each component in the YUV color space according to the light emission pattern and the RGB color space when the first characteristic of the light that changes along the time series in the light emission pattern is the light emission color. It is a figure which shows an example of the relationship of the time change of the value of each component in.
  • each component in the YUV color space corresponding to the light emission pattern is shown on the left side of FIG.
  • the Y component that is, the luminance component is kept constant regardless of the passage of time.
  • the value of the U component which is one of the color difference components, changes over time according to the light emission pattern.
  • the value of the V component which is the other color difference component, also changes over time according to the light emission pattern.
  • Graphs 511 to 513 represent temporal changes of the red component, the green component, and the blue component, respectively. As shown in graphs 511 to 513, each color component changes according to the light emission pattern.
  • the light emission pattern modulation unit 151 includes a plurality of sampling points (for example, 10 to 20 points) in one cycle of the light emission pattern. ) Is set. Then, the light emission pattern modulation unit 151 is provided at each sampling point when the value of the color component is changed to a sine wave in a color space such as YUV or HLS in which the luminance component and the color component are represented independently of each other. Find the value of the color component.
  • the light emission pattern modulation unit 151 for each sampling point, from the luminance component value and the color component value in the color space, the red color in the RGB color space that can correspond to the light emission color of each light emitting element included in the illumination unit 14.
  • the value of each component of green, blue is obtained.
  • the light emission pattern modulation unit 151 determines the brightness of the color component emitted from each light emitting element according to the value of each component of red, green, and blue for each sampling point.
  • alteration part 151 keeps the value of the luminance component of the whole light emitted from the illumination part 14 constant.
  • the light quantity per unit time of the light is kept constant.
  • Human vision is relatively sensitive to changes in light intensity, but relatively insensitive to changes in color. Therefore, by keeping the light amount per unit time constant, the light emission pattern modulation unit 151 is perceived by the person that the characteristics of the light from the illumination unit 14 change in time series according to the light emission pattern. Can be difficult.
  • FIG. 6 is a diagram illustrating an example of a temporal change in brightness of one color component corresponding to the light emission pattern.
  • the horizontal axis represents time
  • the vertical axis represents brightness.
  • the graph 601 shown on the upper side represents a time change of the blue component according to the light emission pattern as an example.
  • sampling points a, b, and c are set within one cycle of the light emission pattern.
  • a graph 602 shown on the lower side represents the brightness of the blue component at each sampling point.
  • the blue component is discrete so that the blue component value of the sampling point included in the sub-section 611 is obtained. Changed to
  • the light emission pattern modulation unit 151 sets a plurality of sampling points (for example, 10 to 20 points) in one cycle of the light emission pattern. Set. And the light emission pattern modulation part 151 should just determine the brightness
  • the light emission pattern modulation unit 151 determines, for each symbol included in the transmitted information, the color component value or luminance emitted by each light emitting element of the illumination unit 14 at each sampling point corresponding to the symbol. .
  • the light emission pattern modulation unit 151 controls a color component value or luminance at each sampling point for each symbol for light emitting elements that are not related to the pulse-modulated second characteristic among the light emitting elements of the illumination unit 14. Is output to the illumination unit 14.
  • the light emission pattern modulation unit 151 sets the value or luminance of the color component emitted by each light emitting element at each sampling point for the light emitting elements related to the second characteristic that is pulse-modulated among the light emitting elements included in the illumination unit 14. Notify the pulse pattern modulation unit 152.
  • the pulse pattern modulation unit 152 also divides information to be transmitted by pulse modulation in units of bit strings having one to a plurality of bits, similarly to the information transmitted by modulation by the light emission pattern, , One symbol.
  • the pulse pattern modulation unit 152 reads data representing a pulse pattern corresponding to the value of the symbol from the storage unit 12. Then, the pulse pattern modulation unit 152 performs pulse modulation on the second characteristic of light emitted from the illumination unit 14 with a pulse pattern corresponding to the value of the symbol for each symbol.
  • the pulse pattern can be a pattern based on Manchester code.
  • the pulse pattern may be a pattern based on 4 ⁇ ⁇ ⁇ Pulse Phase Modulation (PPM).
  • the second time period can be set to, for example, several hundred ⁇ sec to 1 msec (that is, the second frequency corresponding to the second time period is 1 kHz to several kHz).
  • the pulse pattern modulation unit 152 may include a predetermined symbol sequence as a preamble at the head of information to be transmitted, similarly to the light emission pattern modulation unit 151.
  • the pulse pattern modulation unit 152 may include an error detection code such as a CRC code in the information to be transmitted.
  • the receiving device 2 can easily decode the information transmitted by the pulse pattern accurately.
  • the pulse pattern modulation unit 152 performs, for each sub-section in the modulation by the light emission pattern, the first of each pulse included in the sub-section so that the modulation by the light emission pattern and the modulation by the pulse pattern are multiplexed.
  • a peak value and a bottom value for the second characteristic are set.
  • the peak value and the bottom value for the second characteristic of the pulse are simply referred to as the pulse peak value and the bottom value, respectively.
  • the pulse pattern modulation unit 152 makes the average value of the second characteristic in the sub-section equal to the value of the second characteristic at the sampling point of the light emission pattern included in the sub-section.
  • the peak value and the bottom value of each pulse included in the sub-interval are set.
  • the pulse pattern modulation unit 152 may set the peak value and the bottom value of each pulse according to the following description.
  • FIG. 7 is an explanatory diagram of multiplexing of modulation by the light emission pattern and pulse modulation.
  • the horizontal axis represents time, and the vertical axis represents the brightness of the color component that is pulse-modulated.
  • the blue component is pulse-modulated.
  • the blue component changes for each of the sub-intervals PS1 to PS3 by the modulation by the light emission pattern.
  • the blue component is the brightest in the sub-section PS2, and the blue component is the darkest in the sub-section PS1.
  • the blue component has a pulse pattern having a pulse length PW corresponding to a second time period shorter than the individual sub-intervals PS1 to PS3 according to the transmitted information.
  • the blue component is pulse phase modulated by a Manchester code. That is, the length of the period in which the pulse has the bottom value and the period in which the pulse has the peak value per symbol are equal.
  • the lowermost graph 703 represents the time change of the blue component in which the modulation by the light emission pattern and the pulse modulation are multiplexed.
  • the average value of the multiplex-modulated blue component in that sub-section is equal to the value of the blue component at the sampling point included in that sub-section according to the modulation by the light emission pattern.
  • the peak value and the bottom value of each pulse are set.
  • the peak value of each pulse is set based on the value of the blue component at the sampling point included in the sub-section according to the modulation by the light emission pattern in the sub-section including the pulse.
  • the bottom value of each pulse is set to a constant value.
  • the peak value of each pulse is set according to the following equation.
  • C k1 represents the peak value of each pulse included in the sub-interval k.
  • C k2 represents the bottom value of each pulse included in the sub-interval k.
  • FIG. 8 is an explanatory diagram of multiplexing of the modulation by the light emission pattern and the pulse modulation according to the modification.
  • this modification not only the peak value of each pulse but also the bottom value is adjusted according to the modulation by the light emission pattern, and the amplitude of each pulse is kept constant.
  • the horizontal axis represents time
  • the vertical axis represents the brightness of the color component that is pulse-modulated.
  • the blue component is pulse-modulated as an example.
  • the blue component changes for each of the sub-intervals PS1 to PS3 due to the modulation by the light emission pattern.
  • the blue component has a pulse pattern having a pulse length PW corresponding to a second time period shorter than each of the sub-intervals PS1 to PS3, depending on the transmitted information. Is pulse phase modulated.
  • the bottom graph 803 represents the time change of the blue component in which the modulation by the light emission pattern and the pulse modulation are multiplexed. Also in this example, for each sub-section, the average value of the multiplex-modulated blue component in that sub-section becomes equal to the value of the blue component at the sampling point included in that sub-section according to the modulation by the light emission pattern.
  • the peak value and the bottom value of each pulse are set. In this example, the amplitude of each pulse is kept constant. Therefore, the peak value and the bottom value of each pulse are set according to the following equation.
  • A is the amplitude of the pulse. According to this modification, the amplitude of the pulse is kept constant regardless of the waveform of the light emission pattern, so that it is easy for the receiving device 2 to specify the pulse pattern superimposed on the light emitted from the illumination unit 14. Become.
  • FIG. 9 is an explanatory diagram of multiplexing of the modulation by the light emission pattern and the pulse modulation according to another modification.
  • the light from the illumination unit 14 is pulse phase modulated in accordance with the 4PPM code. That is, in this example, the pulse period having the second time length PW corresponding to one symbol is divided into four, and in any one of the four divided pulse periods, a pulse is generated according to the value of the symbol. Is the bottom value, otherwise the pulse is the peak value.
  • the horizontal axis represents time
  • the vertical axis represents the brightness of the color component to be pulse-modulated.
  • the blue component is pulse-modulated as an example.
  • the blue component changes for each of the sub-intervals PS1 to PS3 due to the modulation by the light emission pattern.
  • the blue component is pulse-phase-modulated with a pulse pattern having a second time length PW shorter than the individual sub-intervals PS1 to PS3 according to the transmitted information.
  • the lowermost graph 903 represents the time change of the blue component in which the modulation by the light emission pattern and the pulse modulation are multiplexed.
  • the average value of the multiplex-modulated blue component in that sub-interval is equal to the value of the blue component at the sampling point included in that sub-interval according to the modulation by the light emission pattern.
  • the peak value and bottom value of each pulse are set. In this example, the bottom value of each pulse is kept constant.
  • the pulse has a bottom value at 1/4 of the second time length corresponding to one symbol, while the pulse has a peak value at 3/4 of the second time length. Therefore, the peak value and the bottom value of each pulse are set according to the following equation.
  • the color component to be pulse-modulated has a bottom value of the pulse at 3/4 of the second time length corresponding to one symbol, while the 1/4 of the second time length.
  • the pulse may be pulse-modulated so as to have a peak value.
  • the peak value and the bottom value of each pulse are set according to the following equation, for example.
  • the peak value and the bottom value of each pulse may be set so that the amplitude of each pulse is constant.
  • the average value of the color components that are pulse-modulated in each sub-section is a value that maintains the waveform according to the light emission pattern
  • the average value of the color components that are pulse-modulated in each sub-section and the sub-section may not match.
  • the average value of the color components that are pulse-modulated in the sub-interval is higher by a predetermined value than the value of the color component at the sampling point of the light emission pattern corresponding to the sub-interval.
  • the peak value and bottom value of each pulse may be set.
  • the peak value and the bottom value of each pulse may be set such that the higher the color component value at the sampling point of the light emission pattern included in the sub-section, the larger the predetermined value.
  • the average value of the color components that are pulse-modulated in the sub-interval is lower by a predetermined value than the color component value at the sampling point of the light emission pattern included in the sub-interval.
  • the peak value and bottom value of each pulse may be set. As described above, even when the peak value and the bottom value of each pulse are set, the waveform of the light emission pattern is maintained. Therefore, the reception device 2 transmits the light modulated by the light emission pattern by demodulating the light. Information can be decrypted.
  • the pulse pattern modulation unit 152 generates, for each symbol, a control signal that has a pulse peak value and a bottom value set by the second characteristic value in a pulse pattern corresponding to the value of the symbol, and illuminates the control signal. To the unit 14.
  • FIG. 10 is an operation flowchart of transmission processing by the transmission apparatus 1.
  • the light emission pattern modulation unit 151 of the control unit 15 of the transmission device 1 divides information to be transmitted into symbols (step S101). Then, the light emission pattern modulation unit 151 sets a period for superimposing the light emission pattern for each symbol (step S102). In addition, the light emission pattern modulation unit 151 selects the first symbol among the unfocused symbols included in the information to be transmitted as the focused symbol (step S103). Then, the light emission pattern modulation unit 151 determines a light emission pattern according to the symbol value of interest (step S104).
  • the light emission pattern modulation unit 151 sets a plurality of sampling points in a period having the first time length, and outputs the color component value C k0 of each light emitting element of the illumination unit 14 for each sub-section including the sampling points. It is determined according to (step S105). Then, for each color component that is not pulse-modulated, the light emission pattern modulation unit 151 generates, for each sub-section, a control signal that causes the corresponding light-emitting element to emit light with the color component value at the sampling point included in the sub-section. Is output to the illumination unit 14 (step S106).
  • the pulse pattern modulation unit 152 is included in each subsection so that the average value of the color components that are pulse-modulated in the subsection is equal to the color component value C k0 at the sampling point.
  • a peak value C k1 and a bottom value C k2 of each pulse are set (step S107).
  • the pulse pattern modulation unit 152 has a second time length corresponding to the peak value C k1 and bottom value C k2 of each pulse set for each sub-interval and the value for each symbol for the color component to be pulse-modulated.
  • a control signal for pulse modulation is generated based on the pulse pattern. Then, the pulse pattern modulation unit 152 outputs the control signal to the illumination unit 14 (step S108).
  • the control unit 15 determines whether or not an unfocused symbol that is not set as a focused symbol remains (step S109). If an unfocused symbol remains (step S109—Yes), the control unit 15 repeats the processing from step S103. On the other hand, if no unfocused symbol remains (step S109—No), the control unit 15 ends the transmission process.
  • FIG. 11 is a hardware configuration diagram of the receiving device 2.
  • the receiving device 2 can be, for example, a portable terminal having an imaging unit or a stationary device.
  • the receiving device 2 includes a communication interface unit 21, a storage unit 22, a storage medium access device 23, an imaging unit 24, a user interface unit 25, and a control unit 26.
  • the receiving device 2 has a plurality of images obtained by photographing a photographing range including at least a part of a region irradiated with light from the transmitting device 1 a plurality of times along the time series at a predetermined photographing rate by the imaging unit 24. Is analyzed, the information transmitted by the transmission device 1 is decoded.
  • the communication interface unit 21 includes, for example, a communication interface for connecting the receiving device 2 to a wired or wireless communication network and its control circuit. Then, the communication interface unit 21 transmits the information received from the control unit 26 to another device, for example, a server via the communication network. The communication interface unit 21 passes information received from another device to the control unit 26.
  • the storage unit 22 includes, for example, a read-only nonvolatile semiconductor memory and a readable / writable volatile semiconductor memory. And the memory
  • the storage unit 22 stores various information and programs used by the control unit 26 to perform reception processing. Further, the storage unit 22 may store information transmitted and decoded by the transmission device 1.
  • the storage medium access device 23 is a device that accesses a storage medium 27 such as a magnetic disk, a semiconductor memory card, and an optical storage medium.
  • a storage medium 27 such as a magnetic disk, a semiconductor memory card, and an optical storage medium.
  • the storage medium access device 23 reads a computer program for reception processing, which is stored in the storage medium 27 and executed on the control unit 26, and passes it to the control unit 26.
  • the imaging unit 24 includes, for example, an image sensor formed of a two-dimensional array of solid-state imaging devices having sensitivity to light emitted from the illumination unit 14 of the transmission device 1, such as CCD or CMOS, and an imaging range on the image sensor.
  • An imaging optical system for forming an image In addition, for example, the receiving device 2 so that the object 3 in FIG. 1 is included in the imaging range so that the imaging range includes at least a part of the region irradiated with the light from the illumination unit 14 of the transmission device 1.
  • the imaging unit 24 performs imaging at a predetermined imaging rate while the reception device 2 performs reception processing, and generates an image every time imaging is performed. Note that when the first characteristic value or the second characteristic value relates to color, the image generated by the imaging unit 24 is preferably a color image.
  • the imaging unit 24 may adopt an exposure method that can realize a high shutter speed that can support pulse modulation, such as a rolling shutter method, or an exposure method that does not support pulse modulation. May be adopted.
  • the predetermined shooting rate is, for example, a second time length. A shooting rate corresponding to a time period of 1/2 or less can be obtained.
  • the predetermined shooting rate is, for example, a shooting rate corresponding to a time period equal to or less than 1 ⁇ 2 of the first time length. be able to.
  • the imaging unit 24 outputs the image to the control unit 26 every time an image is generated.
  • the user interface unit 25 includes a device such as a touch panel display for a person to operate the receiving apparatus 2 or for the receiving apparatus 2 to display information to the person. Then, the user interface unit 25 outputs an operation signal corresponding to a human operation, for example, an operation signal instructing the start of reception processing to the control unit 26. In addition, the user interface unit 25 displays various information received from the control unit 26 and the image generated by the imaging unit 24. For example, the user interface unit 25 may display the information transmitted from the transmission device 1 decoded by the reception process together with the image generated by the imaging unit 24.
  • the control unit 26 has one or a plurality of processors and its peripheral circuits. And the control part 26 controls the receiver 2 whole. In addition, the control unit 26 performs frequency analysis on the plurality of images generated along the time series by the imaging unit 24 and decodes information transmitted from the transmission device 1.
  • FIG. 12 is a functional block diagram of the control unit 26 relating to reception processing.
  • the control unit 26 includes a dividing unit 261, a feature extracting unit 262, a light emission pattern decoding unit 263, and a pulse decoding unit 264.
  • Each of these units included in the control unit 26 is, for example, a software module realized by a computer program that operates on a processor included in the control unit 26.
  • these units included in the control unit 26 may be implemented in the receiving device 2 as firmware that realizes the functions of the units.
  • these units included in the control unit 26 may be implemented as, for example, a Web application that operates on a Web browser.
  • the pulse decoding unit 264 may be omitted when the imaging unit 24 employs an exposure method that cannot support pulse modulation. Further, when the imaging unit 24 employs an exposure method that can cope with pulse modulation, the light emission pattern decoding unit 263 may be omitted.
  • FIG. 13 is a conceptual diagram of a reception process for information superimposed by a light emission pattern. If an object illuminated with light from the illuminating unit 14 of the transmission apparatus 1 is reflected in each image generated by the imaging unit 24, the illuminating unit 14 determines pixel values included in the region in which the object is captured. It is influenced by a change in the first characteristic of the emitted light. In addition, when the shutter speed when the image capturing unit 24 captures the image is longer than the second time length, the pixel value included in the region in which the object is captured is obtained from the illumination unit 14 over the period when the shutter is open. A value corresponding to the integrated amount of light.
  • the images 1300-1, 1300-2, 1300-3,..., 1300-n generated by the imaging unit 24 are each divided into a plurality of partial regions 1301.
  • a feature amount 1302 representing the first characteristic of the light emitted from the illumination unit 14 is extracted from each partial region, and the light emission pattern 1303 is specified by examining the temporal change of the feature amount 1302. Therefore, the receiving device 2 can decode the value of the symbol corresponding to the light emission pattern 1303.
  • FIG. 14 is a conceptual diagram of a reception process for information superimposed by pulse modulation.
  • the horizontal axis represents time.
  • the vertical axis represents the brightness of the pulse-modulated color component.
  • the vertical axis represents the pixel value.
  • the imaging unit 24 performs imaging with a period t equal to or less than the pulse width of each pulse, as shown in a graph 1402, a partial region in which an object illuminated with light emitted by the illumination unit 14 is shown.
  • the pulse-modulated color component also changes in time series. Therefore, the pulse pattern is specified by examining the time change of the pulse-modulated color component of the pixel value, and the receiving device 2 can decode the value of the symbol corresponding to the pulse pattern.
  • the dividing unit 261 divides each image into a plurality of partial areas. For example, the dividing unit 261 may divide each image by 2 to 4 in the horizontal direction and the vertical direction. The dividing unit 261 may divide each image by a plurality of dividing methods. For example, the dividing unit 261 divides each image into two for each of the horizontal direction and the vertical direction, sets four partial areas for each image, and sets each image to 3 for each of the horizontal direction and the vertical direction. It is possible to divide and set nine partial areas for each image. Thereby, the partial area is set so that the area illuminated by the light from the transmission device 1 in any partial area, or the illumination unit 14 of the transmission apparatus 1 occupies most of the partial area. Probability increases.
  • the dividing unit 261 passes information representing each partial area of each image (for example, the position of the boundary between the partial areas) to the feature extracting unit 262.
  • the feature extraction unit 262 extracts, from each partial area of each image, a feature amount that represents the first characteristic of light that changes in time series according to the light emission pattern of the light emitted from the illumination unit 14 of the transmission device 1. For example, when the first characteristic of light that changes in time series is luminance, the feature extraction unit 262 extracts an average value or a median value of luminance values of pixels in each partial region as a feature amount. When the second characteristic of the light that changes in time series is the emission color, the feature extraction unit 262 converts the value of each pixel in each partial region into a value in the YUV color space or HLS color space, The average value or median value of the color components (for example, U component, V component, or hue) of the pixel is calculated as the feature amount.
  • the first characteristic of light that changes in time series is luminance
  • the feature extraction unit 262 extracts an average value or a median value of luminance values of pixels in each partial region as a feature amount.
  • the second characteristic of the light that changes in time series is
  • the feature extraction unit 262 converts the value of each pixel of the image into a value in the YUV color space or the HLS color space.
  • the average value or median value of the color components can be calculated by converting to.
  • the feature amount is not limited to the above example, and the feature extraction unit 262 performs various feature amounts that change in time series according to the first characteristic of light that changes in the light emission pattern, for example, luminance values in the partial region. Alternatively, the sum, variance, or standard deviation of specific color components may be extracted as the feature amount.
  • the feature extraction unit 262 may extract an average value in a partial area of a difference value between pixel values of pixels located at the same position between two temporally continuous images as a feature amount.
  • the imaging unit 24 employs an exposure method corresponding to pulse modulation and is 1/2 of the second time length (in the case where the 4PPM method is employed, 1/2 of the second time period).
  • the feature extraction unit 262 may generate a composite image by calculating an average value of pixel values between corresponding pixels for a plurality of images included in the section for each section having a predetermined time length.
  • the feature extraction part 262 may extract a feature-value from each partial area
  • the predetermined time length is, for example, at least twice the second time length and one cycle of the light emission pattern so that the influence of pulse modulation is reduced and information on the light emission pattern waveform is not lost. It is preferable to set the time length to be 1/2 or less of (that is, the first time length).
  • the feature extraction unit 262 adopts an exposure method in which the imaging unit 24 supports pulse modulation and generates an image with a shooting period shorter than the pulse width.
  • a feature amount representing pulse modulation is extracted from the region. For example, when a specific color component of light emitted from the illuminating unit 14 is pulse-modulated, the feature extraction unit 262 performs, for each partial region, for each image, the specific color component of each pixel included in the partial region. Are extracted as feature quantities representing pulse modulation.
  • the feature extraction unit 262 passes the feature amount related to the light emission pattern for each partial region of each image to the light emission pattern decoding unit 263, and passes the feature amount related to pulse modulation to the pulse decoding unit 264.
  • the light emission pattern decoding unit 263 specifies a light emission pattern from the change in the feature amount extracted for each partial region in time series order, and decodes a symbol value corresponding to the light emission pattern.
  • the fluctuation has a frequency component in the time axis direction according to the fluctuation cycle of the light emission pattern.
  • the frequency component of the feature amount in the time axis direction includes a specific frequency component corresponding to the sine wave.
  • the light emission pattern decoding unit 263 extracts, from a plurality of images included in the period of interest having the same length as the period corresponding to one symbol, for each partial area in which the same object is captured, from the partial areas in time series order.
  • a one-dimensional vector is created by arranging the obtained feature quantities.
  • the light emission pattern decoding unit 263 performs Fourier transform on the one-dimensional vector.
  • the light emission pattern decoding part 263 extracts the spectrum of the same frequency as the period of a light emission pattern from the obtained frequency component for every partial region.
  • the light emission pattern decoding unit 263 selects a partial region having the maximum amplitude level of the extracted spectrum from the partial regions. Or the light emission pattern decoding part 263 may select the partial area
  • the component having a value corresponding to the light emission pattern is, for example, a phase or amplitude level of periodic fluctuation of the light characteristics at a predetermined time point (for example, start time point or end time point of the focus period) in the focus period.
  • the light emission pattern decoding unit 263 performs the above processing while shifting the target period by one frame along the time series, and detects a component having a value corresponding to the light emission pattern for each target period. In this case, when the period of interest and the period set for each symbol by the transmission apparatus 1 match, the detected component value becomes an extreme value, and thus the light emission pattern decoding unit 263 outputs the extreme value as a light emission.
  • a component having a value corresponding to the pattern may be used.
  • the light emission pattern decoding unit 263 uses the period of interest as a reference thereafter. It is sufficient to set the period of interest. Then, the light emission pattern decoding unit 263 detects a component having a value corresponding to the light emission pattern for each period of interest.
  • the light emission pattern decoding unit 263 may specify the light emission pattern by a method other than the above method. For example, the light emission pattern decoding unit 263 specifies a light emission pattern by obtaining a difference value of a feature amount between temporally adjacent images within the period of interest, and examining increase / decrease of the feature amount based on the difference value. Also good.
  • the light emission pattern decoding unit 263 arranges the detected components in time series. As described above, when the transmitted information includes a predetermined symbol string (eg, '01010101') as the preamble, the light emission pattern decoding unit 263 corresponds to the preamble from the sequence of detected components. The part that matches the symbol string to be extracted is extracted. And the light emission pattern decoding part 263 should just match
  • the transmitted information includes an error detection code such as a CRC code
  • the light emission pattern decoding unit 263 uses the detected component and the detected component so that the error of the symbol is minimized using the error detection code. Symbol values may be associated with each other.
  • the light emission pattern decoding unit 263 may obtain a symbol value corresponding to the detected component with reference to a reference table representing a correspondence relationship between the detected component and the symbol value. The reference table is stored in advance in the storage unit 22, for example.
  • the light emission pattern decoding unit 263 decodes the transmitted information by arranging the decoded symbol values in a predetermined order, for example, in time order.
  • the light emission pattern decoding unit 263 stores the decoded information in the storage unit 22.
  • the pulse decoding unit 264 decodes information superimposed on the light emitted from the illuminating unit 14 of the transmission device 1 by pulse modulation based on the feature amount related to pulse modulation for each partial region of each image.
  • the pulse decoding unit 264 calculates the difference between the maximum value and the minimum value of the obtained feature amount for each partial region, and the partial region where the difference is equal to or greater than a predetermined value is the light emitted from the illumination unit 14. It is determined as a partial area in which the illuminated object is reflected. Then, the pulse decoding unit 264 calculates an average value of the feature amount for each section having a predetermined time length for the partial region in which the object illuminated with the light emitted from the illumination unit 14 is reflected.
  • the predetermined time length is preferably, for example, longer than the second time length and not more than the length of the sub-section set during one cycle of the light emission pattern with respect to the modulation by the light emission pattern.
  • the pulse decoding unit 264 can identify each pulse.
  • the pulse decoding unit 264 associates a feature quantity higher than the average value with the peak value of the pulse, and associates a feature quantity lower than the average value with the bottom value of the pulse.
  • the pulse decoding unit 264 may identify the superimposed pulse pattern according to the temporal change pattern of the pulse peak value and bottom value. Then, a reference table representing the relationship between the pulse pattern and the value of the symbol is stored in advance in the storage unit 22, and the pulse decoding unit 264 refers to the reference table to identify the symbol value corresponding to the pulse pattern. That's fine.
  • the pulse decoding unit 264 decodes the transmitted information by arranging the decoded symbol values in a predetermined order, for example, time order. Note that, as described above, when the information to be transmitted includes a predetermined symbol sequence as the preamble, the pulse decoding unit 264 matches the symbol sequence corresponding to the preamble from the sequence of detected components. Extract the part. Then, the pulse decoding unit 264 may associate the detected component with the symbol value so that the detected component and the symbol value in the extracted portion match. Alternatively, when the transmitted information includes an error detection code such as a CRC code, the pulse decoding unit 264 uses the error detection code to detect the detected component and symbol so that the symbol error is minimized. May be associated with each other. Then, the pulse decoding unit 264 stores the decoded information in the storage unit 22.
  • a predetermined order for example, time order.
  • the control unit 26 outputs the decrypted information to another device via the communication interface unit 21. Or the control part 26 performs the process according to the decoded information. For example, if the decrypted information is information for instructing activation of a predetermined application, the control unit 26 activates the application. Alternatively, the control unit 26 may display the decrypted information on the user interface unit 25. In addition, when the information superimposed by the modulation by the light emission pattern and the information superimposed by the pulse modulation are the same, the control unit 26 decodes the information decoded by the light emission pattern decoding unit 263 and the pulse decoding unit 264. The above processing may be performed on one of the information.
  • FIG. 15 is an operation flowchart of a reception process executed by the reception device 2.
  • the dividing unit 261 of the control unit 26 divides each image into a plurality of partial areas (step S201). Then, the feature extraction unit 262 of the control unit 26 extracts a feature amount representing the first characteristic of light that changes in the light emission pattern for each partial region (step S202). Further, the feature extraction unit 262 extracts a feature amount related to pulse modulation for each partial region (step S203).
  • the light emission pattern decoding unit 263 has a light emission pattern period by frequency-analyzing the feature amount related to the light emission pattern of the partial region at the same position for each period including a plurality of sets of images included in a period corresponding to one symbol.
  • a spectrum is detected (step S204).
  • the light emission pattern decoding part 263 specifies the value of the symbol corresponding to a light emission pattern from the detected spectrum for every period, and decodes the transmitted information (step S205).
  • the pulse decoding unit 264 decodes the transmitted information by specifying the corresponding symbol value in accordance with the temporal change of the feature amount related to the pulse modulation (step S206). Then, the control unit 26 ends the reception process.
  • this communication system can superimpose information on the light emitted from the transmission apparatus and transmit the information to the reception apparatus.
  • the transmission device superimposes information on the light emitted by the transmission device by changing the light emission pattern that changes in time series according to the value of the symbol, and the light emitted by the transmission device is shorter in period than the light emission pattern Information is also superimposed by performing pulse modulation with. Therefore, if the imaging unit of the receiving apparatus employs an exposure method that can support pulse modulation, the receiving apparatus can decode the transmitted information by demodulating the pulse-modulated light.
  • the receiving apparatus can decode the transmitted information by demodulating the light modulated by the light emission pattern.
  • this communication system can transmit information from the transmission device to the reception device regardless of the exposure method of the imaging unit of the reception device. Further, since the modulation period by the pulse modulation is shorter than the modulation period by the light emission pattern, when the imaging unit of the receiving apparatus adopts an exposure method that can support pulse modulation, this communication system has a shorter period. The information can be transmitted from the transmitting device to the receiving device.
  • the information superimposed on the light emitted from the illumination unit 14 by the modulation by the light emission pattern and the information superimposed on the light emitted from the illumination unit 14 by the pulse modulation are different from each other. Also good.
  • the transmission device 1 superimposes information with relatively high importance on light emitted by the illumination unit 14 by modulation using a light emission pattern, while information with relatively low importance is You may superimpose on the light which the illumination part 14 emits by pulse modulation.
  • different information may be superimposed by pulse modulation for each color component of light emitted from the illumination unit 14.
  • the feature extraction unit 262 and the pulse decoding unit 264 of the control unit 26 of the reception device 2 may execute the process according to the above-described embodiment or modification for each color component. According to this modification, different information is superimposed for each color component, so that transmission efficiency is improved.
  • control unit 15 of the transmission device 1 may perform pulse frequency modulation on the light emitted from the illumination unit 14 in accordance with the value of the transmitted symbol. Also in this case, in each sub-section obtained by dividing one period of modulation by the light emission pattern, the length of time that the pulse has a peak value is equal to the length of time that the pulse has a bottom value. The value may be set according to equation (1) or equation (2). In this case, similarly to the light emission pattern decoding unit 263, the pulse decoding unit 264 of the receiving device 2 decodes information superimposed on light by pulse modulation by performing frequency analysis on feature quantities related to pulse modulation arranged in time series. do it.
  • the receiving device may include a terminal having an imaging unit and another device connected to the terminal via a communication network, such as a server.
  • the terminal may transmit the image to a server via a communication network together with identification information for identifying the terminal, for example, the IP address of the terminal.
  • the processor of a server may perform each process of the control part of the receiver by said embodiment, and may decode the information transmitted from the transmitter. Further, the server may return the decrypted information to the terminal with reference to the identification information for specifying the terminal.
  • the processor of the terminal may extract the feature amount for each partial region by performing the process of the dividing unit 261 and the process of the feature extracting unit 262 on the image. And a terminal may transmit the feature-value for every partial area extracted from each image to a server via a communication network with the identification information for specifying a terminal.
  • the processor of the server may decode the information transmitted from the transmission device by executing the processes of the light emission pattern decoding unit 263 and the pulse decoding unit 264 of the reception device according to the above embodiment.
  • a computer program that causes a computer to realize each function of the control unit of the transmission device according to each of the above embodiments may be provided in a form recorded on a computer-readable medium.
  • a computer program that causes a computer to realize each function of the control unit of the receiving device according to the above-described embodiment may be provided in a form recorded on a computer-readable medium.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

送信装置は、発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御し、かつ、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する制御部とを有する。

Description

送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
　本発明は、例えば、光を利用して信号を伝送する通信システム及びそのような通信システムで利用される送信装置、送信制御装置及び送信方法ならびに送信用コンピュータプログラムに関する。
　従来より、照明光源として発光ダイオード(Light Emitting Diode, LED)が広く利用されている。LEDは、白熱電球または蛍光灯と比較して、応答速度が速いという特徴を有する。この特徴を利用して、人の目では認識できない速さでLEDを明滅させることでLEDから発する光に情報を重畳して通信を行う可視光通信技術が研究されている。特に、照明光に伝送する情報を重畳する技術は、照明光通信とも呼ばれる。
　可視光通信は、電波の使用が制限されている場所での通信用途、室内など光が届く範囲に限定した情報配布、または、Intelligent Transport Systems(ITS)などでの利用が検討されている。
　可視光通信において、データを伝送するために、送信データを高出力のパルス光と低出力のパルス光からなる可視光信号に変調することが提案されている（例えば、特許文献１を参照）。
特開２００９－２９０３５９号公報
　送信される情報をパルス変調により可視光に重畳する場合、人がそのパルス変調による可視光のちらつきを感知できないようにするためには、光源を、例えば、数kHzといった高速で明滅することが要求される。一方、情報を受信する受信装置が可視光に重畳された情報を復調するためには、受信装置が、そのような高速での可視光の明滅を識別できることが求められる。例えば、そのような高速での可視光の明滅を識別するためには、受信装置は、ローリングシャッター方式のカメラを有し、かつ、露出または感度を調節可能なことが好ましい。しかし、受信装置が有するカメラの露光方式によっては、受信装置は、そのような高速での可視光の明滅を識別できないことがある。例えば、受信装置が有するカメラのシャッター速度がパルス変調の周期よりも遅い速度で固定されている場合、受信装置は、そのような高速での可視光の明滅を識別できない。その結果として、受信装置は、伝送された情報を復調できないことがある。
　一つの側面では、本発明は、情報が重畳された光を受信する受信装置が有するカメラの露光方式によらずに情報を受信装置へ伝送できる送信装置を提供することを目的とする。
　一つの実施形態によれば、送信装置が提供される。この送信装置は、発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御し、かつ、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する制御部とを有する。
　また、他の実施形態によれば、送信制御装置が提供される。この送信制御装置は、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御する発光パターン変調部と、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定するパルスパターン変調部とを有する。
　さらに他の実施形態によれば、送信装置と受信装置とを有する通信システムが提供される。この通信システムにおいて、であって、送信装置は、発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう照明部を制御し、かつ、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう照明部を制御し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する制御部とを有する。
　受信装置は、所定の撮影周期で送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像に基づいて伝送された情報を復号する制御部とを有する。
　さらに他の実施形態によれば、送信方法が提供される。この送信方法は、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する、ことを含む。
　さらに他の実施形態によれば、送信用コンピュータプログラムが提供される。この送信用コンピュータプログラムは、第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、伝送する情報に応じて照明部から発する光の第２の特性を第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間における照明部から発する光の第２の特性の平均値が発光パターンの波形を維持する値となるように、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する、ことをコンピュータに実行させるための命令を含む。
　本明細書に開示された送信装置は、情報が重畳された光を受信する受信装置が有するカメラの露光方式によらずに情報を受信装置へ伝送できる。
図１は、一つの実施形態による通信システムの概略構成図である。 図２は、図１に示された通信システムで利用される送信装置のハードウェア構成図である。 図３は、送信処理に関する制御部の機能ブロック図である。 図４は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。 図５は、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。 図６は、発光パターンに応じた一つの色成分の明るさの時間変化の一例を示す図である。 図７は、発光パターンによる変調とパルス変調との多重化の説明図である。 図８は、変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。 図９は、他の変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。 図１０は、送信装置による送信処理の動作フローチャートである。 図１１は、図１に示された通信システムで利用される受信装置のハードウェア構成図である。 図１２は、受信処理に関する制御部の機能ブロック図である。 図１３は、発光パターンにより重畳された情報についての受信処理の概念図である。 図１４は、パルス変調により重畳された情報についての受信処理の概念図である。 図１５は、受信装置による受信処理の動作フローチャートである。
　以下、図を参照しつつ、通信システム及び通信システムで利用される送信装置について説明する。この通信システムでは、送信装置は、照明部から発する光の第１の特性を、伝送する情報に応じた波形を持ち、かつ、第１の時間長を持つ発光パターンで変調する。さらに、送信装置は、第１の時間長よりも短い第２の時間長を持つパルスパターンで、伝送する情報に応じて照明部から発する光の第２の特性をパルス変調する。その際、送信装置は、発光パターンの波形を維持するように、発光パターンにて変調された第１の時間長を持つ期間を分割した複数のサブ区間のそれぞれごとに、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値及びボトム値を設定する。これにより、この送信装置は、受信装置が有するカメラの露光方式によらずに、照明部から発する光に重畳された情報を受信装置へ伝送することを可能とする。
　図１は、一つの実施形態による通信システムの概略構成図である。通信システム１００は、送信装置１と受信装置２とを有する。そして送信装置１は、自装置が有する照明部が発する光に送信する情報を重畳する。一方、受信装置２は、撮像部を有し、その撮像部で送信装置１からの光で照明された物体３を含む撮影範囲を時系列的に連続して撮影して得られる、時系列に並んだ複数の画像から光に重畳された情報を復号する。なお、この例では、通信システム１００は、一つの受信装置２のみを含んでいるが、通信システム１００に含まれる受信装置２の台数は１台に限られない。通信システム１００は、複数の受信装置２を含んでもよい。また詳細は後述するように、受信装置２は、パルス変調された光の個々のパルスを識別可能な露光方式のカメラを有するものに限られず、パルス変調された光の個々のパルスを識別できない露光方式のカメラを有するものであってもよい。
　図２は、送信装置１のハードウェア構成図である。送信装置１は、通信インターフェース部１１と、記憶部１２と、記憶媒体アクセス装置１３と、照明部１４と、制御部１５とを有する。そして送信装置１は、通信インターフェース部１１または記憶媒体アクセス装置１３を介して取得した、あるいは、記憶部１２に予め記憶された伝送すべき情報を、照明部１４が発する光に重畳してその情報を送信する。
　通信インターフェース部１１は、例えば、送信装置１を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１１は、他の装置から、通信ネットワークを介して受信した情報を制御部１５へ渡す。
　記憶部１２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部１２は、例えば、通信インターフェース部１１を介して取得した、または、記憶媒体アクセス装置１３から読み込んだ、伝送すべき情報を記憶する。また記憶部１２は、制御部１５が送信処理を行うために利用する各種の情報及びプログラムを記憶する。例えば、記憶部１２は、シンボル値ごとに、そのシンボル値に対応する発光パターンを表す波形データを記憶する。発光パターンを表す波形データは、例えば、その発光パターンに応じた照明部１４からの光の制御開始時点における発光パターンの位相、周期、変調される光の特性の最大値及び最小値などを含む。また記憶部１２は、シンボル値ごとに、そのシンボル値に対応するパルス変調におけるパルスパターンを記憶する。また、伝送すべき情報が固定である場合には、記憶部１２は、予め、その情報に含まれる各シンボルの発光パターンを表す波形データ及びパルスパターンを記憶していてもよい。
　記憶媒体アクセス装置１３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする装置である。記憶媒体アクセス装置１３は、例えば、記憶媒体１６に記憶された、制御部１５上で実行される、送信処理用のコンピュータプログラムあるいは伝送すべき情報を読み込み、制御部１５に渡す。
　照明部１４は、発光する光の第１の特性及び第２の特性を時系列に沿って変化させることが可能な少なくとも一つの発光素子と、駆動回路とを有する。駆動回路は、制御部１５からの制御信号に応じて、その少なくとも一つの発光素子から発する光の特性を変更するよう、その少なくとも一つの発光素子を駆動する。駆動回路は、例えば、制御信号により指示された、その発光素子から発する光の輝度または色成分の明るさに応じて、発光素子に流れる電流の大きさ、または、発光素子に電流が流れる期間のデューティ比（すなわち、パルス幅変調が採用される場合）を調節する。なお、パルス幅変調が採用される場合、パルスパターンよりも短い周期、例えば、第２の時間長の1/1000～1/100の周期で発光素子に流れる電流のオン／オフが制御されればよい。
　時系列に沿って変化可能な光の第１の特性は、例えば、発光色とすることができる。あるいは、時系列に沿って変化可能な光の第１の特性は、輝度であってもよい。あるいはまた、時系列に沿って変化可能な光の第１の特性は、発光色と輝度の組み合わせであってもよい。
　また、時系列に沿って変更可能な光の第２の特性は、所定の色成分、あるいは、輝度とすることができる。なお、第１の特性と第２の特性の組み合わせに特に制限は無い。例えば、第１の特性は発光色であり、かつ、第２の特性は所定の色成分とすることができる。あるいは、第１の特性及び第２の特性の何れも輝度であってもよい。あるいはまた、第１の特性は輝度であり、かつ、第２の特性は発光色であってもよい。このような組み合わせとすることで、パルス変調については一つの発光素子だけを制御すればよいので、発光パターンによる変調とパルス変調との多重化を行うための制御が簡単化される。
　第１の特性または第２の特性が色に関する特性である場合、照明部１４は、例えば、発光色が互いに異なる少なくとも２種類の発光素子、例えば、赤色LED、緑色LED及び青色LEDのうちの少なくとも２種類を有する。そして各発光素子が発する輝度の比率が時系列に沿って変化することで照明部１４が発する光の色も時系列に沿って変化する。あるいは、照明部１４は、発光色そのものを変調可能な少なくとも一つの発光素子を有してもよい。発光色そのものを変調可能な発光素子は、例えば、蛍光灯のように複数の波長を含む光を発する発光素子と、アレイ状に配置されたカラーフィルタを有する液晶パネルのように、光の波長ごとの透過率を調整できる光変調素子との組み合わせとすることができる。
　また、第１の特性及び第２の特性の何れもが輝度である場合、照明部１４は、輝度を時系列に沿って変更可能な少なくとも一つの発光素子、例えば、白色LEDあるいは有機エレクトロルミネッセンス(Electro Luminescence, EL)素子を有してもよい。
　照明部１４は、制御部１５からの制御信号に従って、発光する光の第１の特性を、伝送する情報に含まれるシンボルの値に応じた発光パターンに従って、第１の時間長を持つ周期で時系列に変化させることで、照明部１４から発する光に情報を重畳する。
　さらに、照明部１４は、シンボルの値に応じたパルスパターンに従って、発光する光の第２の特性を、第１の時間長よりも短い第２の時間長を持つ周期でパルス変調する。したがって、照明部１４から発する光は、発光パターンによる変調とパルス変調とで、多重変調される。
　制御部１５は、送信制御装置の一例であり、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部１５は、送信装置１全体を制御する。制御部１５は、通信インターフェース部１１を介して、あるいは、記憶媒体アクセス装置１３から伝送すべき情報を受け取った場合、その情報を記憶部１２に一旦記憶する。そして制御部１５は、送信処理を実行する場合、伝送すべき情報を記憶部１２から読み込み、その情報をシンボル単位で分割する。そして制御部１５は、シンボルごとに、そのシンボルの値に応じた発光パターンを表す波形データ及びそのシンボルの値に応じたパルスパターンを表すデータを記憶部１２から読み込む。制御部１５は、発光パターンに応じて照明部１４から発する光の第１の特性を時系列に沿って変化させ、かつ、パルスパターンに応じて照明部１４から発する光の第２の特性を時系列に沿って変化させるように照明部１４を制御する。
　なお、送信処理を実行するタイミングは予め設定されていてもよい。あるいは、図示しないユーザインターフェース部からの操作によって、あるいは、通信インターフェース部１１を介して受信した、他の装置からの送信処理の開始指示信号に応じて、制御部１５は、送信処理を開始してもよい。あるいはまた、制御部１５は、一定周期ごとに、送信処理を繰り返し実行してもよい。
　図３は、送信処理に関する、制御部１５の機能ブロック図である。制御部１５は、発光パターン変調部１５１と、パルスパターン変調部１５２とを有する。
　発光パターン変調部１５１は、照明部１４から発する光の第１の特性を、シンボルの値に対応する発光パターンにて変調する。
　図４は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。図４において、横軸は時間を表し、縦軸は、送信装置１から発せられる光の第１の特性を表す。発光パターン４０１及び発光パターン４０２は、それぞれ、シンボル値'0'、'1'に相当する。そして発光パターン４０１及び発光パターン４０２では、何れも時間経過とともに光の第１の特性が周期的に変化するが、位相が互いに対して180°ずれている。このように、光の第１の特性の時間変動における位相をシンボル値ごとに異ならせることで、送信装置１は、照明部１４が発する光に情報を重畳することができる。なお、発光パターンとシンボル値の関係は、この例に限られない。
　本実施形態では、発光パターンは、例えば、図４に示されるように、時間経過に伴って光の第１の特性が正弦波状に変化する周期的な変動パターンとなる。発光パターンは、この例に限られず、例えば、光の第１の特性が三角形状、あるいは矩形パルス状に周期的に変動するパターンであってよい。また発光パターンは、周期的に変動するパターンに限られず、例えば、一つのシンボルに応じた期間内で、光の第１の特性が単調に変化するパターンであってもよい。例えば、シンボル値'0'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光の第１の特性は第１の値を持ち、その期間の終了時点において第１の特性は第２の値を持つように第１の特性が単調に変化してもよい。一方、シンボル値'1'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光の第１の特性は第２の値を持ち、その期間の終了時点において第１の特性は第１の値を持つように光の特性が単調に変化してもよい。
　発光パターンの１周期、すなわち、第１の時間長は、例えば、受信装置２が有する撮像部の撮影レートでも、受信装置がその発光パターンの波形を再現できるように、その撮影レートの逆数の数倍に設定される。例えば、第１の時間長は、数10msec～数100msec(すなわち、第１の時間長に対応する第１の周波数は数Hz～数10Hz)とすることができる。
　発光パターン変調部１５１は、例えば、伝送すべき情報を、１～複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。発光パターン変調部１５１は、シンボルの値に応じた発光パターンを表すデータを記憶部１２から読み込む。そして発光パターン変調部１５１は、シンボルごとに所定長を持つ期間を設定する。発光パターン変調部１５１は、その期間において、１～数周期分、照明部１４にシンボル値に応じた発光パターンを繰り返させる。
　なお、発光パターン変調部１５１は、伝送すべき情報の所定の位置、例えば、先頭に、プリアンブルとして、所定のシンボル列（例えば、'01010101'）を含めてもよい。あるいは、発光パターン変調部１５１は、伝送すべき情報に、巡回冗長検査(Cyclic Redundancy Check, CRC)符号といった、誤り検出符号を含めてもよい。発光パターン変調部１５１が、これらのシンボル列または誤り検出符号を伝送すべき情報に含めることで、受信装置２は、伝送された情報を正確に復号することが容易となる。
　発光パターン変調部１５１は、シンボルの値に応じた発光パターンの変調方式として、無線通信で利用されている様々な変調方式を利用できる。例えば、発光パターン変調部１５１は、一つのシンボルを一つのビットに対応させてもよい。この場合、発光パターン変調部１５１は、二位相偏移変調方式(binary phase-shift keying, BPSK)のように、シンボルの値が'0'に対応する発光パターンとシンボルの値が'1'に対応する発光パターンとの間で位相を180°反転させる。
　また、発光パターン変調部１５１は、二つのビットを一つのシンボルに対応させてもよい。この場合、発光パターン変調部１５１は、例えば、四位相偏移変調方式(quadriphase phase-shift keying, QPSK)に従って周期的に光の第１の特性が変動する発光パターンを設定してもよい。すなわち、発光パターン変調部１５１は、シンボルが取り得る４通りの値('00','01','10','11')のそれぞれごとに、位相が90°ずつ異なる、周期的に光の第１の特性が変動する発光パターンを設定してもよい。
　あるいは、発光パターン変調部１５１は、シンボルの値に応じて、光の第１の特性の変化幅（以下、振幅レベルと呼ぶ）も変調してもよい。この場合、発光パターン変調部１５１は、直角位相振幅変調(quadrature amplitude modulation, QAM)のように、シンボルが取り得る各値ごとに、振幅レベルと位相の組み合わせが異なる発光パターンを設定してもよい。その際、発光パターン変調部１５１は、振幅レベルに関して、あるシンボル値では、シンボルに対応する期間内で振幅レベルを単調増加させ、他のシンボル値では、シンボルに対応する期間内で振幅レベルを単調減少させてもよい。このように一つのシンボルに対応する期間内で、シンボルの値に応じて振幅レベルを変化させることで、物体３による照明部１４からの光の反射または散乱によって振幅レベル自体が変化しても、受信装置２が正確に発光パターンを特定することが容易となる。
　図５は、発光パターンにおいて時系列に沿って変化する光の第１の特性が発光色である場合における、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。
　図５の左側には、発光パターンに応じたYUV色空間での各成分の値が示される。一番上のグラフ５０１に示されるように、Y成分、すなわち、輝度成分は、時間経過によらず一定に保たれる。一方、中央のグラフ５０２に示されるように、一方の色差成分であるU成分の値は、発光パターンに応じて時間経過とともに変化する。同様に、一番下のグラフ５０３に示されるように、他方の色差成分であるV成分の値も、発光パターンに応じて時間経過とともに変化する。
　一方、図５の右側には、図５の左側に示された発光パターンに対応する、RGB色空間での各成分の値が示される。グラフ５１１～５１３は、それぞれ、赤色成分、緑色成分、青色成分の時間変化を表す。グラフ５１１～５１３に示されるように、各色成分は、発光パターンに応じて変化する。
　発光パターンにおいて時系列に沿って変化する光の第１の特性が発光色である場合、例えば、発光パターン変調部１５１は、発光パターンの１周期に、複数のサンプリング点（例えば、10～20点）を設定する。そして発光パターン変調部１５１は、YUVあるいはHLSといった、輝度成分と色成分とが互いに独立して表される色空間において、その色成分の値を正弦波状に変化させたときの各サンプリング点での色成分の値を求める。そして発光パターン変調部１５１は、各サンプリング点について、その色空間における輝度成分の値と色成分の値から、照明部１４が有する各発光素子の発光色に対応させることができるRGB色空間における赤色、緑色及び青色の各成分の値を求める。そして発光パターン変調部１５１は、サンプリング点ごとに、赤色、緑色及び青色の各成分の値に応じて、各発光素子から発する色成分の明るさを決定する。なお、発光パターン変調部１５１は、照明部１４から発する光全体の輝度成分の値を一定に保つことが好ましい。これにより、照明部１４が発する光の色が発光パターンに従って時系列に沿って変化しても、その光の単位時間当たりの光量は一定に保たれる。人の視覚は光量の変化については比較的敏感であるが、色の変化については比較的鈍感である。そのため、単位時間当たりの光量が一定に保たれることで、発光パターン変調部１５１は、照明部１４からの光の特性が発光パターンに従って時系列に沿って変化していることを人に知覚され難くすることができる。
　図６は、発光パターンに応じた一つの色成分の明るさの時間変化の一例を示す図である。図６において、横軸は時間を表し、縦軸は明るさを表す。上側に示されるグラフ６０１は、一例として、発光パターンに応じた青色成分の時間変化を表す。この例では、発光パターンの１周期内にサンプリング点ａ、ｂ、ｃが設定されている。下側に示されるグラフ６０２は、各サンプリング点での青色成分の明るさを表す。グラフ６０２に示されるように、例えば、発光パターンの１周期をサンプリング点数で分割したサブ区間６１１ごとに、そのサブ区間６１１に含まれるサンプリング点の青色成分値となるように、青色成分は離散的に変更される。
　また、発光パターンに従って変調される光の第１の特性が輝度である場合も、例えば、発光パターン変調部１５１は、発光パターンの１周期に、複数のサンプリング点（例えば、10～20点）を設定する。そして発光パターン変調部１５１は、その発光パターンに従って、各サンプリング点での照明部１４の発光素子が発する光の輝度を決定すればよい。
　発光パターン変調部１５１は、上記のように、伝送される情報に含まれるシンボルごとに、そのシンボルに対応する各サンプリング点での照明部１４の各発光素子が発する色成分値または輝度を決定する。そして発光パターン変調部１５１は、照明部１４が有する発光素子のうち、パルス変調される第２の特性と関連しない発光素子について、シンボルごとの各サンプリング点での色成分値または輝度を表す制御信号を生成して、照明部１４へ出力する。また発光パターン変調部１５１は、照明部１４が有する発光素子のうち、パルス変調される第２の特性に関連する発光素子について、各サンプリング点でのその発光素子が発する色成分の値または輝度をパルスパターン変調部１５２へ通知する。
　パルスパターン変調部１５２は、パルス変調にて伝送すべき情報についても、発光パターンによる変調にて伝送される情報と同様に、１～複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。パルスパターン変調部１５２は、シンボルの値に応じたパルスパターンを表すデータを記憶部１２から読み込む。そしてパルスパターン変調部１５２は、シンボルごとに、第２の時間長を持ち、かつ、そのシンボルの値に応じたパルスパターンで、照明部１４から発する光の第２の特性をパルス変調する。シンボルが1ビットのデータを表す場合、パルスパターンは、マンチェスター符号によるパターンとすることができる。あるいは、シンボルが2ビットのデータを表す場合、パルスパターンは、4 Pulse Phase Modulation(PPM)方式によるパターンであってもよい。また、第２の時間周期は、例えば、数100μsec～1msec(すなわち、第２の時間周期に対応する第２の周波数は1kHz～数kHz)とすることができる。
　なお、パルスパターン変調部１５２は、発光パターン変調部１５１と同様に、伝送すべき情報の先頭に、プリアンブルとして、所定のシンボル列を含めてもよい。あるいは、パルスパターン変調部１５２は、伝送すべき情報に、CRC符号といった誤り検出符号を含めてもよい。パルスパターン変調部１５２が、これらのシンボル列または誤り検出符号を伝送すべき情報に含めることで、受信装置２は、パルスパターンにより伝送された情報を正確に復号することが容易となる。
　本実施形態では、パルスパターン変調部１５２は、発光パターンによる変調とパルスパターンによる変調とが多重化されるように、発光パターンによる変調におけるサブ区間ごとに、そのサブ区間に含まれる各パルスの第２の特性についてのピーク値とボトム値とを設定する。なお、以下では、パルスの第２の特性についてのピーク値及びボトム値を、それぞれ、単にパルスのピーク値及びボトム値と呼ぶ。例えば、パルスパターン変調部１５２は、サブ区間ごとに、そのサブ区間内の第２の特性の平均値が、そのサブ区間に含まれる発光パターンのサンプリング点での第２の特性の値と等しくなるように、そのサブ区間に含まれる各パルスのピーク値とボトム値とを設定する。
　なお、以下の説明では、発光パターンにより変調される光の第１の特性が色成分であり、パルス変調される光の第２の特性は所定の色成分であるとする。しかし、第１の特性と第２の特性の組み合わせが上記と異なる場合であっても、パルスパターン変調部１５２は、各パルスのピーク値及びボトム値を下記の説明に従って設定すればよい。
　図７は、発光パターンによる変調とパルス変調との多重化の説明図である。図７において、横軸は時間を表し、縦軸は、パルス変調される色成分の明るさを表す。なお、図７では、一例として、青色成分がパルス変調されるものとする。一番上のグラフ７０１に示されるように、発光パターンによる変調にて、青色成分は、サブ区間PS1～PS3ごとに変化する。図７に示される例では、サブ区間PS1～PS3のうち、サブ区間PS2において青色成分は最も明るく、サブ区間PS1において青色成分は最も暗くなる。
　また、２番目のグラフ７０２に示されるように、青色成分は、伝送される情報に応じて、個々のサブ区間PS1～PS3よりも短い第２の時間周期に相当するパルス長PWを持つパルスパターンでパルス変調される。この例では、青色成分は、マンチェスター符号により、パルス位相変調される。すなわち、シンボル当たりにおける、パルスがボトム値となる期間とパルスがピーク値となる期間の長さは等しい。
　一番下のグラフ７０３は、発光パターンによる変調とパルス変調とが多重化された、青色成分の時間変化を表す。サブ区間PS1～PS3のそれぞれごとに、そのサブ区間における、多重変調された青色成分の平均値が、発光パターンによる変調に応じた、そのサブ区間に含まれるサンプリング点での青色成分の値と等しくなるように、各パルスのピーク値及びボトム値が設定される。この例では、各パルスのピーク値が、そのパルスが含まれるサブ区間における、発光パターンによる変調に応じた、そのサブ区間に含まれるサンプリング点での青色成分の値に基づいて設定される。一方、各パルスのボトム値は、一定値に設定される。したがって、各パルスのピーク値は、次式に従って設定される。
Figure JPOXMLDOC01-appb-M000001
 ここで、Ck0は、サブ区間k(第１の時間周期にN個のサンプリング点が設定される場合、k=1,2,...,N)における、発光パターンによる変調に応じた、サブ区間kに含まれるサンプリング点での青色成分の値を表す。またCk1は、サブ区間kに含まれる各パルスのピーク値を表す。そしてCk2は、サブ区間kに含まれる各パルスのボトム値を表す。
　図８は、変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。この変形例では、各パルスのピーク値だけでなく、ボトム値も、発光パターンによる変調に応じて調整される代わりに、各パルスの振幅は一定に保たれる。図８において、横軸は時間を表し、縦軸はパルス変調される色成分の明るさを表す。なお、図８でも、一例として、青色成分がパルス変調されるものとする。
　図７と同様に、一番上のグラフ８０１に示されるように、発光パターンによる変調にて、青色成分は、サブ区間PS1～PS3ごとに変化する。また、２番目のグラフ８０２に示されるように、青色成分は、伝送される情報に応じて、個々のサブ区間PS1～PS3よりも短い第２の時間周期に相当するパルス長PWを持つパルスパターンでパルス位相変調される。
　一番下のグラフ８０３は、発光パターンによる変調とパルス変調とが多重化された、青色成分の時間変化を表す。この例でも、サブ区間ごとに、そのサブ区間における、多重変調された青色成分の平均値が、発光パターンによる変調に応じた、そのサブ区間に含まれるサンプリング点での青色成分の値と等しくなるように、各パルスのピーク値及びボトム値が設定される。この例では、各パルスの振幅は一定に保たれる。したがって、各パルスのピーク値及びボトム値は、次式に従って設定される。
Figure JPOXMLDOC01-appb-M000002
 ここでAは、パルスの振幅である。この変形例によれば、発光パターンの波形によらずに、パルスの振幅が一定に保たれるので、受信装置２が照明部１４から発する光に重畳されたパルスパターンを特定することが容易となる。
　図９は、他の変形例による、発光パターンによる変調とパルス変調との多重化の説明図である。この変形例では、4PPM符号に従って照明部１４からの光はパルス位相変調される。すなわち、この例では、一つのシンボルに相当する、第２の時間長PWを持つパルス期間が４分割され、４分割されたパルス期間のうちの何れか一つにおいて、シンボルの値に応じてパルスはボトム値となり、それ以外ではパルスはピーク値となる。図９において、横軸は時間を表し、縦軸は、パルス変調される色成分の明るさを表す。なお、図９でも、一例として、青色成分がパルス変調されるものとする。
　図７と同様に、一番上のグラフ９０１に示されるように、発光パターンによる変調にて、青色成分は、サブ区間PS1～PS3ごとに変化する。また、２番目のグラフ９０２に示されるように、青色成分は、伝送される情報に応じて、個々のサブ区間PS1～PS3よりも短い第２の時間長PWを持つパルスパターンでパルス位相変調される。
　一番下のグラフ９０３は、発光パターンによる変調とパルス変調とが多重化された、青色成分の時間変化を表す。この例でも、サブ区間ごとに、そのサブ区間における多重変調された青色成分の平均値が、発光パターンによる変調に応じたそのサブ区間に含まれるサンプリング点での青色成分の値と等しくなるように、各パルスのピーク値及びボトム値が設定される。この例では、各パルスのボトム値は一定に保たれる。また、一つのシンボルに対応する第２の時間長の1/4においてパルスはボトム値となり、一方、第２の時間長の3/4においてパルスはピーク値となる。したがって、各パルスのピーク値及びボトム値は、次式に従って設定される。
Figure JPOXMLDOC01-appb-M000003
　なお、4PPM符号が用いられる場合、パルス変調される色成分は、一つのシンボルに対応する第２の時間長の3/4においてパルスはボトム値となり、一方、第２の時間長の1/4においてパルスはピーク値となるようにパルス変調されてもよい。この場合には、各パルスのピーク値及びボトム値は、例えば、次式に従って設定される。
Figure JPOXMLDOC01-appb-M000004
　なお、4PPM符号が用いられる場合においても、各パルスの振幅が一定となるように、各パルスのピーク値及びボトム値が設定されてもよい。
　なお、各サブ区間内のパルス変調される色成分の平均値が発光パターンに応じた波形を維持する値であれば、各サブ区間内のパルス変調される色成分の平均値と、そのサブ区間に含まれる、発光パターンのサンプリング点でのその色成分の値とは一致しなくてもよい。例えば、各サブ区間について、そのサブ区間内のパルス変調される色成分の平均値が、そのサブ区間に対応する発光パターンのサンプリング点でのその色成分の値よりも所定値だけ高くなるように、各パルスのピーク値及びボトム値は設定されてもよい。その際、サブ区間に含まれる発光パターンのサンプリング点での色成分の値が高いほど、所定値も大きくなるように、各パルスのピーク値及びボトム値は設定されてもよい。あるいはまた、各サブ区間について、そのサブ区間内のパルス変調される色成分の平均値が、そのサブ区間に含まれる発光パターンのサンプリング点での色成分の値よりも所定値だけ低くなるように、各パルスのピーク値及びボトム値は設定されてもよい。このように、各パルスのピーク値及びボトム値が設定される場合でも、発光パターンの波形は維持されるので、受信装置２は、発光パターンにより変調された光を復調することで、伝送された情報を復号できる。
　パルスパターン変調部１５２は、シンボルごとに、そのシンボルの値に応じたパルスパターンにおいて、第２の特性値が設定したパルスのピーク値及びボトム値となる制御信号を生成し、その制御信号を照明部１４へ出力する。
　図１０は、送信装置１による送信処理の動作フローチャートである。
　送信装置１の制御部１５の発光パターン変調部１５１は、伝送する情報をシンボル単位に分割する（ステップＳ１０１）。そして発光パターン変調部１５１は、シンボルごとに、発光パターンを重畳する期間を設定する（ステップＳ１０２）。また発光パターン変調部１５１は、伝送する情報に含まれ、未着目のシンボルのうち、先頭のシンボルを着目するシンボルとして選択する（ステップＳ１０３）。そして発光パターン変調部１５１は、その着目するシンボル値に応じて発光パターンを決定する（ステップＳ１０４）。
　発光パターン変調部１５１は、第１の時間長を持つ期間に複数のサンプリング点を設定し、サンプリング点を含むサブ区間ごとに、照明部１４が有する各発光素子の色成分値Ck0を発光パターンに応じて決定する（ステップＳ１０５）。そして発光パターン変調部１５１は、パルス変調しない各色成分について、サブ区間ごとに、そのサブ区間に含まれるサンプリング点での色成分値で対応する発光素子に発光させる制御信号を生成し、その制御信号を照明部１４へ出力する（ステップＳ１０６）。
　一方、パルスパターン変調部１５２は、サブ区間ごとに、そのサブ区間内のパルス変調される色成分の平均値がサンプリング点での色成分値Ck0と等しくなるように、そのサブ区間に含まれる各パルスのピーク値Ck1及びボトム値Ck2を設定する（ステップＳ１０７）。パルスパターン変調部１５２は、パルス変調される色成分について、各サブ区間について設定された各パルスのピーク値Ck1及びボトム値Ck2と、シンボルごとの値に応じた第２の時間長を持つパルスパターンに基づいてパルス変調する制御信号を生成する。そしてパルスパターン変調部１５２は、その制御信号を照明部１４へ出力する（ステップＳ１０８）。
　制御部１５は、着目するシンボルに設定されていない未着目のシンボルが残っているか否か判定する（ステップＳ１０９）。未着目のシンボルが残っていれば（ステップＳ１０９－Ｙｅｓ）、制御部１５は、ステップＳ１０３以降の処理を繰り返す。
　一方、未着目のシンボルが残っていなければ（ステップＳ１０９－Ｎｏ）、制御部１５は、送信処理を終了する。
　次に、受信装置２について説明する。
　図１１は、受信装置２のハードウェア構成図である。受信装置２は、例えば、撮像部を有する携帯端末、あるいは、据え置き型の装置とすることができる。そして受信装置２は、通信インターフェース部２１と、記憶部２２と、記憶媒体アクセス装置２３と、撮像部２４と、ユーザインターフェース部２５と、制御部２６とを有する。受信装置２は、送信装置１からの光が照射された領域の少なくとも一部を含む撮影範囲を、撮像部２４により所定の撮影レートで時系列に沿って複数回撮影して得られる複数の画像を解析することで、送信装置１が送信した情報を復号する。
　通信インターフェース部２１は、例えば、受信装置２を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部２１は、制御部２６から受け取った情報を、通信ネットワークを介して他の装置、例えば、サーバへ送信する。また通信インターフェース部２１は、他の装置から受け取った情報を制御部２６へ渡す。
　記憶部２２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部２２は、例えば、撮像部２４により時系列に沿って生成された複数の画像を受信処理の実行中において記憶する。また記憶部２２は、制御部２６が受信処理を行うために利用する各種の情報及びプログラムを記憶する。さらに記憶部２２は、送信装置１が送信し、かつ復号された情報を記憶してもよい。
　記憶媒体アクセス装置２３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体２７にアクセスする装置である。記憶媒体アクセス装置２３は、例えば、記憶媒体２７に記憶された、制御部２６上で実行される、受信処理用のコンピュータプログラムを読み込み、制御部２６に渡す。
　撮像部２４は、例えば、CCDあるいはCMOSといった、送信装置１の照明部１４が発する光に感度を持つ固体撮像素子の２次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。なお、撮影範囲に、送信装置１の照明部１４からの光が照射された領域の少なくとも一部が含まれるように、例えば、図１の物体３が撮影範囲に含まれるように、受信装置２は配置されることが好ましい。そして撮像部２４は、受信装置２が受信処理を行っている間、所定の撮影レートで撮影を行って、撮影を行う度に画像を生成する。なお、第１の特性値または第２の特性値が色に関するものである場合、撮像部２４が生成する画像はカラー画像であることが好ましい。
　また、撮像部２４は、例えば、ローリングシャッター方式といった、パルス変調に対応できる高速なシャッタ速度を実現可能な露光方式が採用されたものであってもよく、あるいは、パルス変調には対応できない露光方式が採用されたものであってもよい。撮像部２４がパルス変調に対応可能な露光方式を採用しており、かつ、パルス変調により光に重畳された情報を復元する場合には、所定の撮影レートは、例えば、第２の時間長の1/2以下の時間周期に相当する撮影レートとすることができる。一方、発光パターンによる変調にて光に重畳された情報を復元できればよい場合には、所定の撮影レートは、例えば、第１の時間長の1/2以下の時間周期に相当する撮影レートとすることができる。
　撮像部２４は、画像を生成する度に、その画像を制御部２６へ出力する。
　ユーザインターフェース部２５は、例えば、タッチパネルディスプレイといった、人が受信装置２を操作したり、あるいは、受信装置２が人に情報を表示するためのデバイスを有する。そしてユーザインターフェース部２５は、人の操作に応じた操作信号、例えば、受信処理の開始を指示する操作信号を制御部２６へ出力する。またユーザインターフェース部２５は、制御部２６から受け取った各種の情報及び撮像部２４により生成された画像を表示する。例えば、ユーザインターフェース部２５は、撮像部２４により生成された画像とともに、受信処理によって復号した、送信装置１から送信された情報を表示してもよい。
　制御部２６は、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部２６は、受信装置２全体を制御する。また制御部２６は、撮像部２４により、時系列に沿って生成された複数の画像を周波数解析して、送信装置１から送信された情報を復号する。
　図１２は、受信処理に関する制御部２６の機能ブロック図である。制御部２６は、分割部２６１と、特徴抽出部２６２と、発光パターン復号部２６３と、パルス復号部２６４とを有する。制御部２６が有するこれらの各部は、例えば、制御部２６が有するプロセッサ上で動作するコンピュータプログラムにより実現されるソフトウェアモジュールである。あるいは、制御部２６が有するこれらの各部は、その各部の機能を実現するファームウェアとして受信装置２に実装されてもよい。あるいまた、制御部２６が有するこれらの各部は、例えば、Webブラウザ上で動作するWebアプリケーションとして実装されてもよい。なお、撮像部２４がパルス変調に対応できない露光方式を採用している場合には、パルス復号部２６４は省略されてもよい。また、撮像部２４がパルス変調に対応できる露光方式を採用している場合には、発光パターン復号部２６３は省略されてもよい。
　図１３は、発光パターンにより重畳された情報についての受信処理の概念図である。送信装置１の照明部１４からの光で照明された物体が撮像部２４により生成された各画像に写っているとすると、その物体が写っている領域に含まれる画素値は、照明部１４が発する光の第１の特性の変化に影響される。また、撮像部２４が撮影する際のシャッター速度が第２の時間長よりも長い場合、その物体が写っている領域に含まれる画素値は、シャッターが開放されている期間にわたって照明部１４からの光量を積分したものに相当する値となる。そこで、撮像部２４により生成された画像１３００－１、１３００－２、１３００－３、・・・、１３００－ｎは、それぞれ複数の部分領域１３０１に分割される。そして各部分領域から照明部１４が発する光の第１の特性を表す特徴量１３０２が抽出され、その特徴量１３０２の時間変化を調べることで、発光パターン１３０３が特定される。したがって、受信装置２は、発光パターン１３０３に対応するシンボルの値を復号することが可能となる。
　図１４は、パルス変調により重畳された情報についての受信処理の概念図である。図１４において、横軸は時間を表す。また左側のグラフにおいて、縦軸はパルス変調された色成分の明るさを表す。一方、右側のグラフにおいて、縦軸は画素値を表す。グラフ１４０１に示されるように、照明部１４が発する光のうちの何れかの色成分がパルス変調されているとする。この場合において、撮像部２４が各パルスのパルス幅以下の周期tで撮影を行っていれば、グラフ１４０２に示されるように、照明部１４が発する光で照明された物体が写っている部分領域内の画素値のうちのパルス変調された色成分も時系列に変化する。したがって、画素値のうちのパルス変調された色成分の時間変化を調べることによりパルスパターンが特定され、受信装置２は、そのパルスパターンに対応するシンボルの値を復号することが可能となる。
　分割部２６１は、各画像を複数の部分領域に分割する。例えば、分割部２６１は、各画像を、水平方向及び垂直方向に、それぞれ２～４分割してもよい。また分割部２６１は、複数の分割方法で各画像を分割してもよい。例えば、分割部２６１は、各画像を、水平方向及び垂直方向のそれぞれについて２分割して、各画像について４個の部分領域を設定するとともに、各画像を、水平方向及び垂直方向のそれぞれについて３分割して、各画像について９個の部分領域を設定してもよい。これにより、何れかの部分領域において送信装置１からの光で照明された物体が表された領域、あるいは送信装置１の照明部１４そのものが部分領域の大部分を占めるように、部分領域を設定できる確率が高くなる。
　分割部２６１は、各画像の各部分領域を表す情報（例えば、部分領域間の境界の位置）を特徴抽出部２６２へ渡す。
　特徴抽出部２６２は、各画像の各部分領域から、送信装置１の照明部１４から発した光の発光パターンに応じて時系列で変化する光の第１の特性を表す特徴量を抽出する。例えば、時系列で変化する光の第１の特性が輝度である場合、特徴抽出部２６２は、各部分領域の画素の輝度値の平均値あるいは中央値を特徴量として抽出する。また、時系列で変化する光の第２の特性が発光色である場合、特徴抽出部２６２は、各部分領域の各画素の値をYUV色空間またはHLS色空間の値に変換して、各画素の色成分（例えば、U成分、V成分、または色相）の平均値または中央値を特徴量として算出する。なお、撮像部２４により得られた画像の各画素の値がRGB色空間で表されている場合には、特徴抽出部２６２は、画像の各画素の値をYUV色空間またはHLS色空間の値に変換することで、色成分の平均値または中央値を算出できる。なお、特徴量は上記の例に限られず、特徴抽出部２６２は、発光パターンで変化する光の第１の特性に応じて時系列で変化する様々な特徴量、例えば、部分領域内の輝度値または特定の色成分の総和、分散または標準偏差を特徴量として抽出してもよい。あるいはまた、特徴抽出部２６２は、時間的に連続する２枚の画像間で同じ位置にある画素の画素値間の差分値の部分領域内の平均値を特徴量として抽出してもよい。
　なお、撮像部２４がパルス変調に対応した露光方式を採用しており、かつ、第２の時間長の1/2(4PPM方式が採用されている場合には、第２の時間周期の1/4)よりも短い撮影周期で画像を生成している場合には、各画像の画素値は、パルス変調による影響を受ける。そこで特徴抽出部２６２は、所定の時間長を持つ区間ごとに、その区間に含まれる複数の画像について、対応画素間の画素値の平均値を算出することで合成画像を生成してもよい。そして特徴抽出部２６２は、時系列に配列された複数の合成画像に対して上記の処理を実行することで、各合成画像の各部分領域から特徴量を抽出してもよい。なお、所定の時間長は、パルス変調による影響が軽減され、かつ、発光パターンの波形に関する情報が失われないように、例えば、第２の時間長の２倍以上、かつ、発光パターンの１周期（すなわち、第１の時間長）の1/2以下の時間長に設定されることが好ましい。
　また、特徴抽出部２６２は、撮像部２４がパルス変調に対応した露光方式を採用しており、かつ、パルス幅よりも短い撮影周期で画像を生成している場合には、各画像の各部分領域からパルス変調を表す特徴量を抽出する。例えば、照明部１４から発する光の特定の色成分がパルス変調されている場合、特徴抽出部２６２は、各画像について、部分領域ごとに、その部分領域に含まれる各画素のその特定の色成分の平均値を、パルス変調を表す特徴量として抽出する。
　特徴抽出部２６２は、各画像の部分領域ごとの発光パターンに関する特徴量を発光パターン復号部２６３へ渡し、パルス変調に関する特徴量をパルス復号部２６４へ渡す。
　発光パターン復号部２６３は、部分領域ごとに抽出された特徴量の時系列順での変化から発光パターンを特定し、その発光パターンに応じたシンボルの値を復号する。
　上記のように、発光パターンに従って送信装置１の照明部１４から発した光の特性が周期的に変動している場合、送信装置１により照明された物体が写っている部分領域の特徴量の時間変動は、発光パターンの変動周期に応じた時間軸方向の周波数成分を持つ。例えば、上記のように、送信装置１からの光の特性が正弦波状に変動する場合、時間軸方向における特徴量の周波数成分には、その正弦波に対応する特定の周波数成分が含まれる。
　そこで発光パターン復号部２６３は、一つのシンボルに対応する期間と同じ長さの着目期間に含まれる複数の画像について、同一の物体が写っている部分領域ごとに、時系列順にその部分領域から抽出された特徴量を並べて１次元ベクトルを作成する。なお、受信装置２が静止しており、かつ、受信装置２の撮影範囲内に静止している物体が存在する場合、複数の画像において同一の物体が写っている部分領域は、画像上の同じ位置にある部分領域とすることができる。そして発光パターン復号部２６３は、その１次元ベクトルをフーリエ変換する。そして発光パターン復号部２６３は、部分領域ごとに、得られた周波数成分から発光パターンの周期と同じ周波数のスペクトルを抽出する。
　発光パターン復号部２６３は、部分領域のうち、抽出したスペクトルの振幅レベルが最大となる部分領域を選択する。あるいは、発光パターン復号部２６３は、抽出したスペクトルの振幅レベルが所定の閾値以上となる部分領域を選択してもよい。これにより、発光パターン復号部２６３は、送信装置１により照明された物体または送信装置１の照明部１４そのものが写っている部分領域を選択できる。そして発光パターン復号部２６３は、選択した部分領域について、抽出したスペクトルから、発光パターンに応じた値を持つ成分を検出する。発光パターンに応じた値を持つ成分は、例えば、着目期間内の所定時点（例えば、着目期間の開始時点または終了時点）における光の特性の周期的な変動の位相または振幅レベルである。
　なお、送信装置１がシンボルごとに設定する期間と、着目期間とがずれている可能性がある。そこで発光パターン復号部２６３は、時系列に沿って着目期間を１フレームずつずらしながら、上記の処理を行って、着目期間ごとに発光パターンに応じた値を持つ成分を検出する。この場合、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合に、その検出された成分の値が極値となるので、発光パターン復号部２６３は、その極値を、発光パターンに応じた値を持つ成分とすればよい。一旦、極値が得られれば、その極値に対応する着目期間が一つのシンボルに対応する期間と一致していると考えられるので、発光パターン復号部２６３は、その着目期間を基準として、以後の着目期間を設定すればよい。そして発光パターン復号部２６３は、着目期間ごとに、発光パターンに応じた値を持つ成分を検出する。
　なお、発光パターン復号部２６３は、上記の方法以外の方法により、発光パターンを特定してもよい。例えば、発光パターン復号部２６３は、着目期間内で、時間的に隣接する画像間での特徴量の差分値を求め、その差分値により特徴量の増減を調べることで、発光パターンを特定してもよい。
　発光パターン復号部２６３は、検出された成分を時系列順に並べる。発光パターン復号部２６３は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列（例えば、'01010101'）が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そして発光パターン復号部２６３は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付ければよい。
　あるいは、発光パターン復号部２６３は、伝送される情報にCRC符号といった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。
　あるいはまた、発光パターン復号部２６３は、検出された成分とシンボルの値との対応関係を表す参照テーブルを参照して、検出された成分に応じたシンボルの値を求めてもよい。なお、その参照テーブルは、例えば、予め記憶部２２に記憶される。
　発光パターン復号部２６３は、復号されたシンボルの値を所定の順序、例えば、時間順に並べることで、伝送された情報を復号する。そして発光パターン復号部２６３は、復号された情報を記憶部２２に記憶する。
　パルス復号部２６４は、各画像の部分領域ごとのパルス変調に関する特徴量に基づいて、パルス変調によって送信装置１の照明部１４から発する光に重畳された情報を復号する。
　例えば、パルス復号部２６４は、部分領域ごとに、得られた特徴量の最大値と最小値の差を算出し、その差が所定値以上となる部分領域を、照明部１４が発した光で照明された物体が写っている部分領域と判定する。そしてパルス復号部２６４は、照明部１４が発した光で照明された物体が写っている部分領域について、所定の時間長を持つ区間ごとに、特徴量の平均値を算出する。なお、所定の時間長は、例えば、第２の時間長よりも長く、かつ、発光パターンによる変調に関して発光パターンの１周期中に設定されるサブ区間の長さ以下とすることが好ましい。これにより、発光パターンに応じて各パルスのピーク値及びボトム値が変化しても、パルス復号部２６４は、各パルスを識別できる。そしてパルス復号部２６４は、平均値よりも高い特徴量をパルスのピーク値に対応付け、一方、平均値よりも低い特徴量をパルスのボトム値に対応付ける。パルス復号部２６４は、パルスのピーク値とボトム値の時間変化のパターンに応じて、重畳されたパルスパターンを特定すればよい。そして、パルスパターンとシンボルとの値との関係を表す参照テーブルが記憶部２２に予め記憶され、パルス復号部２６４は、その参照テーブルを参照して、パルスパターンに対応するシンボルの値を特定すればよい。
　パルス復号部２６４は、復号されたシンボルの値を所定の順序、例えば、時間順に並べることで、伝送された情報を復号する。なお、パルス復号部２６４は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そしてパルス復号部２６４は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付けてもよい。
　あるいは、パルス復号部２６４は、伝送される情報にCRC符号といった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。そしてパルス復号部２６４は、復号された情報を記憶部２２に記憶する。
　制御部２６は、復号した情報を通信インターフェース部２１を介して他の装置へ出力する。あるいは、制御部２６は、復号した情報に応じた処理を実行する。例えば、復号した情報が所定のアプリケーションの起動を指示する情報であれば、制御部２６は、そのアプリケーションを起動する。あるいは、制御部２６は、復号した情報をユーザインターフェース部２５に表示させてもよい。なお、発光パターンによる変調にて重畳された情報と、パルス変調により重畳された情報とが同一である場合、制御部２６は、発光パターン復号部２６３により復号された情報とパルス復号部２６４により復号された情報のうちの一方に上記の処理を行えばよい。
　図１５は、受信装置２により実行される受信処理の動作フローチャートである。
　制御部２６の分割部２６１は、各画像を複数の部分領域に分割する（ステップＳ２０１）。そして制御部２６の特徴抽出部２６２は、部分領域ごとに発光パターンで変化する光の第１の特性を表す特徴量を抽出する（ステップＳ２０２）。さらに、特徴抽出部２６２は、部分領域ごとにパルス変調に関する特徴量を抽出する（ステップＳ２０３）。
　発光パターン復号部２６３は、一つのシンボルに相当する期間に含まれる複数の画像の組を含む期間ごとに、同じ位置の部分領域の発光パターンに関する特徴量を周波数解析して発光パターンの周期を持つスペクトルを検出する（ステップＳ２０４）。そして発光パターン復号部２６３は、その期間ごとに、検出したスペクトルから発光パターンに対応するシンボルの値を特定して、伝送された情報を復号する（ステップＳ２０５）。
　一方、パルス復号部２６４は、パルス変調に関する特徴量の時間変化に応じて対応するシンボルの値を特定することで、伝送された情報を復号する（ステップＳ２０６）。そして制御部２６は、受信処理を終了する。
　以上に説明してきたように、この通信システムは、送信装置が発する光に情報を重畳して受信装置へ伝送することができる。その際、送信装置は、時系列に変化する発光パターンをシンボルの値に応じて異ならせることで、送信装置が発する光に情報を重畳するとともに、送信装置が発する光を発光パターンよりも短い周期でパルス変調することでも、情報を重畳する。そのため、受信装置の撮像部がパルス変調に対応可能な露光方式を採用していれば、受信装置は、パルス変調された光を復調することで伝送された情報を復号できる。一方、受信装置の撮像部がパルス変調に対応していない露光方式を採用している場合、受信装置は、発光パターンにより変調された光を復調することで伝送された情報を復号できる。このように、この通信システムは、受信装置が有する撮像部の露光方式によらずに情報を送信装置から受信装置へ伝送できる。さらに、パルス変調による変調の周期は、発光パターンによる変調の周期よりも短いため、受信装置の撮像部がパルス変調に対応可能な露光方式を採用している場合、この通信システムは、より短期間で情報を送信装置から受信装置へ伝送できる。
　なお、変形例によれば、発光パターンによる変調にて照明部１４が発する光に重畳される情報と、パルス変調により照明部１４が発する光に重畳される情報とは、互いに異なるものであってもよい。この場合には、送信装置１は、例えば、相対的に重要度が高い情報を、発光パターンによる変調にて照明部１４が発する光に重畳し、一方、相対的に重要度が低い情報を、パルス変調により照明部１４が発する光に重畳してもよい。
　また他の変形例によれば、照明部１４が発する光の色成分ごとに、異なる情報が、パルス変調により重畳されてもよい。この場合には、受信装置２の制御部２６の特徴抽出部２６２及びパルス復号部２６４は、色成分ごとに、上記の実施形態または変形例による処理を実行してもよい。この変形例によれば、色成分ごとに異なる情報が重畳されるので、伝送効率が向上する。
　さらに他の変形例によれば、送信装置１の制御部１５は、伝送されるシンボルの値に応じて、照明部１４から発する光をパルス周波数変調してもよい。この場合も、発光パターンによる変調の１周期を分割した各サブ区間において、パルスがピーク値を持つ時間の長さとパルスがボトム値を持つ時間の長さは等しいので、各パルスのピーク値及びボトム値は、（１）式または（２）式に従って設定されればよい。この場合、受信装置２のパルス復号部２６４は、発光パターン復号部２６３と同様に、時系列に並んだパルス変調に関する特徴量を周波数解析することで、パルス変調により光に重畳された情報を復号すればよい。
　なお、上記の実施形態または変形例において、受信装置は、撮像部を有する端末と、その端末と通信ネットワークを介して接続された他の装置、例えばサーバとを有していてもよい。この場合、端末は、画像を生成する度に、その画像を、端末を特定するための識別情報、例えば、その端末のIPアドレスとともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサが、上記の実施形態による受信装置の制御部の各処理を実行して、送信装置から伝送された情報を復号してもよい。さらに、サーバは、復号した情報を、端末を特定するための識別情報を参照して、その端末へ返送してもよい。
　あるいは、端末が有するプロセッサは、画像を生成する度に、その画像に対して分割部２６１の処理と特徴抽出部２６２の処理を行って、部分領域ごとの特徴量を抽出してもよい。そして端末は、各画像から抽出された部分領域ごとの特徴量を、端末を特定するための識別情報とともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサは、上記の実施形態による受信装置の発光パターン復号部２６３及びパルス復号部２６４の処理を実行して、送信装置から伝送された情報を復号してもよい。
　さらに、上記の各実施形態による送信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、上記の実施形態による受信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
　ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
　１００　　通信システム
　１　　送信装置
　１１　　通信インターフェース部
　１２　　記憶部
　１３　　記憶媒体アクセス装置
　１４　　照明部
　１５　　制御部
　１５１　　発光パターン変調部
　１５２　　パルスパターン変調部
　１６　　記憶媒体
　２　　受信装置
　２１　　通信インターフェース部
　２２　　記憶部
　２３　　記憶媒体アクセス装置
　２４　　撮像部
　２５　　ユーザインターフェース部
　２６　　制御部
　２７　　記憶媒体
　２６１　　分割部
　２６２　　特徴抽出部
　２６３　　発光パターン復号部
　２６４　　パルス復号部

Claims (9)

  1. 　発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、
    　第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って前記照明部から発する光の前記第１の特性を時系列に沿って変調するよう前記照明部を制御し、かつ、前記伝送する情報に応じて前記照明部から発する光の前記第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう前記照明部を制御し、前記期間を分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する制御部と、
    を有する送信装置。
  2. 　前記制御部は、前記複数のサブ区間のそれぞれごとに、当該サブ区間における前記発光パターンの前記波形による前記第２の特性の値と、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値とが等しくなるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、請求項１に記載の送信装置。
  3. 　前記制御部は、前記期間全体にわたって各パルスの前記第２の特性についてのピーク値とボトム値との差が一定となるように、前記複数のサブ区間のそれぞれごとに、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、請求項１または２に記載の送信装置。
  4. 　前記第１の特性は、前記照明部から発する光の発光色であり、前記第２の特性は、前記照明部から発する光の所定の色成分である、請求項１～３の何れか一項に記載の送信装置。
  5. 　前記第１の特性及び前記第２の特性のそれぞれは、前記照明部から発する光の輝度である、請求項１～３の何れか一項に記載の送信装置。
  6. 　第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調するよう前記照明部を制御する発光パターン変調部と、
    　前記伝送する情報に応じて前記照明部から発する光の第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう前記照明部を制御し、前記期間を分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定するパルスパターン変調部と、
    を有する送信制御装置。
  7. 　送信装置と受信装置とを有する通信システムであって、
    　前記送信装置は、
    　　発する光の第１の特性及び第２の特性を時系列に沿って変更可能な照明部と、
    　　第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って前記照明部から発する光の前記第１の特性を時系列に沿って変調するよう前記照明部を制御し、かつ、前記伝送する情報に応じて前記照明部から発する光の前記第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調するよう前記照明部を制御し、前記期間を分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する制御部と、を有し、
    　前記受信装置は、
    　　所定の撮影周期で前記送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、
    　　前記撮像部により生成された複数の前記画像に基づいて前記伝送された情報を復号する制御部と、
    を有する通信システム。
  8. 　第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、
    　前記伝送する情報に応じて前記照明部から発する光の第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、前記期間を分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、
    ことを含む送信方法。
  9. 　第１の時間長を持つ期間において、伝送する情報に応じた波形を持ち、かつ、前記第１の時間長を持つ発光パターンに従って照明部から発する光の第１の特性を時系列に沿って変調し、
    　前記伝送する情報に応じて前記照明部から発する光の第２の特性を前記第１の時間長よりも短い第２の時間長を持つパルスパターンでパルス変調し、前記期間を分割した複数のサブ区間のそれぞれごとに、当該サブ区間における前記照明部から発する光の前記第２の特性の平均値が前記発光パターンの前記波形を維持する値となるように、当該サブ区間に含まれる各パルスの前記第２の特性についてのピーク値とボトム値とを設定する、
    ことをコンピュータに実行させるための送信用コンピュータプログラム。
PCT/JP2017/004790 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム WO2018146778A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2017/004790 WO2018146778A1 (ja) 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
CN201780086050.8A CN110268643B (zh) 2017-02-09 2017-02-09 发送装置、发送控制装置、通信系统、发送方法及记录介质
EP17895770.0A EP3582410B1 (en) 2017-02-09 2017-02-09 Transmission device, transmission control device, communication system, transmission method and computer program for transmission
JP2018566711A JP6848988B2 (ja) 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
US16/534,844 US10951312B2 (en) 2017-02-09 2019-08-07 Transmitting device, transmission control device, and transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/004790 WO2018146778A1 (ja) 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/534,844 Continuation US10951312B2 (en) 2017-02-09 2019-08-07 Transmitting device, transmission control device, and transmission method

Publications (1)

Publication Number Publication Date
WO2018146778A1 true WO2018146778A1 (ja) 2018-08-16

Family

ID=63108245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004790 WO2018146778A1 (ja) 2017-02-09 2017-02-09 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム

Country Status (5)

Country Link
US (1) US10951312B2 (ja)
EP (1) EP3582410B1 (ja)
JP (1) JP6848988B2 (ja)
CN (1) CN110268643B (ja)
WO (1) WO2018146778A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2021044B1 (en) * 2018-06-01 2019-12-10 Eldolab Holding Bv LED driver and method of operating a camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290359A (ja) 2008-05-27 2009-12-10 Panasonic Electric Works Co Ltd 可視光通信システム
JP2011250231A (ja) * 2010-05-28 2011-12-08 Casio Comput Co Ltd 情報伝送システムおよび情報伝送方法
WO2016001972A1 (ja) * 2014-06-30 2016-01-07 富士通株式会社 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4803385B2 (ja) * 2004-08-05 2011-10-26 独立行政法人科学技術振興機構 空間光通信を用いた情報処理システム及び空間光通信システム
CN101406013A (zh) * 2006-04-20 2009-04-08 松下电器产业株式会社 脉冲发送装置、脉冲接收装置、脉冲传输方法和脉冲解调方法
JP5000327B2 (ja) 2007-02-22 2012-08-15 パナソニック株式会社 可視光通信システム
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
US8447189B2 (en) * 2009-09-21 2013-05-21 Electronics And Telecommunications Research Institute Transmitter, receiver for visible light communication and method using the same
WO2013100743A1 (ko) * 2011-12-31 2013-07-04 Lee Moon Key 깜빡임이 없는 칼라 가시광 통신 시스템
CN105049118B (zh) * 2015-08-20 2017-10-20 华南理工大学 基于双重调制技术的可见光通信方法及其可见光通信系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290359A (ja) 2008-05-27 2009-12-10 Panasonic Electric Works Co Ltd 可視光通信システム
JP2011250231A (ja) * 2010-05-28 2011-12-08 Casio Comput Co Ltd 情報伝送システムおよび情報伝送方法
WO2016001972A1 (ja) * 2014-06-30 2016-01-07 富士通株式会社 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3582410A4

Also Published As

Publication number Publication date
CN110268643A (zh) 2019-09-20
US10951312B2 (en) 2021-03-16
EP3582410B1 (en) 2021-09-01
CN110268643B (zh) 2022-01-11
JPWO2018146778A1 (ja) 2019-12-19
JP6848988B2 (ja) 2021-03-24
EP3582410A4 (en) 2020-02-19
EP3582410A1 (en) 2019-12-18
US20190363794A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US10236979B2 (en) Transmitter, receiver, communication system, and transmission and reception methods
CN102165849B (zh) 用于多个光源的自动调试的系统和方法
CN102696280B (zh) 使用常规相机传感器针对可见光通信的数据检测
JP7550467B2 (ja) 可視光通信システム
JP6125535B2 (ja) 可視光通信
JP5698763B2 (ja) 局所的な照明寄与の２ｄ検出のための方法及びシステム
JP6405820B2 (ja) 信号伝送装置、信号伝送方法および信号伝送プログラム
JP6897389B2 (ja) 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
WO2019010005A1 (en) LIGHT-BASED COMMUNICATION USING LIGHT MODULATION BASED ON CAMERA FRAME FREQUENCY
JP6579069B2 (ja) 光通信装置、光通信方法、及び、プログラム
WO2018146778A1 (ja) 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
JP2018107824A (ja) 受信装置及び受信方法
WO2018073870A1 (ja) 送信装置、受信装置、通信システム、送信方法、受信方法および送信用コンピュータプログラムならびに受信用コンピュータプログラム
WO2020165995A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895770

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018566711

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017895770

Country of ref document: EP

Effective date: 20190909

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载