WO2016035368A1 - 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム - Google Patents
復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム Download PDFInfo
- Publication number
- WO2016035368A1 WO2016035368A1 PCT/JP2015/058131 JP2015058131W WO2016035368A1 WO 2016035368 A1 WO2016035368 A1 WO 2016035368A1 JP 2015058131 W JP2015058131 W JP 2015058131W WO 2016035368 A1 WO2016035368 A1 WO 2016035368A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- decoding
- key block
- unit
- encoding
- log likelihood
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims description 159
- 230000008569 process Effects 0.000 claims description 99
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 31
- 239000002775 capsule Substances 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 26
- 208000011580 syndromic disease Diseases 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 22
- 230000003252 repetitive effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 25
- 238000009826 distribution Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000001174 ascending effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/14—Conversion to or from non-weighted codes
- H03M7/16—Conversion to or from unit-distance codes, e.g. Gray code, reflected binary code
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/09—Error detection only, e.g. using cyclic redundancy check [CRC] codes or single parity bit
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
- H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes
- H03M13/1105—Decoding
- H03M13/1111—Soft-decision decoding, e.g. by means of message passing or belief propagation algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Definitions
- the present invention relates to a decoding apparatus, an imaging system, a decoding method, an encoding / decoding method, and a decoding program for decoding image data encoded by an imaging device.
- a system using a swallowable capsule endoscope As an imaging system including an imaging device that transmits image data generated by imaging a subject and a receiving device that receives the image data, for example, a system using a swallowable capsule endoscope has been proposed (For example, refer to Patent Document 1).
- a capsule endoscope is peristalized in a body cavity, for example, the inside of an organ such as the stomach and the small intestine, after being swallowed from the mouth of the subject for observation (examination) and before being spontaneously discharged. It moves according to the movement, and the in-subject image is taken every predetermined time with the movement.
- the capsule endoscope sequentially transmits image data captured in the body to the outside by wireless communication while moving in the body cavity.
- the present invention has been made in view of the above, and a decoding device, an imaging system, a decoding method, and the like that can suppress the load and power consumption on the imaging device side even when the frame rate during imaging is increased. It is an object to provide an encoding / decoding method and a decoding program.
- a decoding apparatus is a decoding apparatus that decodes image data encoded by an imaging device, and is configured to store one frame generated by the imaging device. Data that obtains a key block that constitutes a part of image data and a non-key block that constitutes a part of one frame of image data generated by the imaging device and at least a part of which is encoded.
- An acquisition unit a characteristic information storage unit that stores characteristic information related to a pixel value correlation characteristic in a frame, a first log likelihood ratio obtained from a non-key block that has been subjected to encoding processing at least in part, and Based on the key block and the second log likelihood ratio obtained from the characteristic information stored in the characteristic information storage unit, iterative decoding is performed by the probability propagation method. Characterized by comprising a decoding unit for estimating a non-key block before the encoding process.
- the characteristic information storage unit stores a plurality of different characteristic information
- the second log likelihood ratio is calculated using the key block and the plurality of characteristic information.
- the second log likelihood ratio obtained from the characteristic information different from the previously used characteristic information is changed, and the iterative decoding is performed again.
- the decoding unit includes the first log likelihood ratio and the key acquired by the data acquisition unit immediately before the non-key block in time series.
- the non-key block in time series in the iterative decoding in the forward direction based on the block and the second log likelihood ratio obtained from the characteristic information, the first log likelihood ratio, and the data acquisition unit And performing the iterative decoding in the traceback direction based on the key block acquired immediately after and the second log likelihood ratio obtained from the characteristic information.
- an error detection unit that performs parity check on the non-key block estimated after the iterative decoding by the decoding unit and detects whether or not there is an error. And the decoding unit decodes the non-key block estimated after iterative decoding in the forward direction or the non-key block estimated after iterative decoding in the traceback direction based on the detection result by the error detection unit. Is output as
- the decoding unit is restored by a posteriori log likelihood ratio of the non-key block restored by the forward iterative decoding and the iterative decoding in the traceback direction.
- the decoding device further includes a display determination unit that performs a determination process as to whether or not the non-key block estimated after the iterative decoding by the decoding unit is a display target.
- an error detection unit that performs parity check on the non-key block estimated after the iterative decoding by the decoding unit and detects whether or not there is an error.
- the display determination unit performs the determination process based on a detection result by the error detection unit.
- the display determination unit performs the determination process based on a posterior log likelihood ratio of the non-key block restored by the iterative decoding by the decoding unit. It is characterized by that.
- the key block and the non-key block are pixel groups on at least one line arranged in a row direction or a column direction in a frame.
- the imaging device includes a color filter in which a plurality of filter groups grouped according to a wavelength band of light to be transmitted are arranged in a predetermined format, and the color An image sensor provided on a light receiving surface, and generating image data corresponding to incident light through the color filter, and for each frame, the image data is stored in the key block and the non-key block.
- the decoding unit divides each pixel included in the non-key block according to a group of the plurality of filter groups, and performs the iterative decoding for each group. To do.
- the imaging device includes a color filter in which a plurality of filter groups grouped according to a wavelength band of light to be transmitted are arranged in a predetermined format, and the color An image sensor provided on a light receiving surface, and generating image data corresponding to incident light through the color filter, and for each frame, the image data is stored in the key block and the non-key block.
- the characteristic information storage unit stores a plurality of the characteristic information respectively corresponding to the group of the plurality of filter groups, and the decoding unit stores each pixel included in the non-key block.
- An imaging system includes an imaging device that encodes and transmits image data generated by imaging a subject, and a decoding device that receives and decodes the encoded image data.
- the imaging device generates image data corresponding to incident light, and distributes the image data to a key block and a non-key block for each frame, and at least a part of the non-key block.
- An encoding unit that performs an encoding process, and a transmission unit that transmits the key block and a non-key block that has been subjected to the encoding process on at least a part thereof, and the decoding device includes the key block, and A receiving unit that receives a non-key block that has been encoded at least in part, and a pixel value correlation characteristic for each color in the frame Stored in the characteristic information storage unit for storing sex information, the first log likelihood ratio obtained from the non-key block subjected to the encoding process at least in part, the key block, and the characteristic information storage unit. And a decoding unit that performs iterative decoding by a probability propagation method based on the second log likelihood ratio obtained from the characteristic information and estimates a non-key block before the encoding process. .
- the encoding process is syndrome encoding using a parity check matrix.
- the imaging unit includes a color filter in which a plurality of filter groups grouped according to a wavelength band of light to be transmitted are arranged in a predetermined format, and the color A filter provided on a light receiving surface, and the encoding unit divides each pixel included in the non-key block according to a group of the plurality of filter groups, and for each group, For at least a part of the group, the encoding operation matrix is used to perform the encoding process, and the encoding operation matrix used for at least one of the plurality of grouped groups is: It differs from the said encoding calculation matrix used with respect to another group, It is characterized by the above-mentioned.
- the imaging system according to the present invention is characterized in that, in the above invention, the imaging device is a capsule endoscope that can be introduced into a subject.
- the decoding method is a decoding method executed by a decoding device that decodes image data encoded by an imaging device, and constitutes a part of one frame of image data generated by the imaging device. And a data acquisition step of acquiring a non-key block that constitutes a part of one frame of image data generated by the imaging device and at least a part of which is encoded, and the at least one Based on a first log likelihood ratio obtained from a non-key block that has been subjected to encoding processing on the part, and a second log likelihood ratio obtained from characteristic information relating to the key block and pixel value correlation characteristics in the frame And a decoding step of performing iterative decoding by a probability propagation method and estimating a non-key block before the encoding process.
- An encoding / decoding method includes an imaging device that encodes and transmits image data generated by imaging a subject, and a decoding device that receives and decodes the encoded image data.
- the imaging device In the encoding / decoding method performed by the imaging system, the imaging device generates image data corresponding to incident light, and distributes the image data into a key block and a non-key block for each frame; An encoding step for performing an encoding process on at least a part of the key block; and a transmission step for transmitting the key block and a non-key block subjected to the encoding process on at least a part of the key block,
- a decoding device receives the key block and a non-key block in which at least a part is encoded.
- a decoding program according to the present invention is characterized by causing a decoding device to execute the decoding method.
- the decoding device Since the decoding device according to the present invention is configured as described above, the following configuration can be employed as an imaging device used in combination with the decoding device. That is, the imaging device performs encoding processing on at least a part of the non-key block without encoding the key block in the image data generated by imaging. Then, the imaging device transmits these key blocks and non-key blocks. For this reason, the amount of information of image data to be transmitted can be reduced. Further, in the decoding device according to the present invention, the second logarithm obtained from the first log likelihood ratio obtained from the non-key block at least partially encoded and the non-coded key block and the characteristic information. Based on the likelihood ratio, iterative decoding is performed by the probability propagation method.
- the imaging system according to the present invention includes the above-described decoding device, the same effects as the above-described decoding device can be obtained. Since the decoding method according to the present invention is a decoding method performed by the above-described decoding device, the same effect as that of the above-described decoding device is obtained. Since the encoding / decoding method according to the present invention is an encoding / decoding method performed by the above-described imaging system, the same effect as that of the above-described imaging system can be obtained. Since the decoding program according to the present invention is a program executed by the above-described decoding device, the same effect as the above-described decoding device can be obtained.
- FIG. 1 is a block diagram showing an imaging system according to Embodiment 1 of the present invention.
- FIG. 2 is a diagram showing an example of a key block and a non-key block according to Embodiment 1 of the present invention.
- FIG. 3 is a diagram for explaining an encoding process according to Embodiment 1 of the present invention.
- FIG. 4A is a diagram showing an example of characteristic information according to Embodiment 1 of the present invention.
- FIG. 4B is a diagram showing an example of characteristic information according to Embodiment 1 of the present invention.
- FIG. 5 is a diagram showing an example of iterative decoding (probability propagation method) according to Embodiment 1 of the present invention.
- FIG. 6 is a flowchart showing the encoding / decoding method according to Embodiment 1 of the present invention.
- FIG. 7 is a flowchart showing a decoding process according to Embodiment 1 of the present invention.
- FIG. 8 is a flowchart showing an encoding / decoding method according to Embodiment 2 of the present invention.
- FIG. 9 is a block diagram showing an imaging system according to Embodiment 3 of the present invention.
- FIG. 10 is a flowchart showing an encoding / decoding method according to Embodiment 3 of the present invention.
- FIG. 11 is a block diagram showing an imaging system according to Embodiment 4 of the present invention.
- FIG. 12 is a diagram virtually representing the function of the allocating unit according to the fourth embodiment of the present invention.
- FIG. 13 is a flowchart showing an encoding / decoding method according to Embodiment 4 of the present invention.
- FIG. 14 is a schematic diagram showing a capsule endoscope system according to the fifth embodiment of the present invention.
- FIG. 15 is a block diagram showing a decoding apparatus according to Embodiment 5 of the present invention.
- FIG. 16 is a diagram showing a modification of the first to fifth embodiments of the present invention.
- FIG. 17 is a diagram showing a modification of the first to fifth embodiments of the present invention.
- FIG. 1 is a block diagram showing an imaging system 1 according to Embodiment 1 of the present invention. As shown in FIG. 1, the imaging system 1 includes an imaging device 3 and a decoding device 4 that wirelessly communicate moving image data via a wireless transmission system 2.
- the imaging device 3 encodes moving image data generated by imaging a subject and wirelessly transmits it via the wireless transmission system 2.
- the imaging device 3 includes an imaging unit 31, a control unit 32, a transmission unit 33, and the like. Under the control of the control unit 32, the imaging unit 31 captures a subject at a frame rate of 30 frames per second, for example, and sequentially generates image data. The image data is converted into key blocks and non-key blocks for each frame. Sort out.
- the imaging unit 31 includes a color filter 311, an imaging element 312, a signal processing unit 313, a gray encoding unit 314, a distribution unit 315, and the like.
- the color filter 311 is provided on the light receiving surface of the image sensor 312 and has a configuration in which a plurality of filter groups grouped according to the wavelength band of light to be transmitted are arranged in a predetermined format (for example, a Bayer array).
- the color filter 311 is a Bayer array color filter 311, that is, a red filter group that transmits light in the red wavelength band, a blue filter group that transmits light in the blue wavelength band, and light in the green wavelength band.
- a first green filter group that transmits light (arranged in the same column as the red filter group) and a second green filter group that transmits light in the green wavelength band (arranged in the same column as the blue filter group)
- the description will be made assuming that the filter 311 is used.
- the image sensor 312 is driven by an image sensor drive circuit (not shown), and converts incident light that has passed through the color filter 311 into an electrical signal to form an image.
- the imaging element driving circuit drives the imaging element 312 to acquire analog signal image data, and outputs the analog signal image data to the signal processing unit 313.
- the signal processing unit 313 performs digital signal data by performing predetermined signal processing such as sampling, amplification, and A / D (Analog to Digital) conversion on the image data of the analog signal output from the image sensor 312. And output to the gray encoder 314.
- the gray encoding unit 314 performs gray encoding on the image data (moving image frame sequence) from the signal processing unit 313. For example, the gray encoding unit 314 sets the pixel value “6 (“ 0110 ”in binary display)” of each pixel of the image data to the gray code “0101” and the pixel value “7 (“ 0111 ”in binary display).
- the Gray code has a characteristic that data always changes by only 1 bit when changing from a certain value to an adjacent value.
- the distributing unit 315 distributes the image data (moving image frame sequence) gray-coded by the gray encoding unit 314 into a key block and a non-key block for each frame.
- the gray encoding unit 314 performs gray encoding on the image data from the signal processing unit 313, but is not limited to this, and only the non-key blocks distributed by the distribution unit 315 are gray-coded. Encoding may be performed. That is, it is not essential to gray-code the key block.
- FIG. 2 is a diagram showing an example of a key block and a non-key block according to Embodiment 1 of the present invention.
- each red pixel of the red corresponding pixel group corresponding to the red filter group of the color filter 311 is given a symbol “R”, and the blue corresponding pixel corresponding to the blue filter group.
- Each blue pixel in the group is labeled with “B”
- each first green pixel in the first green corresponding pixel group corresponding to the first green filter group is labeled with “Gr”
- the second green filter group “Gb” is attached to each second green pixel of the second green corresponding pixel group corresponding to.
- the allocating unit 315 has a plurality of pixels arranged in a matrix for each frame, and a plurality of pixels for two rows are made into one block, and the row number is small.
- a key block (hereinafter referred to as a key line) is assigned to one block every few blocks, and the rest is assigned to a non-key block (hereinafter referred to as a non-key line).
- the distribution unit 315 is used as a key line with a frequency of one for every four blocks. Then, the distribution unit 315 outputs the key line to the transmission unit 33 and outputs the non-key line to the control unit 32.
- the control unit 32 includes a CPU (Central Processing Unit) and the like, and controls the operation of the entire imaging device 3.
- the control unit 32 includes an encoding unit 321 and the like.
- the encoding unit 321 sequentially inputs the non-key lines from the distribution unit 315, and performs the encoding process for each non-key line. Then, the encoding unit 321 sequentially outputs the non-key lines after the encoding process to the transmission unit 33.
- the description will be given focusing on one pixel included in the non-keyline.
- the coding unit 321 a gray code of a pixel in the non-key line input (bit string) in the case of the x i, as shown in the following formula (1), (n-k) rows ⁇ Syndrome encoding is performed using an n-column low-density parity check matrix H. Then, the encoding unit 321 sequentially outputs the non-keyline (syndrome C) after the encoding process to the transmission unit 33.
- a parity check matrix H of (n ⁇ k) rows ⁇ n columns is used, the coding rate is k / n and the compression rate is (n ⁇ k) / n.
- FIG. 3 is a diagram for explaining an encoding process according to Embodiment 1 of the present invention.
- gray code x i is exemplified in the case of 6bit).
- the syndrome encoding shown in Equation (1) can be easily performed. For example, when the gray code x i (6 bits in the example of FIG. 3) of one pixel to be encoded is set to “101011”, the gray code x i is changed to the variable node v as shown in FIG. Assign to each i . Then, paying attention to each of the check nodes c j , binary addition of all the variable nodes v i connected at the edge is performed.
- the check node when focusing on c 1 since the check node variable node connected by edges c 1 v i is a variable node v 1, v 2, v 3 , variable node v 1, v 2 , v values of 3 "1" to obtain a value of "0" by performing a binary addition of "1" and "0". Then, “0101” calculated at each check node c j is syndrome C. That is, in the case of using a low density parity check matrix H as in Equation (2) is Gray code x i of 6bit compression syndrome C of 4bit (compression ratio: 2/3) is the the fact.
- Equation (2) a check matrix having a coding rate of 1/3, a compression rate of 2/3, and a compression rate of 1/3 as shown in Equation (2) may be adopted. It is preferable to employ a parity check matrix with a compression rate of 33% to 50%.
- the transmission unit 33 converts the key line from the distribution unit 315 and the non-key line (syndrome C) after the encoding process from the encoding unit 321 into a data stream under the control of the control unit 32. Then, the transmission unit 33 transmits the moving image data converted into a data stream to the decoding device 4 via the wireless transmission system 2.
- the decoding device 4 receives and decodes moving image data (data stream) transmitted from the imaging device 3 via the wireless transmission system 2.
- the decoding device 4 includes a receiving unit 41, a memory unit 42, a control unit 43, and the like.
- the receiving unit 41 includes an antenna for receiving moving image data transmitted from the imaging device 3 via the wireless transmission system 2.
- the receiving unit 41 sequentially receives moving image data under the control of the control unit 43 and outputs the moving image data to the memory unit 42.
- moving image data received by the receiving unit 41 is referred to as received data.
- the receiving unit 41 described above functions not only as a receiving unit according to the present invention but also as a data acquiring unit according to the present invention.
- the memory unit 42 sequentially stores the reception data output from the reception unit 41.
- the memory unit 42 stores various programs (including a decoding program) executed by the control unit 43, information necessary for processing of the control unit 43, and the like.
- the memory unit 42 stores characteristic information regarding the pixel value correlation characteristics in the frame or the pixel value correlation characteristics for each color in the frame. That is, the memory unit 42 functions as a characteristic information storage unit according to the present invention.
- the characteristic information is information that is calculated from image data generated by imaging in advance and represents how the pixel value (gray code) changes in the frame by a probability distribution.
- the memory unit 42 uses, as the characteristic information, the previously captured image data for each corresponding pixel group corresponding to the filter group of the color filter 311 (red corresponding pixel group, blue corresponding pixel group). Pixel group, first green corresponding pixel group, and second corresponding green pixel group), and calculated for each corresponding pixel group for red pixel, blue pixel, first green pixel, and second green pixel, respectively.
- the characteristic information for is stored.
- uR K 5 (Gray code is “0111”) in the examples of FIGS. 4A and 4B)
- the pixel value (Gray code (exemplified by 4 bits)) of one red pixel R (the red pixel R in the third row and the third column) closest to the red pixel R is represented by uR S
- the characteristic information shown in FIG. 4B is stored in the memory unit 42 as characteristic information for red pixels between the pixel values uR K and uR S.
- the probability P (uR S ) that the pixel value uR S can take is approximated by a Laplace distribution. Information. Note that the probability P (uR S ) that the pixel value uR S can take may be other than the Laplace distribution.
- Table 1 below is a table summarizing the pixel values uR S shown in FIG. 4B and the probabilities P (uR S ) that can be taken. That is, as shown in FIG.
- the probability P (uR S ) is low.
- the control unit 43 includes a CPU and the like, reads a program (including a decoding program) stored in the memory unit 42, and controls the operation of the entire decoding device 4 according to the program. As shown in FIG. 1, the control unit 43 includes a decoding unit 431, an error detection unit 432, a display determination unit 433, a synthesis unit 434, a gray decoding unit 435, and the like.
- the decoding unit 431 performs iterative decoding (likelihood exchange of the first and second log likelihood ratios) by the probability propagation (Belief-Propagation) method using the two first and second log likelihood ratios.
- the decoding process which estimates the non keyline before the encoding process by the imaging device 3 is implemented.
- the decoding unit 431 includes a first log likelihood ratio calculation unit 4311, a second log likelihood ratio calculation unit 4312, an estimation unit 4313, and the like. Note that the decoding unit 431 collectively performs processing on all the pixels included in the non-keyline when estimating the non-keyline before the encoding process.
- the decoding unit 431 collectively performs processing on all the pixels included in the non-keyline when estimating the non-keyline before the encoding process.
- the description will be given focusing on one pixel included in the non-keyline.
- a frame to be decoded is referred to as a target frame
- a non-key line to be decoded in the target frame is referred to as a target line
- a pixel to be decoded in the target line is referred to as a target pixel.
- FIG. 5 is a diagram for explaining iterative decoding (probability propagation method) according to Embodiment 1 of the present invention.
- FIG. 5 for convenience of explanation, only one variable node v i and one check node c j (for example, see FIG. 3) are shown.
- “w i ” added as a subscript is the number of edges connected to the i-th variable node v i .
- “r j ” added as a subscript is the number of edges connected to the j-th check node c j .
- FIG. 5 is a diagram for explaining iterative decoding (probability propagation method) according to Embodiment 1 of the present invention.
- FIG. 5 for convenience of explanation, only one variable node v i and one check node c j (for example, see FIG. 3) are shown.
- “w i ” added as a subscript is the number of edges connected to the i-th variable node v i
- the decoding unit 431 is a bipartite graph representing the (n ⁇ k) rows ⁇ n columns of the low-density parity check matrix H used for the syndrome encoding in the imaging device 3.
- Iterative decoding is performed.
- variable node v i the variable node from v i of the m-th second log likelihood ratio q i exiting along the edge, the subscript "out” to m
- log-likelihood ratios coming along the m th edge of the variable node v i to a variable node v i (the first log likelihood ratio t j, m'), q i , to m " It is expressed with a subscript “in”.
- the log likelihood ratio LLL (Log-Likelihood Ratio) is represented by the following equation (3): a probability P (0) that a certain bit is “0” and a probability P (1) that a “1” is “1”. ) And the logarithm of the ratio.
- the log likelihood ratio is 0 or more, it can be evaluated that the bit corresponding to the value of the log likelihood ratio is “0”, and when the log likelihood ratio is smaller than 0, the log likelihood It can be evaluated that the bit corresponding to the value of the degree ratio is “1”.
- the absolute value of the log likelihood ratio is larger, it is possible to evaluate with high reliability whether the value of the bit corresponding to the value of the log likelihood ratio is “0” or “1”.
- ⁇ is a parameter for correcting the log likelihood ratio, and has a positive real number greater than 0.
- “1.0” is used for the first log likelihood ratio, and the second logarithm. It is reasonable to use a value such as “0.4” for the likelihood ratio.
- the second log-likelihood ratio calculation unit 4312 first sets the keyline immediately before the target line (non-keyline) in the target frame (the row number is small and close in the target frame). And the characteristic information corresponding to the type of the target pixel included in the target line (red pixel, blue pixel, first green pixel, second green pixel) from the memory unit 42, the second log likelihood ratio q i, A second log likelihood ratio q i, 0 that is an initial value of m is calculated. Then, the second log likelihood ratio calculation unit 4312 sends the calculated second log likelihood ratio q i, 0 from the variable node v i to the check node c j along the edge in the first likelihood exchange. .
- the target pixel of the target line is the red pixel R (the red pixel R in the third row and the third column) shown in FIG.
- the pixel value of the near red pixel R is “5” (in the example of FIGS. 4A and 4B)
- the first bit from the upper side of the pixel value uR S is “0” because the pixel value uR S is “1 (“ 0001 ”)”, “2 (“ 0011 ”)”, “3 (“ 0010 ”). ) ”,“ 4 (“0110”) ”,“ 5 (“0111”) ”,“ 6 (“0101”) ”, and“ 7 (“0100”) ”. Therefore, the probability P (0) can be calculated from the probability P (uR S ) in the above case based on the characteristic information for red pixels shown in FIG. 4B and Table 1. On the other hand, the first bit from the upper side of the pixel value uR S is “1” when the pixel value uR S is “8 (“ 1100 ”)” and “9 (“ 1101 ”)”.
- the probability P (1) can be calculated from the probability P (uR S ) in the above case based on the characteristic information for red pixels shown in FIG. 4B and Table 1. Then, when the probabilities P (0) and P (1) are calculated as described above, the second log likelihood ratio q 1,0 of the first bit of the target pixel is calculated by Equation (3). Can do. Note that the second log likelihood ratios q 2,0 to q 4,0 of the second, third, and fourth bits from the upper side of the target pixel can be calculated based on the same concept. Then, the second log likelihood ratio calculation unit 4312 sends the calculated second log likelihood ratios q 1,0 to q 4,0 from the variable nodes v 1 to v 4 , respectively.
- the second log likelihood ratio calculation unit 4312 performs the second log likelihood ratio q i according to the following equation (4) during the likelihood exchange of the first and second log likelihood ratios performed a predetermined number of times. , m is updated.
- the second log-likelihood ratio calculation unit 4312 sends the second log-likelihood ratio q i sent from one variable node v i to one check node c j along the edge, as shown in Equation (4).
- m is not considered
- the first log likelihood ratio t j, m ′ sent from the transmission destination check node c j to the transmission source variable node v i is not taken into consideration.
- the first variable node v order to update the second log likelihood ratio q 1, 1 to send to the first check node c 1 along the edge from 1, 1-th check node c 1 from the first variable
- the first log likelihood ratio t 1,1 sent to node v 1 is not taken into account.
- the first log likelihood ratio calculation unit 4311 reads the syndrome C of the target pixel included in the target line in the target frame from the memory unit 42, and based on the read syndrome C and the standard deviation of noise in the communication path, the first log likelihood ratio t j, calculates a first log likelihood ratio t j, 0 as the initial value of the m'. Then, the first log likelihood ratio calculation unit 4311 sets the calculated first log likelihood ratio t j, 0 to the variable node along the m′-th edge from the check node c j in the first likelihood exchange. v send to i. In addition, the first log likelihood ratio calculation unit 4311 calculates the first log likelihood ratio t j according to the following equation (5) during the likelihood exchange of the first and second log likelihood ratios performed a predetermined number of times. , m ′ is updated.
- Equation (5) s j is the value of the j-th bit of the read syndrome C.
- the first log likelihood ratio calculation unit 4311 sends the first log likelihood ratio t j sent from one check node c j to one variable node v i along the edge.
- m ′ the second log likelihood ratio q i, m sent from the destination variable node v i to the source check node c j is not taken into consideration.
- the first check from the first variable node v 1 is performed in calculating the first log likelihood ratio t 1,1 sent from the first check node c 1 to the first variable node v 1 along the edge.
- the second log likelihood ratio q 1,1 sent to node c 1 is not taken into account.
- the estimation unit 4313 After the likelihood exchange of the first and second log likelihood ratios is performed a predetermined number of times between the variable node v i and the check node c j (after iterative decoding), the estimation unit 4313 performs the following equation (6). Thus, the gray code (bit string) corresponding to the pixel value of the target pixel in the target line (non-key line) before the encoding process is estimated.
- x i with a hat symbol indicates a gray code (bit string) corresponding to the pixel value of the target pixel in the target line (non-key line) estimated by the estimation unit 4313. That is, as shown in Expression (6), the estimation unit 4313 uses the second log likelihood ratio q i, 0 as an initial value and all the first log likelihoods sent to the variable node v i via each edge.
- the pixel of the target pixel in the target line (non- keyline) by adding the logarithmic ratio t j, m ′ and the value of the added log likelihood ratio (the posterior log-likelihood ratio of the non- keyline restored by iterative decoding) It is estimated whether the value of the i-th bit of the value is “0” or “1”.
- the error detection unit 432 performs a parity check on the non-key line (target line) estimated by the decoding process by the decoding unit 431, and detects whether or not there is an error.
- the low-density parity check matrix H used in the imaging device 3 (encoding unit 321) is used.
- the display determination unit 433 displays a frame (target frame) including a non-key line (target line) estimated by the decoding process by the decoding unit 431 based on the detection result by the error detection unit 432 (for example, FIG.
- the display determination unit 433 determines that it is not a display target, the display determination unit 433 adds a non-display target flag indicating a non-display target to the target frame. Then, when displaying the moving image data decoded by the decoding device 4, an image corresponding to a frame to which the non-display target flag is not added is displayed on the display unit. On the other hand, the image corresponding to the frame to which the non-display target flag is added is not displayed on the display unit.
- the synthesizing unit 434 generates image data of one frame from the non-keyline estimated by the decoding process by the decoding unit 431 and the key line that is stored in the memory unit 42 and forms the same frame as the non-keyline. Reconfigure. Then, the composition unit 434 creates a moving image file in which a plurality of reconstructed image data is arranged in time series.
- the gray decoding unit 435 performs gray decoding (converting gray codes into pixel values) on the moving image file generated by the synthesis unit 434.
- control unit 43 may shift to iterative decoding in the traceback direction when an error is detected in the decoding result of the non-keyline in the iterative decoding in the forward direction.
- iterative decoding in the forward direction is a second log likelihood ratio q i that is an initial value using a key line immediately before the target line (non-key line) in the target frame in a time series. , 0 is calculated, and iterative decoding is performed using the second log likelihood ratio q i, 0 .
- iterative decoding in the traceback direction uses a key line immediately after (in the target frame, the row number is large and close) in time series with respect to the target line (non-key line) in the target frame.
- the second log likelihood ratio q i, 0 that is the initial value is calculated, and iterative decoding is performed using the second log likelihood ratio q i, 0 . Then, in the iterative decoding in the traceback direction, the control unit 43 ends the decoding process when all the non-key lines that could not be correctly decoded by the forward iterative decoding can be correctly decoded. . On the other hand, when a non-keyline that cannot be correctly decoded remains, the control unit 43 shifts to a decoding mode that uses linear interpolation.
- control unit 43 uses the non-keyline or keyline decoded correctly to calculate the predicted luminance value of each pixel of the non-keyline that could not be decoded by linear interpolation. Then, the log likelihood ratio based on the predicted value is given as the second log likelihood ratio, and iterative decoding is performed.
- FIG. 6 is a flowchart showing the encoding / decoding method according to Embodiment 1 of the present invention.
- the operation of the imaging device 3 and the operation of the decoding device 4 will be described in this order.
- the imaging device 312 starts imaging of the subject (for example, imaging at a frame rate of 30 frames per second) under the control of the control unit 32 (step S1).
- the allocating unit 315 converts the moving image frame sequence captured by the image sensor 312 and subjected to the gray encoding via the signal processing unit 313 and the gray encoding unit 314, to a key line and a non-translated frame for each frame.
- the key lines are distributed, the key lines are output to the transmission unit 33, and the non-key lines are output to the encoding unit 321 (step S2: distribution step).
- step S2 the encoding unit 321 inputs the non-key line from the allocating unit 315 and performs encoding processing (syndrome encoding) on the non-key line (step S3: encoding step).
- step S ⁇ b> 3 the transmission unit 33 converts the key line from the distribution unit 315 and the non-keyline (syndrome C) after the encoding process from the encoding unit 321 into a data stream under the control of the control unit 32. To do. Then, the transmission unit 33 transmits the moving image data converted into a data stream to the decoding device 4 via the wireless transmission system 2 (step S4: transmission step).
- the control unit 43 reads the decoding program from the memory unit 42 and executes the following processing according to the decoding program.
- the receiving unit 41 sequentially receives moving image data from the imaging device 3 under the control of the control unit 43, and outputs it to the memory unit 42 (step S5: reception step, data acquisition step).
- the memory unit 42 stores the received data sequentially.
- step S6 decoding step
- the second log likelihood ratio calculation unit 4312 obtains, from the memory unit 42, the key line immediately before the target line in the target frame in time series and the characteristic information corresponding to the target pixel included in the target line. Reading and calculating the second log likelihood ratio q i, 0 as an initial value (step S61).
- the first log likelihood ratio calculation unit 4311 reads the target line (syndrome C of the target pixel) in the target frame from the memory unit 42, and the first value that becomes the initial value based on the read syndrome C is obtained.
- the log likelihood ratio t j, 0 is calculated (step S62).
- the decoding unit 431 performs likelihood exchange of the first and second log likelihood ratios a predetermined number of times.
- the first and second log likelihood ratio calculation units 4311 and 4312 perform the first and second log likelihood ratios t j, m ′ , q using Equations (4) and (5) during the likelihood exchange. i and m are respectively updated (step S63).
- the estimation unit 4313 uses the mathematical expression (6) to calculate the non-keyline before the encoding process (target pixel) based on the posterior log likelihood ratio of the non-keyline restored by iterative decoding (step S63). (Gray code (bit string)) is estimated (step S64). Then, the decoding unit 431 performs the above processing (steps S61 to S64) collectively for all the pixels included in the target line (non-key line), and then ends the decoding processing (step S6).
- the decoding unit 431 performs the above processing (steps S61 to S64) collectively for all the pixels included in the target line (non-key line), and then ends the decoding processing (step S6).
- step S6 the error detection unit 432 performs a parity check on the non-key line estimated by the decoding unit 431 (step S7), and determines whether there is an error (step S8).
- step S8 the display determination unit 433 adds a non-display target flag to the target frame (step S9). ).
- step S9 the control unit 43 switches the target frame to the next frame (step S10), proceeds to step S6, and performs a decoding process on the non-keyline in the target frame after switching.
- step S8 when it is determined as “No” in step S8, that is, when it is determined that there is no error in the parity check, the control unit 43 has performed step S6 on all the non-key lines in the target frame. Is determined (step S11). If it is determined as “No” in step S11, the control unit 43 switches the target line in the target frame to the next non-key line (step S12), proceeds to step S6, and decodes the target line after switching. Perform the process. If it is determined as “Yes” in step S11, the synthesizing unit 434 stores the non-keyline after the decoding process (step S6) by the decoding unit 431 and the memory unit 42, and the non-keyline.
- step S13 The image data of one frame is reconstructed by using the key lines that constitute the same frame (step S13).
- the control unit 43 determines whether or not step S6 has been performed for all the frames stored in the memory unit 42 (step S14). If it is determined as “No” in step S14, the control unit 43 switches the target frame to the next frame (step S10), proceeds to step S6, and decrypts the non-keyline in the target frame after switching. To implement.
- step S14 the synthesizing unit 434 creates a moving image file in which the plurality of image data reconstructed in step S13 are arranged in time series (step S15). Then, the gray decoding unit 435 performs gray decoding on the moving image file generated in step S15 (step S16).
- the imaging device 3 performs encoding processing on non-keylines without encoding keylines in moving image data generated by imaging. . Then, the imaging device 3 converts these key lines and non-key lines into data streams and transmits them. For this reason, the amount of information of the moving image data to be transmitted can be reduced. Further, the data length of the moving image data to be transmitted can be made the same. Furthermore, the confidentiality of moving image data can be improved by performing an encoding process.
- the first log likelihood ratio t j, 0 is an initial value obtained from the non-keyline after the encoding process, and the initial value obtained from the uncoded keyline and the characteristic information.
- the decoding device 4 since the decoding device 4 performs iterative decoding, there is a possibility that errors that occur due to transmission / reception and storage of moving image data can be corrected.
- the decoding device 4 becomes an initial value using the key line immediately before the target line (non-key line), that is, the key line having high correlation with the target line, and the characteristic information.
- the second log likelihood ratio q i, 0 is calculated, and iterative decoding is performed using the second log likelihood ratio q i, 0 . For this reason, the non-keyline before the encoding process can be estimated with high accuracy.
- pixel value correlation characteristics those having the same type (for example, red) rather than the correlation between the types of corresponding pixel groups (for example, red pixel and blue pixel) in one frame are different.
- the correlation between the pixel and the red pixel is higher.
- characteristic information corresponding to the type of the target pixel for example, for the red pixel when the target pixel is a red pixel
- Characteristic information For this reason, it is possible to estimate the luminance value of each pixel included in the non-keyline before the encoding process with higher accuracy.
- the decoding device 4 corrects an error by iterative decoding (estimates a non-keyline with high accuracy), detects an error by a parity check, and does not display a target frame including the non-keyline in which the error is detected. A target flag is not added to display. For this reason, when a moving image file is reproduced and displayed, it is possible to realize display in which image quality deterioration is suppressed with respect to moving image data generated by the imaging device 3.
- the memory unit 42 stores the characteristic information for the red pixel, the blue pixel, the first green pixel, and the second green pixel one by one as the characteristic information.
- the decoding unit 431 collectively performs the decoding process on all the pixels included in the non-keyline, the type of the target pixel (the red pixel, the blue pixel, the first green pixel, and the second green pixel)
- the second log likelihood ratio q i, 0 that is an initial value is calculated using characteristic information corresponding to the type of the target pixel, and the second log likelihood ratio q i, 0 is used.
- iterative decoding (step S63) was performed.
- the memory unit 42 stores the characteristic information (characteristic information for red pixel, blue pixel, first green pixel, and second green pixel) for each corresponding pixel group.
- a plurality of characteristic information for each corresponding pixel group (a plurality of characteristic information for red pixels, a plurality of characteristic information for blue pixels, a plurality of characteristic information for first green pixels, and a plurality of characteristic information for second green pixels) (Characteristic information) is calculated from a plurality of pieces of image data having different imaged time zones and imaged locations. For this reason, the plurality of pieces of characteristic information have different probability distributions as illustrated in FIG. 4B.
- the second log likelihood ratio q i, 0 that is an initial value is changed using a plurality of characteristic information corresponding to the type of the target pixel, and is repeated using the changed second log likelihood ratio q i, 0. Perform decryption.
- FIG. 8 is a flowchart showing an encoding / decoding method according to Embodiment 2 of the present invention.
- the operation of the imaging device 3 is the same as that of the first embodiment described above. Therefore, in FIG. 8, the operation of the imaging device 3 is omitted, and only the operation (decoding method) of the decoding device 4 is shown.
- the decoding method according to the second embodiment is different from the decoding method described in the first embodiment only in that steps S17 and S18 shown below are added. For this reason, only steps S17 and S18 will be described below.
- Step S17 is performed when it is determined as “Yes” in Step S8 as a result of the parity check (Step S7), that is, when it is determined that there is an error (corresponding to the case where the predetermined condition is satisfied). Is done.
- the control unit 43 includes all the characteristic information (a plurality of characteristic information for each corresponding pixel group) used for calculating the second log likelihood ratio q i, 0 that is the initial value stored in the memory unit 42. Whether all of the above have been used.
- step S ⁇ b> 17 the control unit 43 (second log likelihood ratio calculation unit 4312) sets, for each target pixel type, a plurality of pieces of characteristic information corresponding to the target pixel type ( If the target pixel is a red pixel, among the plurality of characteristic information for the red pixel), the second log likelihood as an initial value is used in the same manner as in step S61, using characteristic information different from the previously used characteristic information. calculates the ratio q i, 0, a second log likelihood ratio q i, 0 using previously, to change to the second log-likelihood ratio q i, 0 calculated (step S18).
- step S18 the decoding unit 431 proceeds to step S63, and for each type of target pixel, the second log likelihood ratio q i, 0 that is the initial value changed in step S18 and the initial value calculated in step S62.
- a new likelihood exchange is performed using the first log likelihood ratio t j, 0 .
- step S17 when it is determined as “Yes” in step S17, that is, when it is determined that all the characteristic information used for calculating the second log likelihood ratio q i, 0 as the initial value is used, the control unit 43 Shifts to step S9 to add a non-display target flag to the target frame.
- the second embodiment of the present invention has the following effects in addition to the same effects as those of the first embodiment.
- the decoding unit 431 when the decoding unit 431 performs the decoding process on all the pixels included in the non-keyline in a batch, for each type of target pixel, the decoding unit 431 has a plurality of types corresponding to the type of the target pixel.
- the second log likelihood ratio q i, 0 that is the initial value is changed using the characteristic information, and iterative decoding is performed using the changed second log likelihood ratio q i, 0 . For this reason, a non-key line with higher accuracy can be estimated.
- the decoding device 4 changes the second log likelihood ratio q i, 0 that becomes the initial value only when an error is detected as a result of the parity check (step S7).
- the present invention is not limited to this (step S18).
- the second log likelihood ratio q i, 0 that is an initial value is calculated using all the characteristic information corresponding to the type of the target pixel, and all the second log likelihoods are calculated. You may comprise so that iterative decoding may be performed respectively using degree ratio q i, 0 .
- the decoding device 4 may create a moving image file using the non-key lines determined to have no error in the parity check among the non-key lines estimated after each iterative decoding.
- FIG. 9 is a block diagram showing an imaging system 1A according to Embodiment 3 of the present invention.
- the display determination unit 433 performs the determination process as to whether or not the target frame is to be displayed based on the result of the parity check (step S7).
- the error detection unit 432 is omitted from the imaging system 1 (FIG. 1) described in the first embodiment.
- a decoding device 4A control unit 43A to which a display determination unit 433A in which some functions of the display determination unit 433 are changed is added. Then, the display determination unit 433A performs the determination process based on the posterior log likelihood ratio of the non-keyline restored by iterative decoding by the decoding unit 431 as described below.
- FIG. 10 is a flowchart showing an encoding / decoding method according to Embodiment 3 of the present invention.
- the operation of the imaging device 3 is the same as in the first embodiment described above.
- the decoding method according to the third embodiment is different from the decoding method described in the first embodiment only in that steps S19 and S20 are added instead of steps S7 and S8. For this reason, only steps S19 and S20 will be described below.
- Step S19 is performed after the decoding process (step S6).
- the display determination unit 433A determines the posterior log likelihood ratio of the non-keyline restored by iterative decoding in step S6 for each bit of the Gray code (bit string) for all pixels included in the target line. Is compared with the first threshold value.
- the display determination unit 433A determines whether or not the number of bits for which the absolute value of the posterior log likelihood ratio is less than the first threshold is greater than the second threshold (step S20). If it is determined as “Yes” in step S20, the display determination unit 433A proceeds to step S9 and adds a non-display target flag to the target frame. On the other hand, when it determines with "No" in step S20, 43 A of control parts transfer to step S11.
- the target frame is set as a non-display target when the number of bits whose absolute value of the posterior log likelihood ratio is less than the first threshold is greater than the second threshold.
- other methods may be adopted as long as the determination process is performed based on the posterior log likelihood ratio. For example, weighting is performed on the bit level of the Gray code (bit string) (for example, the weight is increased toward the lower bits). Then, for all the pixels included in the target line, the product of the weight and the absolute value of the posterior log-likelihood ratio is obtained for each bit of the Gray code, and if the sum is less than the third threshold, the target frame is not Display target.
- Gray code bit string
- FIG. 11 is a block diagram showing an imaging system 1B according to Embodiment 4 of the present invention.
- the imaging system 1B according to the fourth embodiment performs an encoding process and a decoding process for each type of corresponding pixel group with respect to the imaging system 1 (FIG. 1) described in the first embodiment.
- the imaging device 3B which comprises the imaging system 1B which concerns on this Embodiment 4 is a part of distribution part 315 as shown in FIG. 11 with respect to the imaging device 3 demonstrated in Embodiment 1 mentioned above. The function has been changed.
- the distribution unit 315B first distributes the image data (moving image frame sequence) gray-coded by the gray encoding unit 314 for each type of corresponding pixel group for each frame.
- FIG. 12 is a diagram virtually representing the function of allocating unit 315B according to Embodiment 4 of the present invention.
- each red pixel is labeled with “R”
- each blue pixel is labeled with “B”
- each first green pixel Is labeled with “Gr”
- each second green pixel is labeled with “Gb”.
- the allocating unit 315B converts the image F into a red pixel subframe FR, a blue pixel subframe FB, a first green pixel subframe FGr, and a corresponding pixel group type. Allocate to the second green pixel sub-frame FGb.
- the red pixels R arranged in the first row in the image F in the first row are arranged in order from the first column in ascending order of the column numbers, and the image F in the second row.
- the red pixels R arranged in the third row are arranged in the order from the first column in ascending order of the column numbers, and the third and subsequent rows are arranged in the same manner as described above.
- the blue pixels B arranged in the second row in the image F in the first row are arranged in order from the first column in ascending order of the column numbers, and the image F in the second row.
- the blue pixels B arranged in the fourth row are arranged in order from the first column in ascending order of the column numbers, and the third and subsequent rows are arranged in the same manner as described above.
- the first green pixels Gr arranged in the second row in the image F in the first row are arranged in order from the first column in ascending order of the column numbers
- the second row The first green pixels Gr arranged in the fourth row in the image F are arranged in order from the first column in ascending order of the column numbers
- the third and subsequent rows are arranged in the same manner as described above. .
- the second green pixels Gb arranged in the first row in the image F in the first row are arranged in order from the first column in ascending order of the column numbers.
- the second green pixels Gb arranged in the third row in the image F are arranged in order from the first column in ascending order of the column numbers, and the third and subsequent rows are arranged in the same manner as described above. .
- the allocating unit 315 ⁇ / b> B sets a plurality of pixels for one row among a plurality of pixels arranged in a matrix for each subframe as one block, and in ascending order of row numbers.
- a key line is assigned to every several blocks, and the rest are non-key lines.
- the distribution unit 315B uses a key line at a frequency of one in four blocks.
- the number of key lines is the same among the red pixel sub-frame FR, the blue pixel sub-frame FB, the first green pixel sub-frame FGr, and the second green pixel sub-frame FGb.
- the number of non-key lines is also the same.
- the key line and the non-key line allocated from the red pixel sub-frame FR by the distribution unit 315B are referred to as a red pixel key line and a red pixel non-key run, respectively.
- the key lines and non-key lines allocated from the blue pixel sub-frame FB, the key lines and non-key lines allocated from the first green pixel sub-frame FGr, and the second green pixel sub-frame FG are allocated.
- the key line and the non-key line are respectively a blue pixel key line and a blue pixel non-key line, a first green pixel key line and a first green pixel non-key line, and a second green pixel key line and a second green pixel non-key.
- the distribution unit 315B outputs the key line to the transmission unit 33, and controls the red pixel non-key line, the blue pixel non-key line, the first green pixel non-key line, and the second green pixel non-key line, respectively. To 32B.
- the imaging device 3B according to the fourth embodiment is different from the imaging device 3 (FIG. 1) described in the first embodiment described above in that the encoding unit 321 includes a corresponding pixel group as illustrated in FIG. Four (red pixel encoding unit 321R, blue pixel encoding unit 321B, first green pixel encoding unit 321Gr, and second green pixel encoding unit 321Gb) are provided depending on the type. Specifically, the red pixel encoding unit 321R sequentially inputs the red pixel non-key lines from the allocating unit 315B, and the encoding described in the first embodiment is performed for each red pixel non-key line. Similar to the unit 321, syndrome encoding is performed.
- the low density parity check matrix used in syndrome encoding is a low density used in syndrome encoding in other encoding units. This is different from the parity check matrix.
- the decoding device 4B constituting the imaging system 1B according to the fourth embodiment is different from the decoding device 4 (FIG. 1) described in the first embodiment, as illustrated in FIG.
- the decoding device 4 (FIG. 1) described in the first embodiment, as illustrated in FIG.
- the red pixel decoding unit 431R, the blue pixel decoding unit 431B, the first green pixel decoding unit 431Gr, and the second green pixel decoding unit 431Gb are similar to the decoding unit 431 described in the first embodiment.
- a first log likelihood ratio calculation unit 4311, a second log likelihood ratio calculation unit 4312, and an estimation unit 4313 are provided.
- illustration of these structures is abbreviate
- the red pixel decoding unit 431R, the blue pixel decoding unit 431B, the first green pixel decoding unit 431Gr, and the second green pixel decoding unit 431Gb are similar to the decoding process described in the first embodiment.
- a red pixel non-key line, a blue pixel non-key line, a first green pixel non-key line, and a second green pixel non-key line before the encoding process by the imaging device 3B are estimated. .
- the difference is the information used to calculate the first and second log likelihood ratios t j, 0 , q i, 0 as initial values.
- the red pixel decoding unit 431R calculates the first and second log likelihood ratios t j, 0 , q i, 0 which are initial values
- the following information stored in the memory unit 42 is shown. Is used.
- the red pixel decoding unit 431R calculates the second log likelihood ratio q i, 0 serving as an initial value, in the red pixel subframe constituting the target frame, the red pixel decoding unit 431R sets the target line (red pixel non-key line).
- the red pixel key line immediately before the row number is small and close in the red pixel sub-frame
- the characteristic information for the red pixel are used in time series.
- the red pixel decoding unit 431R calculates the first log likelihood ratio t j, 0 serving as an initial value
- the red pixel decoding unit 431R is included in the target line (red pixel non-key line) in the red pixel subframe configuring the target frame.
- the target pixel syndrome C and the standard deviation of noise in the communication channel are used. Then, the red pixel decoding unit 431R uses the first and second log likelihood ratios t j, 0 , q i, 0 as initial values calculated using the above-described information in the first likelihood exchange, Thereafter, similar to the first embodiment described above, likelihood exchange is performed a predetermined number of times, and the red pixel non-keyline before the encoding process is estimated.
- the blue pixel decoding unit 431B uses the following information stored in the memory unit 42 when calculating the first and second log likelihood ratios t j, 0 , q i, 0 which are initial values. . That is, when the blue pixel decoding unit 431B calculates the second log-likelihood ratio q i, 0 that is the initial value, the blue pixel sub-frame that configures the target frame includes the target line (blue pixel non-key line). On the other hand, the blue pixel key line immediately before (in the blue pixel sub-frame, the row number is small and close) in time series and the characteristic information for the blue pixel are used.
- the blue pixel decoding unit 431B includes the target line (blue pixel non-key line) in the blue pixel subframe constituting the target frame when calculating the first log likelihood ratio t j, 0 as the initial value.
- the target pixel syndrome C and the standard deviation of noise in the communication channel are used.
- the blue pixel decoding unit 431B uses the first and second log likelihood ratios t j, 0 , q i, 0 that are the initial values calculated using the above-described information in the first likelihood exchange, Thereafter, similar to the first embodiment described above, likelihood exchange is performed a predetermined number of times, and a blue pixel non-keyline before encoding processing is estimated.
- the first green pixel decoding unit 431Gr calculates the first and second log likelihood ratios t j, 0 , q i, 0 as initial values
- the following information stored in the memory unit 42 is shown. Is used. That is, when the first green pixel decoding unit 431Gr calculates the second log likelihood ratio q i, 0 serving as an initial value, the first green pixel sub-frame configuring the target frame has the target line (first green pixel).
- the first green pixel decoding unit 431Gr calculates the first log likelihood ratio t j, 0 that is an initial value
- the target line (first green pixel) in the first green pixel subframe configuring the target frame is calculated.
- the syndrome C of the target pixel included in the non-keyline) and the standard deviation of noise in the communication path are used.
- the first green pixel decoding unit 431Gr converts the first and second log likelihood ratios t j, 0 , q i, 0 that are the initial values calculated using the above-described information into the first likelihood exchange.
- likelihood exchange is performed a predetermined number of times to estimate the first green pixel non-keyline before the encoding process.
- the second green pixel decoding unit 431Gb calculates the first and second log likelihood ratios t j, 0 , q i, 0 as initial values
- the following information stored in the memory unit 42 is shown. Is used. That is, when the second green pixel decoding unit 431Gb calculates the second log likelihood ratio q i, 0 serving as the initial value, the second green pixel sub-frame configuring the target frame has the target line (second green pixel).
- the second green pixel decoding unit 431Gb calculates the target line (second green pixel) in the second green pixel sub-frame constituting the target frame.
- the syndrome C of the target pixel included in the non-keyline) and the standard deviation of noise in the communication path are used.
- the second green pixel decoding unit 431Gr uses the first likelihood exchange of the first and second log likelihood ratios t j, 0 , q i, 0 that are the initial values calculated using the information described above. After that, similar to the first embodiment described above, likelihood exchange is performed a predetermined number of times to estimate the second green pixel non-keyline before the encoding process.
- the decoding device 4B according to the fourth embodiment is different from the decoding device 4 described in the first embodiment described above in that some functions of the error detection unit 432 are changed as illustrated in FIG. Yes.
- the error detection unit 432B according to the fourth embodiment is estimated by the red pixel non-keyline (target line) estimated by the decoding process by the red pixel decoding unit 431R and the decoding process by the blue pixel decoding unit 431B.
- the first green pixel non-key line (target line) estimated by the decoding process in the first green pixel decoding unit 431Gr, and the second green pixel decoding unit 431Gb Each second green pixel non-key line (target line) estimated by the decoding process is subjected to a parity check to detect whether there is an error.
- the parity check for the non-key line for red pixel the low density parity check matrix used in the red pixel encoding unit 321R is used.
- the encoding units 321B, 321Gr In the parity check for the non-key line for the blue pixel, the non-key line for the first green pixel, and the non-key line for the second green pixel, the encoding units 321B, 321Gr, Each low-density parity check matrix used at 321 Gb is used.
- FIG. 13 is a flowchart showing an encoding / decoding method according to Embodiment 4 of the present invention.
- step S21 is added to the operation of the imaging device 3 described in the first embodiment, and step S2B is used instead of steps S2 and S3.
- S3B is only different. For this reason, only steps S21, S2B, and S3B will be described below.
- Step S21 is performed after step S1.
- the allocating unit 315B converts the moving image frame sequence captured by the image sensor 312 and subjected to the gray encoding via the signal processing unit 313 and the gray encoding unit 314 to each subframe. Assigned to FR, FB, FGr, FGb (assigned for each type of corresponding pixel group).
- the allocating unit 315B performs key lines (red pixel key line, blue pixel key line, first green pixel key line, second line) for each of the subframes FR, FB, FGr, and FGb allocated in step S21.
- Green pixel key line and non-key line (red pixel non-key line, blue pixel non-key line, first green pixel non-key line, second green pixel non-key line), and the key line is output to the transmitter 33.
- the non-key lines are output to the encoding units 321R, 321B, 321Gr, and 321Gb, respectively (step S2B: distribution step).
- each of the encoding units 321R, 321B, 321Gr, and 321Gb inputs each non-keyline distributed in step S2B, and performs each encoding process for each non-keyline in parallel (step).
- S3B encoding step).
- the decoding method according to the fourth embodiment is different from the decoding method described in the first embodiment only in that steps S6B and S7B are added instead of steps S6 and S7. For this reason, only steps S6B and S7B will be described below.
- Step S6B is performed after step S5.
- the decoding units 431R, 431B, 431Gr, and 431Gb perform in parallel the decoding processes for the non-keylines after the encoding process in step S3B.
- the contents of each decoding process are the same as those described in the above embodiment except that the information used for calculating the first and second log likelihood ratios t j, 0 , q i, 0 that are the initial values is different as described above.
- step S6B the error detection unit 432B performs a parity check on each non-key line (target line) estimated by each decoding process in each decoding unit 431R (step S7B), and there is an error. Is detected (step S8).
- the fourth embodiment of the present invention has the following effects in addition to the same effects as those of the first embodiment.
- the imaging system 1B distributes image data for each type of corresponding pixel group, and performs encoding processing and decoding processing for each type of corresponding pixel group. For this reason, the low-density parity check matrix used for the encoding process can be different for each type of the corresponding pixel group, and the degree of freedom of the encoding process can be improved.
- the encoding process and the decoding process are performed for each type of the corresponding pixel group. By performing, it is possible to estimate a non-keyline before encoding processing with very high accuracy.
- the configuration in which the configuration for performing the encoding process and the decoding process for each corresponding pixel group type is applied to the above-described first embodiment has been described.
- the present invention may be applied to the second embodiment or the third embodiment.
- FIG. 14 is a schematic diagram showing a capsule endoscope system 1C according to Embodiment 5 of the present invention.
- the imaging system 1 described in the first embodiment is applied to a capsule endoscope system 1C.
- the capsule endoscope system 1C is a system that acquires an in-vivo image inside the subject 100 using a swallowable capsule endoscope 3C. As shown in FIG.
- the capsule endoscope system 1C includes a receiving device 5, a decoding device 4C, a portable recording medium 6 and the like in addition to the capsule endoscope 3C.
- the recording medium 6 is a portable recording medium for transferring data between the receiving device 5 and the decoding device 4C, and is configured to be detachable from the receiving device 5 and the decoding device 4C.
- the capsule endoscope 3C is a capsule endoscope apparatus that is formed in a size that can be introduced into the organ of the subject 100, and has the same function as the imaging device 3 described in the first embodiment. And a configuration (imaging unit 31, control unit 32, and transmission unit 33). Specifically, the capsule endoscope 3C is introduced into the organ of the subject 100 by oral ingestion or the like, and sequentially captures in-vivo images while moving through the organ by peristalsis or the like (for example, a frame rate of 30 frames per second). ). Then, the capsule endoscope 3C distributes the image data generated by the imaging to the key line and the non-key line for each frame, similarly to the imaging device 3 described in the first embodiment. Also, the capsule endoscope 3C performs encoding processing on the non-key lines without encoding the key lines, and transmits the key lines and the non-key lines in a data stream.
- the receiving device 5 includes a plurality of receiving antennas 5a to 5h, and moving image data (data stream) from the capsule endoscope 3C inside the subject 100 via at least one of the plurality of receiving antennas 5a to 5h. ). Then, the receiving device 5 accumulates the received moving image data in the recording medium 6 inserted in the receiving device 5.
- the reception antennas 5a to 5h may be arranged on the body surface of the subject 100 as shown in FIG. 14, or may be arranged on a jacket worn by the subject 100. Further, the number of reception antennas provided in the reception device 5 may be one or more, and is not particularly limited to eight.
- FIG. 15 is a block diagram showing a decoding device 4C according to Embodiment 5 of the present invention.
- the decoding device 4C is configured as a workstation that acquires moving image data in the subject 100 and decodes the acquired moving image data, and as illustrated in FIG. 15, the decoding device 4 described in the first embodiment described above. And have substantially the same functions and configurations (the memory unit 42 and the control unit 43).
- the decoding device 4C includes a reader / writer 44, an input unit 45 such as a keyboard and a mouse, a display unit 46 such as a liquid crystal display, and the like.
- the reader / writer 44 takes in moving image data stored in the recording medium 6 under the control of the control unit 43 when the recording medium 6 is inserted into the reader / writer 44. That is, the reader / writer 44 functions as a data acquisition unit according to the present invention. Further, the reader / writer 44 transfers the captured moving image data to the control unit 43. The moving image data transferred to the control unit 43 is stored in the memory unit 42. And the control part 43 implements a decoding process etc. similarly to the decoding apparatus 4 demonstrated in Embodiment 1 mentioned above, and produces a moving image file. Further, the control unit 43 displays a moving image (in-vivo image of the subject 100) based on the moving image file on the display unit 46 in response to an input operation to the input unit 45 by the user.
- a moving image in-vivo image of the subject 100
- the decoding unit 431 uses the second logarithmic likelihood that is the initial value using the “immediately preceding” keyline in time series with respect to the target line (non-keyline) in the target frame.
- the frequency ratio q i, 0 is calculated, and iterative decoding (hereinafter referred to as forward iterative decoding) is performed using the second log likelihood ratio q i, 0 .
- the decoding unit 431 performs, in addition to iterative decoding in the forward direction, in the target frame immediately after the target line (non-key line) in time series (the row number in the target frame
- the second log-likelihood ratio q i, 0 that is the initial value is calculated using a key line that is large and close to each other, and iterative decoding using the second log-likelihood ratio q i, 0 (hereinafter referred to as the second log-likelihood ratio q i, 0
- iterative decoding in the traceback direction is also, iterative decoding in the traceback direction.
- control unit 43 creates a moving image file using the non-key lines determined to be error-free by the parity check among the non-key lines estimated after each iterative decoding in the forward direction and the trace back direction.
- both non-key lines estimated after each iterative decoding in the forward direction and the trace back direction are determined to be error-free or error-free by the parity check, which non-key line is adopted. It doesn't matter.
- the moving image file may be created using a non-keyline that satisfies the above (the number of images is greater than the second threshold).
- any non-key lines are adopted. It doesn't matter.
- the decoding unit 431 performs iterative decoding in both the forward direction and the traceback direction.
- the ratio of the key line to the non-key line is 1: 3 in one frame, that is, the case where the key line is set to one in four blocks (for example, the case shown in FIG. 2).
- the non-key lines in the 3rd and 4th rows are the 1st and 1st lines than the key lines in the 9th and 10th rows (the “immediately after” key lines in time series).
- the non-key lines in the seventh and eighth rows are the key lines in the ninth and tenth rows (in time series) rather than the key lines in the first and second rows (in the time series, “immediately before” key lines). In other words, the “immediately after” key line) is closer, and thus has a higher correlation. For this reason, with respect to the non-key lines in the third and fourth rows, the non-key lines can be estimated with high accuracy by iterative decoding in the forward direction using the “immediately preceding” key line having a high correlation in time series.
- the non-key line can be estimated with high accuracy by iterative decoding in the traceback direction using the “immediately after” key line having a high correlation in time series. Therefore, a non-key line can be estimated with high accuracy for all non-key lines in one frame, and a moving image file in which deterioration in image quality is suppressed with respect to moving image data generated by the capsule endoscope 3C. Can be created.
- the imaging system 1 described in the first embodiment is applied to the capsule endoscope system 1C.
- the imaging systems 1, 1A, 1B may be applied to a capsule endoscope system.
- the imaging system according to the present invention can also be applied to other systems.
- the imaging system according to the present invention is also applicable to a surveillance camera system including a surveillance camera that functions as an imaging device according to the present invention and a decoding device according to the present invention.
- the receiving device 5 may have the function and configuration (the memory unit 42 and the control unit 43) of the decoding device 4 described in the first embodiment.
- the decoding device 4C functioning as a workstation is provided with the function as the decoding device according to the present invention, but the present invention is not limited to this.
- an external cloud computer has the function of the decoding device according to the present invention, and the moving image data from the capsule endoscope 3C received by the receiving device 5 is transmitted to the cloud computer, and the cloud computer is transmitted to the cloud computer.
- the cloud computer encodes the decoded moving image data into JPEG or MPEG that is easy to be decoded by the user's device, and distributes it to the user.
- the imaging devices 3 and 3B perform the encoding process on all bit strings of gray codes at all pixel positions included in the non-key lines.
- the imaging devices 3 and 3B (capsule endoscope 3C) perform the encoding process on all bit strings of gray codes at all pixel positions included in the non-key lines.
- the imaging devices 3 and 3B (capsule endoscope 3C) are configured as described above, a configuration for interpolating the thinned bits on the decoding devices 4 and 4A to 4C may be added.
- the function for performing the encoding process and the function for performing the decoding process and the like are configured by software.
- the present invention is not limited to this, and these functions are implemented by hardware. You may comprise by wear.
- Embodiments 1 to 5 described above the encoding process is not performed for the key line.
- the present invention is not limited to this, and an error correction code may be inserted in the key line.
- the key block and the non-key block according to the present invention are a plurality of pixels arranged in the row direction.
- the present invention is not limited to this, and a plurality of pixels arranged in the column direction may be used. Alternatively, a plurality of pixels arranged at positions separated from each other may be used.
- FIG. 16 is a diagram showing a modification of the first to fifth embodiments of the present invention.
- the imaging devices 3 and 3B capsule endoscope 3C sequentially generate image data by imaging and perform encoding processing on all frames (non-key lines). It was given, but it is not limited to this.
- the encoding process may be performed only on some frames of the generated plurality of image data.
- a frame that is not subjected to the encoding process is referred to as a key frame F K (FIG. 16)
- a frame that is subjected to the encoding process is referred to as a non-key frame F S (FIG. 16).
- a key frame F K FIG. 16
- F S non-key frame
- the key frame F K is set to the frequency of one frame every three frames, and the rest is set as the non-key frame F S.
- the key frame F K is set to the frequency of one frame every three frames, and the rest is set as the non-key frame F S.
- a parity check for a non-key line, or a determination based on a posterior log likelihood ratio of a non-key line restored by iterative decoding. treatment even when the non-key line is the NG in (step S19, S20), using the key frame F K time-series manner before or after against non-key frame F S including the non-key line
- the non-keyline can be predicted.
- FIG. 17 is a diagram showing a modification of the first to fifth embodiments of the present invention.
- the key lines and the non-key lines in the image F of one frame may be set alternately in the vertical direction.
- the positions of the key lines and the non-key lines are set to be alternate between adjacent frames in time series, the following effects can be obtained. That is, in the case where an error is detected in the parity check (steps S7 and S7B) for the non-keyline, or in the determination process (steps S19 and S20) based on the posterior log likelihood ratio of the non-keyline restored by iterative decoding.
- the non-key line is used by using the key line at the same position as the non-key line in the immediately preceding or immediately following frame with respect to the frame including the non-key line. It becomes possible to predict the key line.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
このようなカプセル型内視鏡は、観察(検査)のために被検体の口から飲み込まれた後、自然排出されるまでの間、体腔内、例えば胃、小腸等の臓器の内部をその蠕動運動に従って移動し、移動に伴い、所定時間毎に被検体内画像の撮像を行う。
また、カプセル型内視鏡は、体腔内を移動する間、体内で撮像した画像データを順次、無線通信により外部に送信する。
このような圧縮符号化方式としてMPEG(Moving Picture Experts Group)やJPEG(Joint Photographic Experts Group)が知られている。しかしながら、このような圧縮符号化方式を採用した場合には、圧縮符号化するための計算量が多く、カプセル型内視鏡(撮像デバイス)側の負荷及び消費電力が大きくなってしまう、という問題がある。
すなわち、撮像デバイスは、撮像することにより生成した画像データのうち、キーブロックについては符号化することなく、非キーブロックについては少なくとも一部に符号化処理を施す。そして、撮像デバイスは、これらキーブロック及び非キーブロックを送信する。このため、送信する画像データの情報量を少なくすることができる。
また、本発明に係る復号装置では、少なくとも一部に符号化処理が施された非キーブロックから得られる第1対数尤度比と符号化されていないキーブロック及び特性情報から得られる第2対数尤度比とに基づいて、確率伝播法により繰り返し復号を実施する。このため、撮像デバイス側で実施される符号化方式として、単純な符号化方式を採用することができる。
以上のことから、撮像時のフレームレートを大きくした場合であっても撮像デバイス側の負荷及び消費電力を抑えることが可能な復号装置を実現することができる、という効果を奏する。
本発明に係る復号方法は、上述した復号装置が行う復号方法であるため、上述した復号装置と同様の効果を奏する。
本発明に係る符号化復号方法は、上述した撮像システムが行う符号化復号方法であるため、上述した撮像システムと同様の効果を奏する。
本発明に係る復号プログラムは、上述した復号装置にて実行されるプログラムであるため、上述した復号装置と同様の効果を奏する。
〔撮像システムの概略構成〕
図1は、本発明の実施の形態1に係る撮像システム1を示すブロック図である。
撮像システム1は、図1に示すように、無線伝送系2を介して動画像データを無線通信する撮像デバイス3及び復号装置4を備える。
撮像デバイス3は、被写体を撮像することにより生成した動画像データを符号化し、無線伝送系2を介して無線送信する。この撮像デバイス3は、撮像部31と、制御部32と、送信部33等を備える。
撮像部31は、制御部32による制御の下、例えば毎秒30枚のフレームレートで被写体を撮像して画像データを順次、生成するとともに、一フレーム毎に、当該画像データをキーブロック及び非キーブロックに振り分ける。この撮像部31は、カラーフィルタ311と、撮像素子312と、信号処理部313と、グレイ符号化部314と、振分部315等を備える。
以下、カラーフィルタ311は、ベイヤ配列のカラーフィルタ311、すなわち、赤の波長帯域の光を透過させる赤フィルタ群と、青の波長帯域の光を透過させる青フィルタ群と、緑の波長帯域の光を透過させる第1緑フィルタ群(赤フィルタ群と同一の列に配列)と、緑の波長帯域の光を透過させる第2緑フィルタ群(青フィルタ群と同一の列に配列)とを有するカラーフィルタ311であるものとして説明する。
撮像素子312は、撮像素子駆動回路(図示略)により駆動し、カラーフィルタ311を介した入射光を電気信号に変換して像を形成する。撮像素子駆動回路は、撮像素子312を駆動してアナログ信号の画像データを取得し、当該アナログ信号の画像データを信号処理部313に出力する。
グレイ符号化部314は、信号処理部313からの画像データ(動画フレーム列)に対してグレイ符号化を行う。例えば、グレイ符号化部314は、画像データの各画素の画素値「6(二進表示で“0110”)」をグレイコード「“0101”」、画素値「7(二進表示で“0111”)」をグレイコード「“0100”」、画素値「8(二進表示で“1000”)」をグレイコード「“1100”」にグレイ符号化する。グレイコードは、ある値から隣接した値に変化する際に、常に1ビットのみデータが変化するという特性を有する。
振分部315は、グレイ符号化部314にてグレイ符号化された画像データ(動画フレーム列)を、一フレーム毎に、キーブロックと非キーブロックとに振り分ける。
ここで、グレイ符号化部314は、信号処理部313からの画像データに対してグレイ符号化を行っていたが、これに限られず、振分部315にて振り分けられた非キーブロックのみにグレイ符号化を行っても構わない。すなわち、キーブロックをグレイ符号化することは必須ではない。
具体的に、振分部315は、図2に示すように、一フレーム毎に、マトリクス状に並んだ複数の画素のうち、二行分の複数の画素を一つのブロックとし、行番号の小さい順に、数ブロックに一つの頻度でキーブロック(以下、キーラインと記載)とし、残りが非キーブロック(以下、非キーラインと記載)となるように振り分ける。図2の例では、振分部315は、4ブロックに一つの頻度でキーラインとしている。
そして、振分部315は、キーラインを送信部33に出力し、非キーラインを制御部32に出力する。
符号化部321は、振分部315からの非キーラインを順次、入力し、当該非キーライン毎に符号化処理を施す。そして、符号化部321は、符号化処理後の非キーラインを順次、送信部33に出力する。
以下、符号化部321による符号化処理を具体的に説明するために、非キーラインに含まれる一画素に着目して説明する。
具体的に、符号化部321は、入力した非キーラインにおける一画素のグレイコード(ビット列)をxiとした場合に、以下の数式(1)に示すように、(n-k)行×n列の低密度パリティ検査行列Hを用いてシンドローム符号化を行う。そして、符号化部321は、符号化処理後の非キーライン(シンドロームC)を順次、送信部33に出力する。
ここで、(n-k)行×n列の検査行列Hを用いた場合、符号化率はk/nとなり、圧縮率は(n-k)/nとなる。
具体的に、二部グラフでは、検査行列Hの複数の列と1対1に対応する複数の変数ノードvi(図3の例では、i=1~6)が左側に配置されている。また、検査行列Hの複数の行と1対1に対応する複数のチェックノードcj(図3の例では、j=1~4)が右側に配置されている。そして、検査行列Hの成分が「1」となる行と列の組み合わせに対応する変数ノードviとチェックノードcjとが線(エッジと呼ぶ)で結ばれている。
例えば、図3の例では、第2列に対応する変数ノードv2と第3行に対応するチェックノードc3とがエッジで接続されているが、これは、検査行列Hの第3行第2列の成分が「1」であることを示す。
例えば、符号化処理の対象となる一画素のグレイコードxi(図3の例では6bit)を“101011”とした場合には、図3に示すように、当該グレイコードxiを変数ノードviにそれぞれ割り当てる。そして、チェックノードcjのそれぞれに着目し、エッジで接続された全ての変数ノードviの二進加算を行う。例えば、チェックノードc1に着目した場合には、当該チェックノードc1にエッジで接続された変数ノードviが変数ノードv1,v2,v3であるため、変数ノードv1,v2,v3の各値「1」,「0」,「1」の二進加算を行って「0」の値を得る。そして、各チェックノードcjで算出された“0101”がシンドロームCとなる。
すなわち、数式(2)のような低密度パリティ検査行列Hを用いた場合には、6bitのグレイコードxiが4bitのシンドロームCに圧縮(圧縮率:2/3)されることとなる。
なお、低密度パリティ検査行列Hとしては、数式(2)に示すような符号化率1/3及び圧縮率2/3及び圧縮率1/3の検査行列を採用しても構わない。圧縮率が33%~50%になる検査行列を採用することが好ましい。
復号装置4は、撮像デバイス3から無線伝送系2を介して送信されてくる動画像データ(データストリーム)を受信して復号する。この復号装置4は、図1に示すように、受信部41と、メモリ部42と、制御部43等を備える。
受信部41は、撮像デバイス3から無線伝送系2を介して送信されてくる動画像データを受信するためのアンテナ等で構成されている。そして、受信部41は、制御部43による制御の下、動画像データを順次、受信し、メモリ部42に出力する。
なお、以下では、説明の便宜上、受信部41にて受信した動画像データを受信データと記載する。
上述した受信部41は、本発明に係る受信部として機能する他、本発明に係るデータ取得部としても機能する。
特性情報は、予め撮像することにより生成された画像データから算出され、フレーム内で画素値(グレイコード)がどのように変化するかを確率分布で表した情報である。
なお、本発明の実施の形態1では、メモリ部42は、上述した特性情報として、予め撮像された画像データをカラーフィルタ311のフィルタ群に対応する対応画素群毎(赤対応画素群、青対応画素群、第1緑対応画素群、及び第2対応緑画素群)に分け、当該対応画素群毎にそれぞれ算出された赤画素用、青画素用、第1緑画素用、及び第2緑画素用の特性情報を記憶している。
なお、画素値uRSの取り得る確率P(uRS)は、ラプラス分布以外を用いても構わない。
以下の表1は、図4Bに示す画素値uRSとその取り得る確率P(uRS)とを纏めた表である。
すなわち、図4Bや表1に示すように、画素値uRKと同一の「5」となる確率P(uRS)が最も高く(50%)、画素値uRKから離れた画素値になるほど、その確率P(uRS)が低くなっている。
復号部431は、2つの第1,第2対数尤度比を利用して確率伝播(Belief-Propagation)法による繰り返し復号(第1,第2対数尤度比の尤度交換)を実施するとともに撮像デバイス3による符号化処理前の非キーラインを推定する復号処理を実施する。この復号部431は、第1対数尤度比算出部4311と、第2対数尤度比算出部4312と、推定部4313等を備える。
なお、復号部431は、符号化処理前の非キーラインを推定する際、非キーラインに含まれる全画素に対して一括して処理を行うものである。
以下、復号部431による繰り返し復号を具体的に説明するために、非キーラインに含まれる一画素に着目して説明する。また、以下では、説明の便宜上、復号対象とするフレームを対象フレームと記載し、対象フレームにおける復号対象とする非キーラインを対象ラインと記載し、対象ラインにおける復号対象とする画素を対象画素と記載する。
具体的に、復号部431は、図5に示すように、撮像デバイス3でのシンドローム符号化に用いられた(n-k)行×n列の低密度パリティ検査行列Hを表現する二部グラフ上で、変数ノードviから当該変数ノードviのm(m=1~wi)番目のエッジに沿って第2対数尤度比qi,mをチェックノードcjに送り、チェックノードcjから当該チェックノードcjのm´(m´=1~rj)番目のエッジに沿って第1対数尤度比tj,m´を変数ノードviに送る尤度交換を所定回数繰り返す、繰り返し復号を実施する。
数式(3)中、γは、対数尤度比を補正するパラメータであり、0より大きな正の実数を持つもので、例えば、第1対数尤度比に対しては「1.0」、第2対数尤度比に対しては「0.4」のような値を用いるのが妥当である。
例えば、対象ライン(非キーライン)の対象画素が図4Aに示した赤画素R(第3行、第3列の赤画素R)であり、メモリ部42から読み出したキーラインにおける対象画素に最も近い赤画素R(第1行、第3列の赤画素R)の画素値が「5」である場合(図4A及び図4Bの例の場合)、第2対数尤度比算出部4312は、以下に示すように、対象画素の画素値uRSの初期値となる第2対数尤度比qi,0(i=1~4)を算出する。
一方、画素値uRSの上位側から1番目のビットが「1」となるのは、画素値uRSが「8(“1100”)」及び「9(“1101”)」の場合である。このため、図4Bや表1に示す赤画素用の特性情報に基づいて、上記の場合での確率P(uRS)から確率P(1)を算出することができる。
そして、上記のように確率P(0),P(1)が算出されれば、数式(3)により、対象画素の1番目のビットの第2対数尤度比q1,0を算出することができる。
なお、対象画素の上位側から2,3,4番目のビットの各第2対数尤度比q2,0~q4,0についても同様の考え方で算出することができる。
そして、第2対数尤度比算出部4312は、算出した各第2対数尤度比q1,0~q4,0を各変数ノードv1~v4からそれぞれ送る。
また、第1対数尤度比算出部4311は、所定回数、実施される第1,第2対数尤度比の尤度交換中、以下の数式(5)により、第1対数尤度比tj,m´を更新する。
ここで、第1対数尤度比算出部4311は、数式(5)に示すように、一のチェックノードcjからエッジに沿って一の変数ノードviに送る第1対数尤度比tj,m´を更新するにあたって、送信先の変数ノードviから送信元のチェックノードcjに送られてきた第2対数尤度比qi,mを考慮に入れない。例えば、1番目のチェックノードc1からエッジに沿って1番目の変数ノードv1に送る第1対数尤度比t1,1を算出するにあたって、1番目の変数ノードv1から1番目のチェックノードc1に送られた第2対数尤度比q1,1を考慮に入れない。
すなわち、推定部4313は、数式(6)に示すように、初期値となる第2対数尤度比qi,0と各エッジを介して変数ノードviに送られた全ての第1対数尤度比tj,m´を加算し、加算した対数尤度比の値(繰り返し復号によって復元された非キーラインの事後対数尤度比)により、対象ライン(非キーライン)における対象画素の画素値のi番目のビットの値が「0」なのか「1」なのかを推定する。
表示判定部433は、誤り検出部432による検出結果に基づいて、復号部431にて復号処理により推定された非キーライン(対象ライン)を含むフレーム(対象フレーム)を表示部(例えば、図15に示す表示部46等)に表示する表示対象とするか否かの判定処理を実施する。当該判定処理により、表示判定部433は、表示対象としないと判定した場合には当該対象フレームに対して非表示対象を示す非表示対象フラグを付加する。そして、復号装置4にて復号された後の動画像データを表示する際には、非表示対象フラグが付加されていないフレームに対応する画像は、表示部に表示されることとなる。一方、非表示対象フラグが付加されたフレームに対応する画像は、表示部に表示されない。
グレイ復号部435は、合成部434にて生成された動画像ファイルに対してグレイ復号(グレイコードを画素値に変換)を行う。
線形補間を利用した復号モードでは、制御部43は、正しく復号された非キーラインもしくはキーラインを用いて、復号することができなかった非キーラインの各画素の予測輝度値を線形補間によって計算し、この予測値を基にした対数尤度比を第2対数尤度比として与えて、繰り返し復号を行う。
次に、上述した撮像システム1の動作(符号化復号方法)について説明する。
図6は、本発明の実施の形態1に係る符号化復号方法を示すフローチャートである。
なお、以下では、説明の便宜上、撮像デバイス3の動作、及び復号装置4の動作の順に説明する。
先ず、撮像素子312は、制御部32による制御の下、被検体の撮像(例えば毎秒30枚のフレームレートでの撮像)を開始する(ステップS1)。
ステップS1の後、振分部315は、撮像素子312にて撮像され信号処理部313及びグレイ符号化部314を介してグレイ符号化された動画フレーム列を、一フレーム毎に、キーライン及び非キーラインに振り分け、キーラインを送信部33に出力し、非キーラインを符号化部321に出力する(ステップS2:振り分けステップ)。
ステップS3の後、送信部33は、制御部32による制御の下、振分部315からのキーライン、及び符号化部321からの符号化処理後の非キーライン(シンドロームC)をデータストリーム化する。そして、送信部33は、無線伝送系2を介して、データストリーム化した動画像データを復号装置4に送信する(ステップS4:送信ステップ)。
制御部43は、メモリ部42から復号プログラムを読み出し、当該復号プログラムにしたがって、以下の処理を実行する。
先ず、受信部41は、制御部43による制御の下、撮像デバイス3からの動画像データを順次、受信し、メモリ部42に出力する(ステップS5:受信ステップ、データ取得ステップ)。そして、メモリ部42は、受信データを順次、記憶する。
以下、復号処理(ステップS6)を具体的に説明するために、非キーラインに含まれる一画素に着目して説明する。
図7は、本発明の実施の形態1に係る復号処理を示すフローチャートである。
先ず、第2対数尤度比算出部4312は、対象フレームにおいて、対象ラインに対して時系列的に直前のキーラインと、対象ラインに含まれる対象画素に対応する特性情報とをメモリ部42から読み出し、初期値となる第2対数尤度比qi,0を算出する(ステップS61)。
ステップS62の後、復号部431は、第1,第2対数尤度比の尤度交換を所定回数、実施する。また、第1,第2対数尤度比算出部4311,4312は、当該尤度交換中、数式(4),(5)により、第1,第2対数尤度比tj,m´,qi,mをそれぞれ更新する(ステップS63)。
そして、復号部431は、以上の処理(ステップS61~S64)を対象ライン(非キーライン)に含まれる全画素に対して一括して実施した後、復号処理(ステップS6)を終了する。
ステップS8において、「Yes」と判定された場合、すなわち、パリティ検査で誤りがあると判定された場合には、表示判定部433は、対象フレームに対して非表示対象フラグを付加する(ステップS9)。
ステップS9の後、制御部43は、対象フレームを次のフレームに切り替え(ステップS10)、ステップS6に移行し、切り替え後の対象フレームにおける非キーラインについて復号処理を実施する。
ステップS11において、「No」と判定した場合には、制御部43は、対象フレームにおける対象ラインを次の非キーラインに切り替え(ステップS12)、ステップS6に移行し、切り替え後の対象ラインについて復号処理を実施する。
また、ステップS11において、「Yes」と判定された場合には、合成部434は、復号部431による復号処理(ステップS6)後の非キーラインと、メモリ部42に記憶され、当該非キーラインと同一のフレームを構成するキーラインとにより、一フレームの画像データを再構成する(ステップS13)。
ステップS13の後、制御部43は、メモリ部42に記憶された全てのフレームについてステップS6を実施したか否かを判定する(ステップS14)。
ステップS14において、「No」と判定した場合には、制御部43は、対象フレームを次のフレームに切り替え(ステップS10)、ステップS6に移行し、切り替え後の対象フレームにおける非キーラインについて復号処理を実施する。
そして、グレイ復号部435は、ステップS15で生成された動画像ファイルに対してグレイ復号を行う(ステップS16)。
また、復号装置4では、符号化処理後の非キーラインから得られる初期値となる第1対数尤度比tj,0と符号化されていないキーライン及び特性情報から得られる初期値となる第2対数尤度比qi,0とに基づいて、確率伝播法により繰り返し復号を実施する。このため、撮像デバイス3側で実施される符号化方式として、単純な符号化方式を採用することができる。特に、本実施の形態1では、符号化処理として、低密度パリティ検査行列Hを用いたシンドローム符号化を採用しているため、非キーラインに対して低密度パリティ検査行列Hを作用させるだけでよく、符号化処理の計算量が非常に少ないものとなる。
以上のことから、撮像時のフレームレートを大きくした場合(例えば、毎秒30枚のフレームレートにした場合)であっても撮像デバイス3側の負荷及び消費電力を抑えることが可能な撮像システム1、復号装置4、符号化復号方法、復号方法、及び復号プログラムを実現することができる。
ところで、画素値相関特性としては、フレーム間の相関よりも、フレーム内での相関(キーライン及び非キーライン間の相関)の方が高いものである。
そして、復号装置4は、対象ライン(非キーライン)に対して時系列的に直前のキーライン、すなわち、対象ラインに対して高い相関を持つキーライン、及び特性情報を用いて初期値となる第2対数尤度比qi,0を算出し、当該第2対数尤度比qi,0を用いて繰り返し復号を実施している。このため、高い確度で符号化処理前の非キーラインを推定することができる。
そして、復号装置4は、初期値となる第2対数尤度比qi,0を算出する際、対象画素の種別に対応する特性情報(例えば、対象画素が赤画素の場合には赤画素用の特性情報)を用いる。このため、さらに高い確度で符号化処理前の非キーラインに含まれる各画素の輝度値を推定することができる。
次に、本発明の実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態1では、メモリ部42は、特性情報として、赤画素用、青画素用、第1緑画素用、及び第2緑画素用の特性情報をそれぞれ1つずつ記憶していた。そして、復号部431は、非キーラインに含まれる全画素に対して一括して復号処理を実施する際、対象画素の種別(赤画素、青画素、第1緑画素、及び第2緑画素の4種類)毎に、当該対象画素の種別に対応する特性情報を用いて初期値となる第2対数尤度比qi,0を算出し、当該第2対数尤度比qi,0を用いて繰り返し復号(ステップS63)を実施していた。
すなわち、対応画素群毎の複数の特性情報(赤画素用の複数の特性情報、青画素用の複数の特性情報、第1緑画素用の複数の特性情報、及び第2緑画素用の複数の特性情報)は、撮像された時間帯や撮像された場所等が異なる複数の画像データからそれぞれ算出されている。このため、当該複数の特性情報は、図4Bに例示したような確率分布が異なるものとなる。
そして、復号部431は、非キーラインに含まれる全画素に対して一括して復号処理を実施する際、以下に示すように、所定の条件を満たした場合に、対象画素の種別毎に、当該対象画素の種別に対応する複数の特性情報を用いて初期値となる第2対数尤度比qi,0を変更し、当該変更した第2対数尤度比qi,0を用いて繰り返し復号を実施する。
本実施の形態2に係る符号化復号方法では、撮像デバイス3の動作については、上述した実施の形態1と同様である。このため、図8では、撮像デバイス3の動作については省略し、復号装置4の動作(復号方法)のみを示している。
また、本実施の形態2に係る復号方法では、上述した実施の形態1で説明した復号方法に対して、以下に示すステップS17,S18が追加された点が異なるのみである。
このため、以下では、ステップS17,S18のみを説明する。
そして、ステップS17では、制御部43は、メモリ部42に記憶された初期値となる第2対数尤度比qi,0の算出に用いる全ての特性情報(対応画素群毎の複数の特性情報の全て)を用いたか否かを判定する。
ステップS17において、「No」と判定した場合には、制御部43(第2対数尤度比算出部4312)は、対象画素の種別毎に、当該対象画素の種別に対応する複数の特性情報(対象画素が赤画素であれば赤画素用の複数の特性情報)のうち、従前に用いた特性情報とは異なる特性情報を用いて、ステップS61と同様に、初期値となる第2対数尤度比qi,0を算出し、従前に用いた第2対数尤度比qi,0を、算出した第2対数尤度比qi,0に変更する(ステップS18)。
ステップS18の後、復号部431は、ステップS63に移行し、対象画素の種別毎に、ステップS18で変更した初期値となる第2対数尤度比qi,0及びステップS62で算出した初期値となる第1対数尤度比tj,0を用いて、新たな尤度交換を実施する。
本実施の形態2では、復号部431は、非キーラインに含まれる全画素に対して一括して復号処理を実施する際、対象画素の種別毎に、当該対象画素の種別に対応する複数の特性情報を用いて初期値となる第2対数尤度比qi,0を変更し、当該変更した第2対数尤度比qi,0を用いて繰り返し復号を実施する。このため、より高い確度の非キーラインを推定することができる。
次に、本発明の実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
図9は、本発明の実施の形態3に係る撮像システム1Aを示すブロック図である。
上述した実施の形態1では、表示判定部433は、パリティ検査(ステップS7)の結果に基づいて、対象フレームを表示対象とするか否かの判定処理を実施していた。
そして、表示判定部433Aは、以下に示すように、復号部431による繰り返し復号によって復元された非キーラインの事後対数尤度比に基づいて、判定処理を実施する。
本実施の形態3に係る符号化復号方法では、撮像デバイス3の動作については、上述した実施の形態1と同様である。
また、本実施の形態3に係る復号方法では、上述した実施の形態1で説明した復号方法に対して、ステップS7,S8の代わりにステップS19,S20が追加された点が異なるのみである。
このため、以下では、ステップS19,S20のみを説明する。
そして、ステップS19では、表示判定部433Aは、対象ラインに含まれる全画素について、グレイコード(ビット列)のビット毎に、ステップS6での繰り返し復号によって復元された非キーラインの事後対数尤度比の絶対値と第1閾値とを比較する。
ステップS19の後、表示判定部433Aは、事後対数尤度比の絶対値が第1閾値未満となるビットの数が第2閾値よりも多いか否かを判定する(ステップS20)。
ステップS20において、「Yes」と判定した場合には、表示判定部433Aは、ステップS9に移行し、対象フレームに対して非表示対象フラグを付加する。
一方、ステップS20において、「No」と判定した場合には、制御部43Aは、ステップS11に移行する。
例えば、グレイコード(ビット列)のビットレベルに対して重み付けを行う(例えば、下位側のビットに向かうにしたがって重みを大きくする)。そして、対象ラインに含まれる全画素について、グレイコードのビット毎に、重みと事後対数尤度比の絶対値との積をそれぞれ求め、その和が第3閾値未満である場合に対象フレームを非表示対象とする。
次に、本発明の実施の形態4について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
図11は、本発明の実施の形態4に係る撮像システム1Bを示すブロック図である。
本実施の形態4に係る撮像システム1Bは、上述した実施の形態1で説明した撮像システム1(図1)に対して、対応画素群の種別毎に符号化処理及び復号処理を実施する。
そして、本実施の形態4に係る撮像システム1Bを構成する撮像デバイス3Bは、上述した実施の形態1で説明した撮像デバイス3に対して、図11に示すように、振分部315の一部の機能が変更されている。
図12は、本発明の実施の形態4に係る振分部315Bの機能を仮想的に表現した図である。なお、図12では、図2と同様に、一フレームの画像Fにおいて、各赤画素に「R」の符号を付し、各青画素に「B」の符号を付し、各第1緑画素に「Gr」の符号を付し、各第2緑画素に「Gb」の符号を付している。
具体的に、振分部315Bは、図12に示すように、画像Fを、対応画素群の種別毎に、赤画素サブフレームFR、青画素サブフレームFB、第1緑画素サブフレームFGr、及び第2緑画素サブフレームFGbに振り分ける。
青画素サブフレームFBは、第1行目に画像F中の第2行目に配列された各青画素Bが列番号の小さい順に第1列目から順に並べられ、第2行目に画像F中の第4行目に配列された各青画素Bが列番号の小さい順に第1列目から順に並べられ、第3行目以降、上記同様に並べられたフレームである。
第1緑画素サブフレームFGrは、第1行目に画像F中の第2行目に配列された各第1緑画素Grが列番号の小さい順に第1列目から順に並べられ、第2行目に画像F中の第4行目に配列された各第1緑画素Grが列番号の小さい順に第1列目から順に並べられ、第3行目以降、上記同様に並べられたフレームである。
第2緑画素サブフレームFGbは、第1行目に画像F中の第1行目に配列された各第2緑画素Gbが列番号の小さい順に第1列目から順に並べられ、第2行目に画像F中の第3行目に配列された各第2緑画素Gbが列番号の小さい順に第1列目から順に並べられ、第3行目以降、上記同様に並べられたフレームである。
本実施の形態4では、赤画素サブフレームFR、青画素サブフレームFB、第1緑画素サブフレームFGr、及び第2緑画素サブフレームFGbの間で、キーラインの数は、同一である。また、非キーラインの数も、同一である。
以下では、説明の便宜上、振分部315Bにより赤画素サブフレームFRから振り分けられたキーライン及び非キーラインをそれぞれ赤画素キーライン及び赤画素非キーランと記載する。同様に、青画素サブフレームFBから振り分けられたキーライン及び非キーライン、第1緑画素サブフレームFGrから振り分けられたキーライン及び非キーライン、並びに、第2緑画素サブフレームFGから振り分けられたキーライン及び非キーラインを、それぞれ青画素キーライン及び青画素非キーライン、第1緑画素キーライン及び第1緑画素非キーライン、並びに、第2緑画素キーライン及び第2緑画素非キーラインと記載する。
そして、振分部315Bは、キーラインを送信部33に出力し、赤画素非キーライン、青画素非キーライン、第1緑画素非キーライン、及び第2緑画素非キーラインをそれぞれ制御部32Bに出力する。
具体的に、赤画素用符号化部321Rは、振分部315Bからの赤画素非キーラインを順次、入力し、当該赤画素非キーライン毎に、上述した実施の形態1で説明した符号化部321と同様に、シンドローム符号化を実施する。
青画素用符号化部321B、第1緑画素用符号化部321Gr、及び第2緑画素用符号化部321Gbも上記同様に、振分部315Bからの対応する青画素非キーライン、第1緑画素非キーライン、及び第2緑画素非キーラインをそれぞれ順次、入力し、当該各非キーライン毎に、上述した実施の形態1で説明した符号化部321と同様に、シンドローム符号化をそれぞれ実施する。
ここで、各符号化部321R,321B,321Gr,321Gbのうち、少なくとも一つの符号化部では、シンドローム符号化で用いる低密度パリティ検査行列が他の符号化部におけるシンドローム符号化で用いられる低密度パリティ検査行列とは異なるものとなっている。
赤画素用復号部431R、青画素用復号部431B、第1緑画素用復号部431Gr、及び第2緑画素用復号部431Gbは、上述した実施の形態1で説明した復号部431と同様に、第1対数尤度比算出部4311、第2対数尤度比算出部4312、及び推定部4313をそれぞれ備える。なお、図11では、これらの構成の図示を省略している。
そして、赤画素用復号部431R、青画素用復号部431B、第1緑画素用復号部431Gr、及び第2緑画素用復号部431Gbは、上述した実施の形態1で説明した復号処理と同様の復号処理をそれぞれ実施することで、撮像デバイス3Bによる符号化処理前の赤画素非キーライン、青画素非キーライン、第1緑画素非キーライン、及び第2緑画素非キーラインをそれぞれ推定する。
具体的に、赤画素用復号部431Rは、初期値となる第1,第2対数尤度比tj,0,qi,0を算出する際、メモリ部42に記憶された以下に示す情報を用いる。
すなわち、赤画素用復号部431Rは、初期値となる第2対数尤度比qi,0を算出する際、対象フレームを構成する赤画素サブフレームにおいて、対象ライン(赤画素非キーライン)に対して時系列的に直前(赤画素サブフレーム内で行番号が小さく、かつ、近接する)の赤画素キーラインと、赤画素用の特性情報とを用いる。
また、赤画素用復号部431Rは、初期値となる第1対数尤度比tj,0を算出する際、対象フレームを構成する赤画素サブフレームにおける対象ライン(赤画素非キーライン)に含まれる対象画素のシンドロームCと、通信路における雑音の標準偏差とを用いる。
そして、赤画素用復号部431Rは、上述した情報を用いて算出した初期値となる第1,第2対数尤度比tj,0,qi,0を1回目の尤度交換で用い、以降、上述した実施の形態1と同様に、所定回数の尤度交換を実施して、符号化処理前の赤画素非キーラインを推定する。
すなわち、青画素用復号部431Bは、初期値となる第2対数尤度比qi,0を算出する際、対象フレームを構成する青画素サブフレームにおいて、対象ライン(青画素非キーライン)に対して時系列的に直前(青画素サブフレーム内で行番号が小さく、かつ、近接する)の青画素キーラインと、青画素用の特性情報とを用いる。
また、青画素用復号部431Bは、初期値となる第1対数尤度比tj,0を算出する際、対象フレームを構成する青画素サブフレームにおける対象ライン(青画素非キーライン)に含まれる対象画素のシンドロームCと、通信路における雑音の標準偏差とを用いる。
そして、青画素用復号部431Bは、上述した情報を用いて算出した初期値となる第1,第2対数尤度比tj,0,qi,0を1回目の尤度交換で用い、以降、上述した実施の形態1と同様に、所定回数の尤度交換を実施して、符号化処理前の青画素非キーラインを推定する。
すなわち、第1緑画素用復号部431Grは、初期値となる第2対数尤度比qi,0を算出する際、対象フレームを構成する第1緑画素サブフレームにおいて、対象ライン(第1緑画素非キーライン)に対して時系列的に直前(第1緑画素サブフレーム内で行番号が小さく、かつ、近接する)の第1緑画素キーラインと、第1緑画素用の特性情報とを用いる。
また、第1緑画素用復号部431Grは、初期値となる第1対数尤度比tj,0を算出する際、対象フレームを構成する第1緑画素サブフレームにおける対象ライン(第1緑画素非キーライン)に含まれる対象画素のシンドロームCと、通信路における雑音の標準偏差とを用いる。
そして、第1緑画素用復号部431Grは、上述した情報を用いて算出した初期値となる第1,第2対数尤度比tj,0,qi,0を1回目の尤度交換で用い、以降、上述した実施の形態1と同様に、所定回数の尤度交換を実施して、符号化処理前の第1緑画素非キーラインを推定する。
すなわち、第2緑画素用復号部431Gbは、初期値となる第2対数尤度比qi,0を算出する際、対象フレームを構成する第2緑画素サブフレームにおいて、対象ライン(第2緑画素非キーライン)に対して時系列的に直前(第2緑画素サブフレーム内で行番号が小さく、かつ、近接する)の第2緑画素キーラインと、第2緑画素用の特性情報とを用いる。
また、第2緑画素用復号部431Gbは、初期値となる第1対数尤度比tj,0を算出する際、対象フレームを構成する第2緑画素サブフレームにおける対象ライン(第2緑画素非キーライン)に含まれる対象画素のシンドロームCと、通信路における雑音の標準偏差とを用いる。
そして、第2緑画素用復号部431Grは、上述した情報を用いて算出した初期値となる第1,第2対数尤度比tj,0,qi,0を1回目の尤度交換で用い、以降、上述した実施の形態1と同様に、所定回数の尤度交換を実施して、符号化処理前の第2緑画素非キーラインを推定する。
本実施の形態4に係る誤り検出部432Bは、赤画素用復号部431Rにて復号処理により推定された赤画素非キーライン(対象ライン)、青画素用復号部431Bにて復号処理により推定された青画素非キーライン(対象ライン)、第1緑画素用復号部431Grにて復号処理により推定された第1緑画素非キーライン(対象ライン)、及び第2緑画素用復号部431Gbにて復号処理により推定された第2緑画素非キーライン(対象ライン)に対して、それぞれパリティ検査を行い、誤りがあるか否かを検出する。なお、赤画素用非キーラインに対するパリティ検査では、赤画素用符号化部321Rで用いられた低密度パリティ検査行列を用いる。青画素用非キーライン、第1緑画素用非キーライン、及び第2緑画素用非キーラインに対する各パリティ検査でも上記同様に、各非キーラインにそれぞれ対応する各符号化部321B,321Gr,321Gbでそれぞれ用いられた各低密度パリティ検査行列を用いる。
図13は、本発明の実施の形態4に係る符号化復号方法を示すフローチャートである。
なお、以下では、説明の便宜上、撮像デバイス3Bの動作、及び復号装置4Bの動作(復号方法)の順に説明する。
本実施の形態4に係る撮像デバイス3Bの動作では、上述した実施の形態1で説明した撮像デバイス3の動作に対して、ステップS21が追加されているとともに、ステップS2,S3の代わりにステップS2B,S3Bが追加された点が異なるのみである。
このため、以下では、ステップS21,S2B,S3Bのみを説明する。
そして、ステップS21では、振分部315Bは、撮像素子312にて撮像され信号処理部313及びグレイ符号化部314を介してグレイ符号化された動画フレーム列を、一フレーム毎に、各サブフレームFR,FB,FGr,FGbに振り分ける(対応画素群の種別毎に振り分ける)。
ステップS21の後、振分部315Bは、ステップS21で振り分けたサブフレームFR,FB,FGr,FGb毎に、キーライン(赤画素キーライン、青画素キーライン、第1緑画素キーライン、第2緑画素キーライン)及び非キーライン(赤画素非キーライン、青画素非キーライン、第1緑画素非キーライン、第2緑画素非キーライン)に振り分け、キーラインを送信部33に出力し、各非キーラインを各符号化部321R,321B,321Gr,321Gbにそれぞれ出力する(ステップS2B:振り分けステップ)。
ステップS2Bの後、各符号化部321R,321B,321Gr,321Gbは、ステップS2Bで振り分けられた各非キーラインをそれぞれ入力し、当該各非キーラインに対する各符号化処理を並列に実施する(ステップS3B:符号化ステップ)。
このため、以下では、ステップS6B,S7Bのみを説明する。
ステップS6Bは、ステップS5の後に実施される。
そして、ステップS6Bでは、各復号部431R,431B,431Gr,431Gbは、ステップS3Bでの符号化処理後の各非キーラインに対する各復号処理を並列に実施する。なお、各復号処理の内容は、上述したように初期値となる第1,第2対数尤度比tj,0,qi,0の算出に用いる情報が異なる以外は、上述した実施の形態1で説明した復号処理(ステップS6)と同様である。
ステップS6Bの後、誤り検出部432Bは、各復号部431Rにて各復号処理によりそれぞれ推定された各非キーライン(対象ライン)に対して、それぞれパリティ検査を行い(ステップS7B)、誤りがあるか否かを検出する(ステップS8)。
本実施の形態4では、撮像システム1Bは、画像データを対応画素群の種別毎に振り分け、当該対応画素群の種別毎に符号化処理及び復号処理を実施する。このため、符号化処理に用いる低密度パリティ検査行列を対応画素群の種別毎に異なる行列を用いることができ、符号化処理の自由度を向上することができる。また、一フレーム内で、対応画素群の種別が異なるもの同士の相関よりも当該種別が同一となるもの同士の相関の方が高いため、対応画素群の種別毎に符号化処理及び復号処理を実施することで、非常に高い確度で符号化処理前の非キーラインを推定することができる。
次に、本発明の実施の形態5について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
図14は、本発明の実施の形態5に係るカプセル型内視鏡システム1Cを示す模式図である。
本実施の形態5は、上述した実施の形態1で説明した撮像システム1をカプセル型内視鏡システム1Cに適用したものである。
カプセル型内視鏡システム1Cは、飲み込み型のカプセル型内視鏡3Cを用いて、被検体100内部の体内画像を取得するシステムである。このカプセル型内視鏡システム1Cは、図14に示すように、カプセル型内視鏡3Cの他、受信装置5と、復号装置4Cと、可搬型の記録媒体6等を備える。
記録媒体6は、受信装置5と復号装置4Cとの間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置5及び復号装置4Cに対して着脱可能に構成されている。
具体的に、カプセル型内視鏡3Cは、経口摂取等によって被検体100の臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次撮像(例えば毎秒30枚のフレームレートで撮像)する。
そして、カプセル型内視鏡3Cは、上述した実施の形態1で説明した撮像デバイス3と同様に、撮像することにより生成した画像データを一フレーム毎にキーライン及び非キーラインに振り分ける。また、カプセル型内視鏡3Cは、キーラインについては符号化することなく、非キーラインについては符号化処理を施し、当該キーライン及び非キーラインをデータストリーム化して送信する。
なお、受信アンテナ5a~5hは、図14に示したように被検体100の体表上に配置されていてもよいし、被検体100に着用させるジャケットに配置されていてもよい。また、受信装置5が備える受信アンテナ数は、1つ以上であればよく、特に8つに限定されない。
復号装置4Cは、被検体100内の動画像データを取得し、取得した動画像データを復号するワークステーションとして構成され、図15に示すように、上述した実施の形態1で説明した復号装置4と略同様の機能及び構成(メモリ部42及び制御部43)を有する。この復号装置4Cは、メモリ部42及び制御部43の他、リーダライタ44と、キーボード及びマウス等の入力部45と、液晶ディスプレイ等の表示部46等を備える。
また、リーダライタ44は、取り込んだ動画像データを制御部43に転送する。制御部43に転送された動画像データは、メモリ部42に記憶される。
そして、制御部43は、上述した実施の形態1で説明した復号装置4と同様に、復号処理等を実施し、動画像ファイルを作成する。また、制御部43は、ユーザによる入力部45への入力操作に応じて、動画像ファイルに基づく動画像(被検体100の体内映像)を表示部46に表示する。
これに対して本実施の形態5では、復号部431は、順方向の繰り返し復号の他、対象フレームにおいて、対象ライン(非キーライン)に対して時系列的に直後(対象フレーム内で行番号が大きく、かつ、近接する)のキーラインを用いて初期値となる第2対数尤度比qi,0を算出し、当該第2対数尤度比qi,0を用いた繰り返し復号(以下、トレースバック方向の繰り返し復号と記載)をも実施する。
そして、制御部43は、順方向及びトレースバック方向の各繰り返し復号後にそれぞれ推定される各非キーラインのうち、パリティ検査で誤りなしと判定された非キーラインを用いて動画像ファイルを作成する。ここで、順方向及びトレースバック方向の各繰り返し復号後にそれぞれ推定される各非キーラインの双方がパリティ検査で誤りなしまたは誤りありと判定された場合には、いずれの非キーラインを採用しても構わない。
なお、順方向及びトレースバック方向の各繰り返し復号後に推定される各非キーラインのうち、上述した実施の形態3で説明した条件(事後対数尤度比の絶対値が第1閾値未満となるビットの数が第2閾値よりも多い)を満たす非キーラインを用いて動画像ファイルを作成しても構わない。ここで、順方向及びトレースバック方向の各繰り返し復号後にそれぞれ推定される各非キーラインの双方が上述した条件を満たす場合または上述した条件を満たさない場合には、いずれの非キーラインを採用しても構わない。
本実施の形態5では、復号部431は、順方向及びトレースバック方向の双方の繰り返し復号を実施する。
例えば、一フレームで、キーラインと非キーラインとの比率が1:3の場合、すなわち、4ブロックに一つの頻度でキーラインとする場合(例えば、図2に示す場合)を想定する。
この場合には、図2に示すように、第3,4行目の非キーラインは、第9,10行目のキーライン(時系列的に「直後」のキーライン)よりも第1,2行目のキーライン(時系列的に「直前」のキーライン)の方が近接しているため、高い相関を有する。同様に、第7,8行目の非キーラインは、第1,2行目のキーライン(時系列的に「直前」のキーライン)よりも第9,10行目のキーライン(時系列的に「直後」のキーライン)の方が近接しているため、高い相関を有する。
このため、第3,4行目の非キーラインについては、高い相関を有する時系列的に「直前」のキーラインを用いた順方向の繰り返し復号により、高い確度で非キーラインを推定できる。また、第7,8行目の非キーラインについては、高い相関を有する時系列的に「直後」のキーラインを用いたトレースバック方向の繰り返し復号により、高い確度で非キーラインを推定できる。
したがって、一フレーム内の全ての非キーラインについて、高い確度で非キーラインを推定でき、カプセル型内視鏡3Cにて生成された動画像データに対して画質低下の抑制された動画像ファイルを作成することができる。
また、上述した実施の形態5において、受信装置5に上述した実施の形態1で説明した復号装置4の機能及び構成(メモリ部42及び制御部43)を持たせた構成としても構わない。
さらに、上述した実施の形態5では、ワークステーションとして機能する復号装置4Cに本発明に係る復号装置としての機能を持たせていたが、これに限られない。例えば、外部のクラウドコンピュータに本発明に係る復号装置の機能を持たせ、受信装置5にて受信されたカプセル型内視鏡3Cからの動画像データを当該クラウドコンピュータに送信し、当該クラウドコンピュータにて動画像データを復号する。そして、当該クラウドコンピュータは、復号した動画像データをユーザの機器で復号化しやすいJPEGやMPEGに符号化し、ユーザに配信する。
なお、上述した実施の形態1~5では、撮像デバイス3,3B(カプセル型内視鏡3C)は、非キーラインに含まれる全画素位置のグレイコードの全ビット列に対して符号化処理を施していたが、これに限られない。例えば、非キーラインに含まれる全画素位置のグレイコードの全ビット列のうち、下位側のビットを間引き、当該間引いた後の非キーラインに対して符号化処理を施す(非キーラインの一部に対して符号化処理を施す)ように構成しても構わない。
上記のように撮像デバイス3,3B(カプセル型内視鏡3C)を構成した場合には、復号装置4,4A~4C側で上記間引いたビットを補間する構成を追加すればよい。
上述した実施の形態1~5では、撮像デバイス3,3B(カプセル型内視鏡3C)は、撮像により画像データを順次、生成し、全てのフレーム(非キーライン)に対して符号化処理を施していたが、これに限られない。例えば、図16に示すように、生成した複数の画像データのうち一部のフレームにのみ符号化処理を施すように構成しても構わない。
以下、符号化処理を施さないフレームをキーフレームFK(図16)、符号化処理を施すフレームを非キーフレームFS(図16)と記載する。
図16の例では、3フレームに一枚の頻度でキーフレームFKとし、残りを非キーフレームFSとしている。
このように構成した場合には、例えば、非キーラインに対するパリティ検査(ステップS7,S7B)で誤りが検出された場合や、繰り返し復号によって復元された非キーラインの事後対数尤度比に基づく判定処理(ステップS19,S20)で非キーラインがNGとされた場合であっても、当該非キーラインを含む非キーフレームFSに対して時系列的に直前または直後のキーフレームFKを用いて当該非キーラインを予測することが可能となる。
上述した実施の形態1~5において、図17に示すように、一フレームの画像Fにおけるキーライン及び非キーラインが上下方向に交互となるように設定しても構わない。この際、図17に示すように、時系列的に隣接するフレーム間で、キーライン及び非キーラインとなる位置が互い違いとなるように設定すれば、以下に示すような効果を奏する。
すなわち、非キーラインに対するパリティ検査(ステップS7,S7B)で誤りが検出された場合や、繰り返し復号によって復元された非キーラインの事後対数尤度比に基づく判定処理(ステップS19,S20)で非キーラインがNGとされた場合であっても、当該非キーラインを含むフレームに対して時系列的に直前または直後のフレーム内の当該非キーラインと同一の位置のキーラインを用いて当該非キーラインを予測することが可能となる。
1C カプセル型内視鏡システム
2 無線伝送系
3,3B 撮像デバイス
3C カプセル型内視鏡
4,4A~4C 復号装置
5 受信装置
5a~5h 受信アンテナ
6 記録媒体
31 撮像部
32,32B 制御部
33 送信部
41 受信部
42 メモリ部
43,43A,43B 制御部
44 リーダライタ
45 入力部
46 表示部
311 カラーフィルタ
312 撮像素子
313 信号処理部
314 グレイ符号化部
315,315B 振分部
321 符号化部
321R 赤画素用符号化部
321B 青画素用符号化部
321Gr 第1緑画素用符号化部
321Gb 第2緑画素用符号化部
431 復号部
431R 赤画素用復号部
431B 青画素用復号部
431Gr 第1緑画素用復号部
431Gb 第2緑画素用復号部
4311 第1対数尤度比算出部
4312 第2対数尤度比算出部
4313 推定部
432,432B 誤り検出部
433,433A 表示判定部
434 合成部
435 グレイ復号部
Claims (18)
- 撮像デバイスにて符号化された画像データを復号する復号装置において、
前記撮像デバイスにて生成された一フレームの画像データの一部を構成するキーブロック、及び前記撮像デバイスにて生成された一フレームの画像データの一部を構成するとともに少なくとも一部に符号化処理が施された非キーブロックを取得するデータ取得部と、
フレーム内の画素値相関特性に関する特性情報を記憶する特性情報記憶部と、
前記少なくとも一部に符号化処理が施された非キーブロックから得られる第1対数尤度比と、前記キーブロック、及び前記特性情報記憶部に記憶された前記特性情報から得られる第2対数尤度比とに基づいて、確率伝播法による繰り返し復号を実施し、前記符号化処理前の非キーブロックを推定する復号部とを備える
ことを特徴とする復号装置。 - 前記特性情報記憶部は、
異なる前記特性情報を複数記憶し、
前記第2対数尤度比を、前記キーブロック、及び前記複数の特性情報のうち従前に用いた前記特性情報とは異なる前記特性情報から得られる第2対数尤度比に変更して、前記繰り返し復号を再度、実施する
ことを特徴とする請求項1に記載の復号装置。 - 前記復号部は、
前記第1対数尤度比と、前記データ取得部にて時系列的に前記非キーブロックの直前に取得された前記キーブロック、及び前記特性情報から得られる前記第2対数尤度比とに基づく順方向の前記繰り返し復号と、
前記第1対数尤度比と、前記データ取得部にて時系列的に前記非キーブロックの直後に取得された前記キーブロック、及び前記特性情報から得られる前記第2対数尤度比とに基づくトレースバック方向の前記繰り返し復号とを実施する
ことを特徴とする請求項1または2に記載の復号装置。 - 前記復号部により前記繰り返し復号後に推定された前記非キーブロックに対してパリティ検査を行い、誤りがあるか否かを検出する誤り検出部を備え、
前記復号部は、
前記誤り検出部による検出結果に基づいて、前記順方向の繰り返し復号後に推定した前記非キーブロック、または前記トレースバック方向の繰り返し復号後に推定した前記非キーブロックを復号結果として出力する
ことを特徴とする請求項3に記載の復号装置。 - 前記復号部は、
前記順方向の繰り返し復号によって復元された非キーブロックの事後対数尤度比、及び前記トレースバック方向の繰り返し復号によって復元された非キーブロックの事後対数尤度比に基づいて、前記順方向の繰り返し復号後に推定した前記非キーブロック、または前記トレースバック方向の繰り返し復号後に推定した前記非キーブロックを復号結果として出力する
ことを特徴とする請求項3に記載の復号装置。 - 前記復号部により前記繰り返し復号後に推定された前記非キーブロックを表示対象とするか否かの判定処理を実施する表示判定部を備える
ことを特徴とする請求項1~5のいずれか一つに記載の復号装置。 - 前記復号部により前記繰り返し復号後に推定された前記非キーブロックに対してパリティ検査を行い、誤りがあるか否かを検出する誤り検出部を備え、
前記表示判定部は、
前記誤り検出部による検出結果に基づいて、前記判定処理を実施する
ことを特徴とする請求項6に記載の復号装置。 - 前記表示判定部は、
前記復号部による前記繰り返し復号によって復元された非キーブロックの事後対数尤度比に基づいて、前記判定処理を実施する
ことを特徴とする請求項6に記載の復号装置。 - 前記キーブロック及び前記非キーブロックは、
フレーム内で行方向または列方向に並ぶ少なくとも1ライン上の画素群である
ことを特徴とする請求項1~8のいずれか一つに記載の復号装置。 - 前記撮像デバイスは、
透過させる光の波長帯域に応じてグループ分けされた複数のフィルタ群が所定の形式で配列されたカラーフィルタと、前記カラーフィルタが受光面上に設けられた撮像素子とを有し、前記カラーフィルタを介した入射光に対応する画像データを生成し、一フレーム毎に、当該画像データを前記キーブロック及び前記非キーブロックに振り分ける撮像部を備え、
前記復号部は、
前記非キーブロックに含まれる各画素を前記複数のフィルタ群のグループに応じてグループ分けし、当該グループ毎に前記繰り返し復号を実施する
ことを特徴とする請求項1~9のいずれか一つに記載の復号装置。 - 前記撮像デバイスは、
透過させる光の波長帯域に応じてグループ分けされた複数のフィルタ群が所定の形式で配列されたカラーフィルタと、前記カラーフィルタが受光面上に設けられた撮像素子とを有し、前記カラーフィルタを介した入射光に対応する画像データを生成し、一フレーム毎に、当該画像データを前記キーブロック及び前記非キーブロックに振り分ける撮像部を備え、
前記特性情報記憶部は、
前記複数のフィルタ群のグループ毎の複数の前記特性情報を記憶し、
前記復号部は、
前記非キーブロックに含まれる各画素を前記複数のフィルタ群のグループに応じてグループ分けし、前記繰り返し復号を実施する際、当該グループ毎に、前記特性情報記憶部に記憶された前記複数の特性情報のうち当該グループに対応する特性情報を用いる
ことを特徴とする請求項1~10のいずれか一つに記載の復号装置。 - 被写体を撮像することにより生成した画像データを符号化して送信する撮像デバイスと、符号化された前記画像データを受信して復号する復号装置とを備えた撮像システムにおいて、
前記撮像デバイスは、
入射光に対応する画像データを生成し、一フレーム毎に、当該画像データをキーブロック及び非キーブロックに振り分ける撮像部と、
前記非キーブロックの少なくとも一部に対して符号化処理を施す符号化部と、
前記キーブロック、及び前記少なくとも一部に符号化処理が施された非キーブロックを送信する送信部とを備え、
前記復号装置は、
前記キーブロック、及び前記少なくとも一部に符号化処理が施された非キーブロックを受信する受信部と、
フレーム内の各色毎の画素値相関特性に関する特性情報を記憶する特性情報記憶部と、
前記少なくとも一部に符号化処理が施された非キーブロックから得られる第1対数尤度比と、前記キーブロック、及び前記特性情報記憶部に記憶された前記特性情報から得られる第2対数尤度比とに基づいて、確率伝播法による繰り返し復号を実施し、前記符号化処理前の非キーブロックを推定する復号部とを備える
ことを特徴とする撮像システム。 - 前記符号化処理は、
パリティ検査行列を用いたシンドローム符号化である
ことを特徴とする請求項12に記載の撮像システム。 - 前記撮像部は、
透過させる光の波長帯域に応じてグループ分けされた複数のフィルタ群が所定の形式で配列されたカラーフィルタと、
前記カラーフィルタが受光面上に設けられた撮像素子とを備え、
前記符号化部は、
前記非キーブロックに含まれる各画素を前記複数のフィルタ群のグループに応じてグループ分けし、当該グループ毎に、当該グループの少なくとも一部に対して、符号化演算行列を用いて前記符号化処理を施し、
前記グループ分けされた複数のグループのうち少なくとも一つのグループに対して用いられる前記符号化演算行列は、
他のグループに対して用いられる前記符号化演算行列とは異なる
ことを特徴とする請求項12または13に記載の撮像システム。 - 前記撮像デバイスは、
被検体内に導入可能とするカプセル型内視鏡である
ことを特徴とする請求項12~14のいずれか一つに記載の撮像システム。 - 撮像デバイスにて符号化された画像データを復号する復号装置が実行する復号方法において、
前記撮像デバイスにて生成された一フレームの画像データの一部を構成するキーブロック、及び前記撮像デバイスにて生成された一フレームの画像データの一部を構成するとともに少なくとも一部に符号化処理が施された非キーブロックを取得するデータ取得ステップと、
前記少なくとも一部に符号化処理が施された非キーブロックから得られる第1対数尤度比と、前記キーブロック、及びフレーム内の画素値相関特性に関する特性情報から得られる第2対数尤度比とに基づいて、確率伝播法による繰り返し復号を実施し、前記符号化処理前の非キーブロックを推定する復号ステップとを有する
ことを特徴とする復号方法。 - 被写体を撮像することにより生成した画像データを符号化して送信する撮像デバイスと、符号化された前記画像データを受信して復号する復号装置とを備えた撮像システムが行う符号化復号方法において、
前記撮像デバイスが、
入射光に対応する画像データを生成し、一フレーム毎に、当該画像データをキーブロック及び非キーブロックに振り分ける振り分けステップと、
前記非キーブロックの少なくとも一部に対して符号化処理を施す符号化ステップと、
前記キーブロック、及び前記少なくとも一部に符号化処理が施された非キーブロックを送信する送信ステップとを実行し、
前記復号装置が、
前記キーブロック、及び前記少なくとも一部に符号化処理が施された非キーブロックを受信する受信ステップと、
前記少なくとも一部に符号化処理が施された非キーブロックから得られる第1対数尤度比と、前記キーブロック、及びフレーム内の各色毎の画素値相関特性に関する特性情報から得られる第2対数尤度比とに基づいて、確率伝播法による繰り返し復号を実施し、前記符号化処理前の非キーブロックを推定する復号ステップとを実行する
ことを特徴とする符号化復号方法。 - 請求項16に記載の復号方法を復号装置に実行させる
ことを特徴とする復号プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201580000903.2A CN105874718A (zh) | 2014-09-03 | 2015-03-18 | 解码装置、摄像系统、解码方法、编解码方法以及解码程序 |
| JP2015534704A JP5806790B1 (ja) | 2014-09-03 | 2015-03-18 | 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム |
| US14/992,485 US20160113480A1 (en) | 2014-09-03 | 2016-01-11 | Decoding device, imaging system, decoding method, coding/decoding method, and computer-readable recording medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-179366 | 2014-09-03 | ||
| JP2014179366 | 2014-09-03 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US14/992,485 Continuation US20160113480A1 (en) | 2014-09-03 | 2016-01-11 | Decoding device, imaging system, decoding method, coding/decoding method, and computer-readable recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016035368A1 true WO2016035368A1 (ja) | 2016-03-10 |
Family
ID=55439443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/058131 WO2016035368A1 (ja) | 2014-09-03 | 2015-03-18 | 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20160113480A1 (ja) |
| CN (1) | CN105874718A (ja) |
| WO (1) | WO2016035368A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190114592A (ko) * | 2018-03-30 | 2019-10-10 | 서울과학기술대학교 산학협력단 | 다중 영상 스트림의 채널 디코딩 방법 및 장치 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6589071B2 (ja) * | 2016-12-28 | 2019-10-09 | オリンパス株式会社 | 撮像装置、内視鏡および内視鏡システム |
| CN109788290A (zh) * | 2017-11-13 | 2019-05-21 | 慧荣科技股份有限公司 | 影像处理装置及利用帧内预测的无损影像压缩方法 |
| CN110327046B (zh) * | 2019-04-28 | 2022-03-25 | 安翰科技(武汉)股份有限公司 | 一种基于摄像系统的消化道内物体测量方法 |
| WO2021064882A1 (ja) * | 2019-10-02 | 2021-04-08 | オリンパス株式会社 | 受信システム |
| CN111669589B (zh) * | 2020-06-23 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 图像编码方法、装置、计算机设备以及存储介质 |
| CN112188200A (zh) * | 2020-09-30 | 2021-01-05 | 深圳壹账通智能科技有限公司 | 一种图像处理方法、装置、设备及储存介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011098089A (ja) * | 2009-11-06 | 2011-05-19 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び信号分離方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4594688B2 (ja) * | 2004-06-29 | 2010-12-08 | オリンパス株式会社 | 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化/復号化システム、拡張画像圧縮伸張処理システム |
| CN100571389C (zh) * | 2004-06-29 | 2009-12-16 | 奥林巴斯株式会社 | 用于图像编码/解码和扩展图像压缩解压缩的方法和设备 |
| JP4769039B2 (ja) * | 2005-07-26 | 2011-09-07 | パナソニック株式会社 | デジタル信号符号化および復号化装置ならびにその方法 |
| AU2007237289A1 (en) * | 2007-11-30 | 2009-06-18 | Canon Kabushiki Kaisha | Improvement for wyner ziv coding |
| JP5530198B2 (ja) * | 2009-11-20 | 2014-06-25 | パナソニック株式会社 | 画像符号化方法、復号化方法、装置 |
| CN103826122B (zh) * | 2013-10-25 | 2017-02-15 | 广东工业大学 | 一种复杂度均衡的视频编码方法及其解码方法 |
-
2015
- 2015-03-18 CN CN201580000903.2A patent/CN105874718A/zh active Pending
- 2015-03-18 WO PCT/JP2015/058131 patent/WO2016035368A1/ja active Application Filing
-
2016
- 2016-01-11 US US14/992,485 patent/US20160113480A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011098089A (ja) * | 2009-11-06 | 2011-05-19 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び信号分離方法 |
Non-Patent Citations (3)
| Title |
|---|
| KEN'ICHI TAKIZAWA ET AL.: "A Study on Wireless Video Transmission from an Implanted Device", IEICE TECHNICAL REPORT, vol. 110, no. 222, 30 September 2010 (2010-09-30), pages 13 - 18 * |
| KEN'ICHI TAKIZAWA ET AL.: "Energy-efficient Compression Coding for Capsule Endoscopy Images based on Distributed Video Coding", 2013 NEN THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS SOGO TAIKAI KOEN RONBUNSHU TSUSHIN 1, 5 March 2013 (2013-03-05), pages S-5, S-6 * |
| KEN'ICHI TAKIZAWA ET AL.: "Wireless Video Transmission from an Implanted Devices using MICS", 2007 NEN IEICE COMMUNICATIONS SOCIETY CONFERENCE KOEN RONBUNSHU 2, 29 August 2007 (2007-08-29), pages 183 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190114592A (ko) * | 2018-03-30 | 2019-10-10 | 서울과학기술대학교 산학협력단 | 다중 영상 스트림의 채널 디코딩 방법 및 장치 |
| KR102032875B1 (ko) * | 2018-03-30 | 2019-10-16 | 서울과학기술대학교 산학협력단 | 다중 영상 스트림의 채널 디코딩 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160113480A1 (en) | 2016-04-28 |
| CN105874718A (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016035368A1 (ja) | 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム | |
| US12058341B1 (en) | Frequency component selection for image compression | |
| US10462484B2 (en) | Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus | |
| US20130266078A1 (en) | Method and device for correlation channel estimation | |
| CN101039374B (zh) | 一种图像无损压缩方法 | |
| EP2433367B1 (en) | Method for variable length coding and apparatus | |
| Fante et al. | Design and implementation of computationally efficient image compressor for wireless capsule endoscopy | |
| KR20080046227A (ko) | 무선 통신 채널을 통해 비압축 영상 전송하기 위한 데이터분할, 부호화 방법 및 시스템 | |
| US20130251257A1 (en) | Image encoding device and image encoding method | |
| KR101225082B1 (ko) | 비압축 aⅴ 데이터를 송수신하는 장치 및 방법 | |
| JP2014533466A (ja) | 超低レイテンシー映像通信 | |
| JP5610709B2 (ja) | エラー訂正用データの生成装置、及び生成方法 | |
| TWI458272B (zh) | 正交多重描述寫碼 | |
| US20170064312A1 (en) | Image encoder, image decoder, and image transmission device | |
| JP5806790B1 (ja) | 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム | |
| JP5548054B2 (ja) | 電子内視鏡装置 | |
| JP2009141617A (ja) | 撮像システム | |
| JP5876201B1 (ja) | 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム | |
| WO2012029398A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 | |
| US10194219B2 (en) | Method and device for mapping a data stream into an SDI channel | |
| JP7558938B2 (ja) | 送信装置、送信方法、受信装置、受信方法、および送受信装置 | |
| JP2013005204A (ja) | ビデオ送信装置、ビデオ受信装置、およびビデオ送信方法 | |
| JP2014143655A (ja) | 画像符号化装置及び画像復号化装置並びにプログラム | |
| Kim et al. | Very low complexity low rate image coding for the wireless endoscope | |
| Imtiaz et al. | Mitigating Transmission Errors: A Forward Error Correction-Based Framework for Enhancing Objective Video Quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2015534704 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15838462 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| REEP | Request for entry into the european phase |
Ref document number: 2015838462 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2015838462 Country of ref document: EP |