+

WO2018180510A1 - 撮像素子、並びに、撮像装置および方法 - Google Patents

撮像素子、並びに、撮像装置および方法 Download PDF

Info

Publication number
WO2018180510A1
WO2018180510A1 PCT/JP2018/010080 JP2018010080W WO2018180510A1 WO 2018180510 A1 WO2018180510 A1 WO 2018180510A1 JP 2018010080 W JP2018010080 W JP 2018010080W WO 2018180510 A1 WO2018180510 A1 WO 2018180510A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
code
encoded data
encoded
Prior art date
Application number
PCT/JP2018/010080
Other languages
English (en)
French (fr)
Inventor
利昇 井原
武文 名雲
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/483,920 priority Critical patent/US20190394495A1/en
Priority to CN201880019504.4A priority patent/CN110447222B/zh
Priority to JP2019509230A priority patent/JP7176511B2/ja
Publication of WO2018180510A1 publication Critical patent/WO2018180510A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Definitions

  • the present disclosure relates to an imaging element, and an imaging apparatus and method, and more particularly, to an imaging element, an imaging apparatus, and a method that enable image data to be fixed-length compressed while avoiding the generation of a forbidden code.
  • a semiconductor substrate on which a light receiving portion for photoelectrically converting incident light is formed is sealed and modularized as an image sensor (image sensor).
  • Such a modularized imaging device photoelectrically converts incident light, generates image data, outputs the image data in an uncompressed state (for example, as RAW data), and transmits it to the main board.
  • Patent Document 1 A technique for reducing the output interface bandwidth by image compression in such a stacked image sensor has been proposed (see Patent Document 1).
  • the present disclosure has been made in view of such a situation, and in particular, enables image data to be fixed-length compressed while avoiding the generation of prohibited codes.
  • An imaging device includes a light receiving unit that receives incident light and performs photoelectric conversion, and image data obtained in the light receiving unit, wherein the same code is continuously disposed more than a predetermined number.
  • the image sensor includes a compression unit that compresses the encoded data to include encoded data.
  • the compression unit compresses the image data, adds dummy bits, and compresses the encoded data into encoded data that does not include the forbidden code in which the same code is continuously arranged more than a predetermined number. Can do.
  • the image data may be a set of pixel data obtained in each unit pixel of the light receiving unit, and the compression unit performs Golomb encoding of a difference value between the pixel data and adds the dummy bit.
  • the image data can be compressed into encoded data that does not include the prohibition code.
  • the compression unit may compress the image data at a fixed compression rate, add the dummy bits, and compress the encoded data to include encoded data that does not include the prohibited code.
  • the image data may be a set of pixel data obtained in each unit pixel of the light receiving unit, and the compression unit is based on the encoded data encoded immediately before of the pixel data, Encoding that does not include the forbidden code, either by Golomb encoding of the difference value between the pixel data, or inverted Golomb encoding that encodes the difference value between the pixel data into an inverted code for the Golomb encoding
  • the data can be compressed.
  • the compression unit includes the pixel data based on a value of a predetermined bit of the encoded data encoded immediately before the pixel data, either by the Golomb encoding or the inverted Golomb encoding. Can be compressed into encoded data that does not include the forbidden code.
  • the predetermined bit may be LSB (Least Significant Bit) or MSB (Most Significant Bit).
  • the compression unit encodes the difference value between the immediately preceding pixel data to the Golomb encoding.
  • the Golomb encoding is performed so that the encoded data does not include the prohibited code. Can be.
  • the forbidden code may be a code in which 1 or 0 included in the encoded data continues more than a predetermined number.
  • An imaging method of an imaging device includes a prohibition code in which image data obtained in a light receiving unit that receives incident light and performs photoelectric conversion includes a predetermined number of consecutive codes.
  • An image pickup method of an image pickup device including a step of compressing into encoded data having no encoding.
  • An imaging apparatus includes a light receiving unit that receives incident light and performs photoelectric conversion, and image data obtained in the light receiving unit, wherein the same code is continuously arranged more than a predetermined number.
  • An image sensor that includes a compression unit that compresses the encoded data to include encoded data, and a decompression unit that decompresses the encoded data output from the image sensor and obtained by compressing the image data by the compression unit. It is an imaging device provided.
  • the compression unit compresses the image data, adds dummy bits, and compresses the encoded data into encoded data that does not include the forbidden code in which the same code is continuously arranged more than a predetermined number. Can do.
  • the image data may be a set of pixel data obtained in each unit pixel of the light receiving unit, and the compression unit performs Golomb encoding of a difference value between the pixel data and adds the dummy bit.
  • the image data can be compressed into encoded data that does not include the prohibition code.
  • the compression unit may compress the image data at a fixed compression rate, add the dummy bits, and compress the encoded data to include encoded data that does not include the prohibited code.
  • the image data may be a set of pixel data obtained in each unit pixel of the light receiving unit, and the compression unit may include the pixel data based on pixel data encoded immediately before the pixel data. Encoded data that does not include the forbidden code by either Golomb encoding of the difference value between the pixel data or inverted Golomb encoding that encodes the difference value between the pixel data into an inverted code for the Golomb encoding. Can be compressed.
  • the compression unit based on the value of a predetermined bit of the pixel data encoded immediately before the pixel data, either the Golomb encoding or the inverted Golomb encoding can be used to store the pixel data.
  • the difference value can be compressed into encoded data that does not include the forbidden code.
  • the predetermined bit may be LSB (Least Significant Bit) or MSB (Most Significant Bit).
  • the compression unit encodes the difference value between the immediately preceding pixel data to the Golomb encoding.
  • the Golomb encoding is performed so that the encoded data does not include the prohibited code. Can be.
  • the forbidden code may be a code in which 1 or 0 included in the encoded data continues more than a predetermined number.
  • a light receiving unit that receives incident light and performs photoelectric conversion, and image data obtained in the light receiving unit are continuously arranged with a predetermined number greater than a predetermined number.
  • An image pickup apparatus including a step of decompressing the encoded data obtained by compressing the image data by the compression unit, which is output from an image pickup device including a compression unit that compresses the encoded data into encoded data that does not include the prohibited code. This is an imaging method.
  • incident light is received and photoelectrically converted, and the image data obtained by the photoelectric conversion does not include a prohibition code in which more than a predetermined number of identical codes are continuously arranged Compressed into data.
  • extension part of FIG. 6 is a flowchart for describing imaging processing by the imaging device of the present disclosure. It is a flowchart explaining the compression process of FIG. It is a flowchart explaining the Golomb encoding process of FIG. It is a figure explaining the Golomb encoding process of FIG. 6 is a flowchart for describing image processing of the image processing apparatus according to the present disclosure.
  • FIG. 10 is a flowchart illustrating the decompression process of FIG. 9. It is a figure which shows the structural example of 2nd Embodiment of the compression part of FIG. It is a figure explaining the reverse Golomb encoding process of FIG. It is a figure explaining the reverse Golomb encoding process of FIG. It is a figure which shows the structural example of 2nd Embodiment of the expansion
  • FIG. 1 is a block diagram illustrating a main configuration example of an image sensor to which the present technology is applied.
  • An image sensor 100 shown in FIG. 1 is an image sensor that images a subject, obtains digital data (image data) of a captured image, and outputs the image data.
  • the image pickup device 100 is an arbitrary image sensor, and may be, for example, an image sensor using a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor 100 includes a semiconductor substrate 101 indicated by a diagonal pattern and a semiconductor substrate 102 indicated by white.
  • the semiconductor substrate 101 and the semiconductor substrate 102 are sealed and overlapped as shown in FIG. 1B to be modularized (integrated).
  • the semiconductor substrate 101 and the semiconductor substrate 102 form a multilayer structure (laminated structure).
  • the circuit formed on the semiconductor substrate 101 and the circuit formed on the semiconductor substrate 102 are connected to each other by vias (VIA) or the like.
  • the imaging device 100 is a module (also referred to as an LSI (Large Scale Integration) chip) in which the semiconductor substrate 101 and the semiconductor substrate 102 are integrated so as to form a multilayer structure.
  • the imaging device 100 can realize mounting of a larger scale circuit without increasing the size of the semiconductor substrate. . That is, the imaging device 100 can mount a larger circuit while suppressing an increase in cost.
  • a light receiving portion 111 and an A / D conversion portion 112 are formed on a semiconductor substrate 101.
  • a compression unit 113, an interface processing unit 114, and an output unit 115 are formed on the semiconductor substrate 102.
  • the light receiving unit 111 receives incident light and performs photoelectric conversion.
  • the light receiving unit 111 includes a plurality of unit pixels each including a photoelectric conversion element such as a photodiode. In each unit pixel, charges corresponding to incident light are accumulated by photoelectric conversion.
  • the light receiving unit 111 supplies the electric charge accumulated in each unit pixel to the A / D conversion unit 112 as an electric signal (pixel signal).
  • the A / D conversion unit 112 A / D converts each pixel signal supplied from the light receiving unit 111 to generate pixel data of digital data.
  • the A / D conversion unit 112 supplies the set of pixel data of each unit pixel generated in this way to the compression unit 113 as image data. That is, RAW data before demosaic processing is supplied to the compression unit 113.
  • the compression unit 113 generates encoded data by compressing the image data (RAW data) supplied from the A / D conversion unit 112 by a predetermined method.
  • the amount of encoded data is smaller than the image data before compression. That is, the compression unit 113 reduces the amount of image data.
  • the compression unit 113 is mounted on the image sensor 100. That is, the compression unit 113 is realized as a circuit built in the image sensor 100 or software executed inside the image sensor 100. Therefore, the compression method by the compression unit 113 is basically arbitrary, but it must be mountable on the image sensor 100 (in the module) as described above.
  • image data compression methods include JPEG (Joint Photographic Experts Group) and MPEG (Moving Picture Experts Group). These compression methods are sophisticated, the processing is complicated, the circuit scale is large, and the manufacturing cost of the image sensor 100 is likely to increase. For this reason, it is generally difficult to implement such advanced compression methods on the image sensor 100 as a circuit or software. Even if it is implemented, there may be cases where the processing time (the number of clocks) is long and the delay time tends to increase, and the encoding process is not practical, such as not being in time for the frame rate. Further, there may be a case where the compression rate is the best effort and does not contribute to the reduction of the number of pins or the bus bandwidth.
  • JPEG Joint Photographic Experts Group
  • MPEG Motion Picture Experts Group
  • the compression unit 113 has a simpler process and a shorter processing time (number of clocks) than an advanced compression method such as JPEG or MPEG, and at least the image sensor 100 (in the module, in particular, the light receiving unit 111).
  • the image data is compressed by a method that can be mounted on a semiconductor substrate 101 having a stacked structure and a semiconductor substrate 102 having a stacked structure.
  • such compression is also referred to as simple compression. That is, the compression unit 113 generates encoded data by simply compressing the image data (RAW data) supplied from the A / D conversion unit 112.
  • the specific compression method of this simple compression is basically arbitrary as long as the above-described conditions are satisfied. For example, a reversible method or an irreversible method may be used. However, generally, when the semiconductor substrate 102 is enlarged, the cost increases. Further, the delay time increases as the processing time (number of clocks) increases. Therefore, it is desirable to apply a method with simpler processing and shorter processing time to this simple compression.
  • the A / D conversion unit 112 arranges pixel data (image data) of each unit pixel in a predetermined order in a one-dimensional form (as a pixel data string) and supplies the compressed data to the compression unit 113.
  • a method capable of sequentially compressing the image data (pixel data string) supplied from the A / D conversion unit 112 without buffering as much as possible For example, a compression method using DPCM (Differential Pulse CodeulModulation) or a compression method using one-dimensional DCT (Discrete Cosine Transform) can be applied to simple compression.
  • DPCM Different Pulse CodeulModulation
  • one-dimensional DCT Discrete Cosine Transform
  • the image sensor 100 can be mounted at a low cost, can operate at a high speed so that the delay time is within an allowable range, and a sufficient compression rate can be obtained.
  • An advanced compression method such as MPEG or MPEG may be applied as the compression method of the compression unit 113.
  • the compression unit 113 supplies the encoded data obtained by simply compressing the image data to the interface processing unit 114.
  • the interface processing unit 114 converts the encoded data into a format corresponding to an I / O cell, an I / O pin, or the like used for output, and outputs it to the output unit 115.
  • the output unit 115 includes, for example, an I / O cell, an I / O pin, and the like, and outputs encoded data supplied from the compression unit 113 via the interface processing unit 114 to the outside of the image sensor 100.
  • the encoded data output from the output unit 115 is supplied to the input unit 131 of the image processing apparatus 130 via the bus 121.
  • the image processing apparatus 130 is an apparatus that performs image processing on image data obtained by the image sensor 100. As illustrated in FIG. 1A, the image processing apparatus 130 includes an input unit 131, an interface processing unit 132, and an expansion unit 133.
  • the input unit 131 receives encoded data transmitted from the image sensor 100 (output unit 115) via the bus 121.
  • the input unit 131 supplies the acquired encoded data to the interface processing unit 132.
  • the interface processing unit 132 has a configuration corresponding to the interface processing unit 114, and returns the encoded data converted into a format corresponding to the I / O cell, I / O pin, etc. to the original format and supplies it to the decompression unit 133. To do.
  • the decompression unit 133 decompresses the encoded data supplied from the input unit 131 via the interface processing unit 132 by a method corresponding to the compression method of the compression unit 113, and restores the image data. That is, the decompression unit 133 decompresses the encoded data supplied from the input unit 131 via the interface processing unit 132 by a method corresponding to the simple compression by the compression unit 113, and restores the image data.
  • the restored image data is subjected to image processing, storage, or image display, for example, by the image processing device 130 or the like.
  • the image sensor 100 compresses the image data obtained in the light receiving unit 111 in the module (in the LSI chip), and outputs the compressed data. Accordingly, since the bandwidth necessary for transmitting image data (encoded data) of the bus 121 is reduced, the image pickup device 100 can transfer a larger amount of data without changing the bandwidth of the bus 121. It can output at high speed. That is, the image sensor 100 can output a larger amount of data at a higher speed without increasing the number of I / O cells and I / O pins of the output unit 115, that is, without increasing the cost. it can.
  • the imaging device 100 can suppress the influence of the bandwidth limitation of the bus 121, and without increasing the cost (without increasing the number of I / O cells and I / O pins of the output unit 115). ), High-resolution images, high-speed processing from still image capturing to recording, continuous shooting and continuous shooting speed, moving image frame rate, moving image and still image capturing, etc. Imaging performance can be improved.
  • FIG. 2 is a block diagram illustrating a main configuration example of the compression unit 113 of FIG.
  • the compression unit 113 includes a DPCM processing unit 141, a Golomb encoding unit 142, and a compression rate adjustment unit 143.
  • the DPCM processing unit 141 calculates a difference value (hereinafter also referred to as a residual) between consecutive pixel data of the image data (pixel data sequence arranged in one dimension) supplied from the A / D conversion unit 112. .
  • the DPCM processing unit 141 supplies the calculated difference values to the Golomb encoding unit 142.
  • the Golomb encoding unit 142 encodes each difference value supplied from the DPCM processing unit 141 into a Golomb code.
  • the Golomb encoding unit 142 supplies the Golomb code (encoded data) to the compression rate adjustment unit 143.
  • the compression rate adjusting unit 143 adjusts the compression rate of the encoded data supplied from the Golomb encoding unit 142 and converts it to a predetermined compression rate.
  • encoded data obtained by compressing the image data obtained in the light receiving unit 111 at a predetermined compression rate is obtained.
  • the compression rate can be variable, it is desirable that the compression rate is fixed because the maximum transmittable bandwidth of the bus 121 is fixed by hardware factors.
  • the compression rate adjustment unit 143 outputs the encoded data whose compression rate has been adjusted to the dummy bit insertion unit 144.
  • the compression unit 113 can simply compress image data (RAW data).
  • a two-dimensional discrete cosine transform may be used, but the two-dimensional discrete cosine transform is more complicated than the one-dimensional discrete cosine transform, and the circuit The scale may increase.
  • the dummy bit insertion unit 144 inserts dummy bits for generating encoded data with simple compression of a fixed length while suppressing the generation of prohibited codes.
  • Forbidden codes are binary codes that are, for example, codes in which 0 continues beyond a predetermined number included in encoded data, and codes in which 1 continues beyond a predetermined number. Therefore, in the encoded data not including the prohibition code, the codes of 0 or 1 are continuously arranged only in a number smaller than the predetermined number.
  • the dummy bit insertion unit 144 inserts dummy bits into the encoded data so as not to generate such a prohibition code, and outputs it to the interface processing unit 114.
  • the prohibition code is, for example, a code in which MSB (Most Significant Bit) to LSB (Least Significant Bit) shown in cycle 1 are all 1 or 0.
  • MSB Mobile Bit
  • LSB Large Significant Bit
  • 1 or 0 is a predetermined number in succession.
  • a code that continues eight or more times or a code that continues nine times may be defined as a prohibited code.
  • data of 8 pixels are represented as image data of 1 cycle for 1 pixel as cycles 1 to 8 in the horizontal direction in the drawing, and the pixel data of each pixel is shown in FIG. It is represented by 10 bits LSB to MSB in the vertical direction. Each value is “x”, which is either 0 or 1.
  • the dummy bit insertion unit 144 inserts a dummy bit composed of the inverted value of the sign of bit 0 in the encoded data shown in the central part of FIG. In FIG. 3, both are represented by values consisting of “y”. That is, in FIG. 3, the bit value “y” of the LSB is an inverted code of the code represented by “x” of bit 1.
  • the bit position into which the dummy bit is inserted is not limited to the LSB as long as it is ensured that the prohibition code is not generated, and may be another bit position, for example, the MSB.
  • FIG. 4 is a block diagram illustrating a main configuration example of the decompression unit 133.
  • the decompression unit 133 decompresses the encoded data by a method corresponding to the compression unit 113 in the example of FIG.
  • the decompression unit 133 in this case includes a dummy bit removal unit 151, a compression rate inverse adjustment unit 152, a Golomb decoding unit 153, and an inverse DPCM processing unit 154.
  • the dummy bit removing unit 151 removes the dummy bits inserted in the encoded data supplied from the input unit 131 and supplies the dummy bit to the compression rate reverse adjustment unit 152.
  • the compression rate reverse adjustment unit 152 performs the reverse process of the compression rate adjustment unit 143 on the encoded data from which the dummy bits supplied from the dummy bit removal unit 151 are removed, and the Golomb encoding unit 142 generates The Golomb code is restored.
  • the compression rate inverse adjustment unit 152 supplies the restored Golomb code to the Golomb decoding unit 153.
  • the Golomb decoding unit 153 decodes the Golomb code supplied from the compression rate reverse adjustment unit 152 by a method corresponding to the encoding method of the Golomb encoding unit 142, and the difference value (residual) generated by the DPCM processing unit 141 To restore.
  • the Golomb decoding unit 153 supplies the restored difference value (residual) to the inverse DPCM processing unit 154.
  • the inverse DPCM processing unit 154 performs inverse DPCM processing (DPCM inverse processing performed by the DPCM processing unit 141) on the difference value (residual) supplied from the Golomb decoding unit 153 to restore each pixel data.
  • the inverse DPCM processing unit 154 outputs the restored set of pixel data to the outside of the decompression unit 133 as image data.
  • the decompression unit 133 can correctly decode the encoded data generated by the compression unit 113. That is, the decompression unit 133 can realize simple compression of image data (RAW data).
  • Imaging processing executed by the imaging device 100 of FIG. 1 will be described with reference to the flowchart of FIG.
  • This imaging process is executed when the image sensor 100 captures an image of a subject and obtains image data of the image of the subject.
  • step S101 the light receiving unit 111 photoelectrically converts incident light in each unit pixel in the effective pixel region.
  • step S102 the A / D converter 112 performs A / D conversion on the pixel signals (analog data) of each unit pixel obtained by the processing in step S101.
  • step S103 the compression unit 113 performs compression processing, and generates encoded data by compressing image data that is a set of pixel data of digital data obtained by the processing in step S102. Details of the compression processing will be described later with reference to FIG.
  • step S104 the interface processing unit 114 performs interface processing on the encoded data, converts the encoded data into a format suitable for transmission, and outputs the converted data to the output unit 115.
  • step S105 the output unit 115 outputs the encoded data subjected to the interface process obtained by the process of step S104 to the outside (bus 121) of the image sensor 100.
  • step S105 When the process of step S105 is finished, the imaging process is finished.
  • the DPCM processing unit 141 in FIG. 2 performs a DPCM process for obtaining a difference value between pixel data having a continuous processing order on the image data in step S121.
  • step S122 the Golomb coding unit 142 performs Golomb coding processing, and Golomb coding is performed using each difference value (residual) obtained by the processing in Step S121.
  • step S131 the Golomb encoding unit 142 initializes an identifier i for identifying a pixel to 1 for data of a difference value (residual) for each pixel obtained by the DPCM process.
  • step S132 the Golomb encoding unit 142 reads the pixel difference value (residual) of the pixel i to be processed, which is obtained by the DPCM process.
  • step S133 the Golomb encoding unit 142 performs Golomb encoding corresponding to the difference value (residual).
  • the Golomb encoding unit 142 changes the Golomb code (VLC) to “1” with a word length of 1. Encode.
  • the Golomb encoding unit 142 encodes the Golomb code (VLC) into “010” having a word length of 3. Similarly, when the difference value (residual) is 2, the Golomb encoding unit 142 sets the Golomb code (VLC) to “00100” with a word length of 5 and the difference value (residual) of 3.
  • the Golomb code (VLC) is “00110” with a word length of 5 and the difference value (residual) is 4, the Golomb code (VLC) is set to “0001000” with a word length of 7 When (residual) is 5, the Golomb code (VLC) is set to “0001010” with a word length of 7, and when the difference value (residual) is 6, the Golomb code (VLC) is set to 7 When the difference value (residual) is 7, the Golomb code (VLC) is encoded into “0001110” having a word length of 7, respectively.
  • the Golomb encoding unit 142 sets the Golomb code (VLC) to “011” having a word length of 3 and the difference value (residual) to ⁇ 2. If the Golomb code (VLC) is “00101” with a word length of 5 and the difference value (residual) is ⁇ 3, the Golomb code (VLC) is changed to “00111” with a word length of 5. When the value (residual) is ⁇ 4, the Golomb code (VLC) is changed to “0001001” with a word length of 7, and when the difference value (residual) is ⁇ 5, the Golomb code (VLC) is changed to the word.
  • the Golomb code (VLC) is “0001101” and the difference value (residual) is ⁇ 7.
  • the Golomb code (VLC) is encoded into “0001111” having a word length of 7, respectively.
  • encoded data having a difference value (residual) larger than 8 and encoded data smaller than ⁇ 8 are omitted.
  • step S134 the Golomb encoding unit 142 determines whether or not the identifier i is the pixel number N. If the identifier i is not the pixel number N, the process proceeds to step S135.
  • step S135 the Golomb encoding unit 142 increments the identifier i by 1, and the process returns to step S132. That is, the processing of steps S132 to S135 is repeated until all the pixels are converted into Golomb codes corresponding to the difference values (residuals).
  • step S134 If it is determined in step S134 that the identifier i is the number of pixels N, the process ends.
  • step S123 the compression rate adjustment unit 143 adjusts the compression rate of the encoded data, for example, by adding data to the Golomb code obtained by the processing in step S122.
  • step S123 When the encoded data having a predetermined compression rate is obtained for the image data input to the compression unit 113 by the process of step S123, the process proceeds to step S124.
  • step S124 the dummy bit insertion unit 144 inserts dummy bits into the encoded data. That is, the dummy bit insertion unit 144 generates an inverted code of the LSB of the encoded data as a dummy bit and inserts it as a new LSB. By this processing, the generation of the prohibition code is suppressed in the encoded data. With the above processing, the compression processing ends, and the processing returns to FIG.
  • the image sensor 100 can compress a larger amount of data at a higher speed at a fixed speed without increasing the cost, thereby improving the imaging performance.
  • This image processing is executed when the image processing apparatus 130 processes the encoded data output from the image sensor 100.
  • the input unit 131 of the image processing apparatus 130 receives encoded data output from the image sensor 100 and transmitted via the bus 121 in step S141.
  • step S142 the interface processing unit 132 executes interface processing, and the encoded data received by the processing in step S141 is converted into a format corresponding to an I / O cell, an I / O pin, or the like. Then, the data is supplied to the extension unit 133.
  • step S143 the decompression unit 133 performs decompression processing, decompresses the encoded data received by the processing in step S141, and generates image data.
  • step S144 the image processing apparatus 130 performs image processing on the image data obtained by the processing in step S143.
  • the image processing ends.
  • step S161 the dummy bit removing unit 151 removes the dummy bits inserted into the LSB of the encoded data, and converts the encoded data from which the dummy bits are removed into the compression rate inverse adjusting unit 152. To supply.
  • step S162 the compression rate reverse adjustment unit 152 performs reverse adjustment of the compression rate of the encoded data (that is, reverse processing of step S123 in FIG. 6), thereby obtaining the Golomb code before adjusting the compression rate. Restore.
  • step S163 the Golomb decoding unit 153 decodes each Golomb code obtained by the process in Step S162, and restores a difference value (residual) between the pixel data.
  • step S164 the inverse DPCM processing unit 154 performs a DPCM inverse process (that is, an inverse process of the process of step S121 in FIG. 6) using the difference value (residual) obtained by the process of step S163. That is, the inverse DPCM processing unit 154 restores the pixel data of each unit pixel, for example, by adding the difference values.
  • a DPCM inverse process that is, an inverse process of the process of step S121 in FIG. 6
  • the difference value residual
  • step S164 When the image data is obtained by the process of step S164, the decompression process ends, and the process returns to FIG.
  • the image processing apparatus 130 can appropriately decode the encoded data output from the image sensor 100. That is, the image processing apparatus 130 can improve the imaging performance of the imaging device 100 without increasing the cost.
  • the dummy bit insertion unit 144 is provided in the compression unit 113 and the dummy bit removal unit 151 is provided in the decompression unit 133.
  • the dummy bit insertion unit 144 is not included in the compression unit 113.
  • the interface processing unit 114 may be provided, and the dummy bit removing unit 151 may be provided in the interface processing unit 132 instead of the decompression unit 133.
  • the compression unit 113 and the expansion unit 133 can be used in the conventional configuration. .
  • Second Embodiment> In the above, an example has been described in which dummy bits are inserted into encoded data and fixed-length compression is performed while suppressing the generation of prohibition codes, but in order to suppress the generation of prohibition codes, dummy bits are essential. As a result, the compression rate is reduced. Therefore, the generation of the prohibited code may be suppressed by the compression algorithm itself.
  • the compression unit 113 of FIG. 11 differs from the compression unit 113 of FIG. 2 in that an inverted Golomb encoding unit 171 is provided instead of the Golomb encoding unit 142, and the dummy bit insertion unit 144 is deleted. .
  • the inversion Golomb encoding unit 171 encodes each difference value (residual) supplied from the DPCM processing unit 141 into Golomb code (Golomb Coding) according to the LSB value of the previous Golomb encoding. Encoding is performed by inverting 0 or 1 of the encoding result.
  • the Golomb encoding unit 142 converts image data into encoded data
  • the state where the difference value (residual) is 0 continues, “1” continues in the encoded data.
  • a forbidden code may be generated.
  • the state where the difference value (residual) is 32 continues, “0000001000000”, “0000001000000”,... Are repeated, so that 12 “0” s are consecutively generated. May be considered.
  • forbidden codes may be generated even in Golomb encoding.
  • the inverted Golomb encoding unit 171 performs the normal Golomb encoding encoded data set for the difference value (residual) and the right part of FIG. 12.
  • the encoded data obtained by inverting 0 and 1 of the normal encoded data indicated by (2) in accordance with the LSB of the immediately preceding encoded data the generation of the prohibited code is suppressed.
  • the inverted Golomb encoding unit 171 when the LSB of the immediately preceding encoded data is “1”, the inverted Golomb encoding unit 171 generates encoded data by normal Golomb encoding shown in the left part of FIG. 12 (similar to FIG. 8). . Further, when the LSB of the immediately preceding encoded data is “0”, the inverted Golomb encoding unit 171 inverts “0” and “1” with respect to the normal Golomb encoding shown in the right part of FIG. Encoded data is generated.
  • an encoding process for generating encoded data in which “0” and “1” are inverted with respect to normal Golomb encoding is also referred to as inverted Golomb encoding.
  • the inverted Golomb encoding unit 171 sets the encoded data to “0” with a word length of 1 when the difference value (residual) is 1.
  • the encoded data VLC: Variable Length Code
  • the encoded data is “101” with a word length of 3
  • the encoded data is 2, “ 11011 ”, when the difference value (residual) is 3, the encoded data is“ 11001 ”, and when the difference value (residual) is 4, the encoded data is the word length.
  • the inverted Golomb encoding unit 171 converts the encoded data (VLC) to a word length of 3 when the difference value (residual) is ⁇ 1.
  • VLC the difference value
  • the encoded data is “11010” when the word length is 5, and when the difference value (residual) is ⁇ 3, the encoded data is
  • the word length is “11000” with a difference of 5 and the difference value (residual) is ⁇ 4
  • the encoded data is “1110110” with a word length of 7 and the difference (residual) is ⁇ 5.
  • the encoded data is “1110100” with a word length of 7 and the difference value (residual) is ⁇ 6, the encoded data is converted to a difference value (residual) of “1110010” with a word length of 7. ) Is ⁇ 7, the encoded data is encoded into “1110000” having a word length of 7, respectively.
  • encoded data having a difference value (residual) larger than 8 and encoded data smaller than ⁇ 8 are omitted.
  • normal Golomb coding based on the table shown on the left side of FIG. 12 is also referred to as “coding by table A”, and the inverted Golomb based on the table shown on the right side of FIG.
  • Encoding for generating encoded data by encoding is also referred to as “encoding by table B”.
  • the inverted Golomb encoding unit 171 suppresses the generation of the prohibition code until the immediately preceding “ When “encoding by table A” has been performed, “encoding by table B” is switched, and when “encoding by table B” has been performed immediately before, “encoding by table A” is switched.
  • the inverted Golomb encoding unit 171 encodes image data into encoded data according to the rules as shown in FIG.
  • LSB of the previous Golomb code (Golomb code based on the difference value (residual) of pixel (i ⁇ 1)) is “0”
  • encoding is performed using Table B of FIG.
  • the image data is encoded.
  • i is an identifier for identifying pixels that process image data in the order of processing.
  • the Golomb code (pixels (i-3), (i-2), (i-1)) is repeated a predetermined number of times immediately before (for example, 3 times in FIG. 13).
  • the image data is encoded by the encoding by the table B in FIG. 12, and the predetermined number of times (three times in FIG. 13) immediately before. 12) when the LSB of the Golomb code (Golomb code based on the difference value (residual)) of pixels (i-3), (i-2), and (i-1) is “0” continuously.
  • the image data is encoded by encoding with A.
  • Such processing makes it possible to realize fixed-length compression of image data while suppressing the generation of prohibited codes.
  • extension unit 133 in FIG. 14 differs from the extension unit 133 in FIG. 4 in that the dummy bit removing unit 151 is deleted and an inverted Golomb decoding unit 181 is provided instead of the Golomb decoding unit 153.
  • the inverted Golomb decoding unit 181 decodes the Golomb code supplied from the compression rate reverse adjustment unit 152 by a method corresponding to the encoding method of the inverted Golomb encoding unit 171, and generates a difference value (residual value) generated by the DPCM processing unit 141. Restore the difference).
  • the inverted Golomb decoding unit 181 supplies the restored difference value (residual) to the inverse DPCM processing unit 154.
  • step S181 the DPCM processing unit 141 performs a DPCM process for obtaining a difference value between pixel data whose processing order is continuous with respect to the image data.
  • step S182 the Golomb encoding unit 142 executes the inverted Golomb encoding process described with reference to FIGS. 12 and 13, and encodes the image data with each difference value obtained by the process of Step S181. Details of the inverse Golomb encoding process will be described later with reference to the flowchart of FIG.
  • step S183 the compression rate adjustment unit 143 adjusts the compression rate of the encoded data, for example, by adding data to the Golomb code obtained by the processing in step S182.
  • step S183 When the encoded data having a predetermined compression rate is obtained for the image data input to the compression unit 113 by the process of step S183, the compression process ends.
  • the image sensor 100 can output a larger amount of data at a higher speed without increasing the cost, and the imaging performance can be improved.
  • step S201 the inverted Golomb encoding unit 171 initializes a counter of an identifier i for identifying a pixel to 1.
  • step S202 the inverted Golomb encoding unit 171 reads a difference value (residual) with respect to the pixel value of the pixel i.
  • step S203 the inverted Golomb encoding unit 171 determines whether or not the LSB of the immediately previous Golomb code is “0”. For example, if it is determined that it is “0”, the process proceeds to step S204. move on.
  • step S204 the inverted Golomb encoding unit 171 determines whether or not the encoding by the table B has continued a predetermined number of times (for example, 3 times), and if not, the process proceeds to step S205.
  • a predetermined number of times for example, 3 times
  • step S205 the inverted Golomb encoding unit 171 obtains a Golomb code corresponding to the difference value (residual) by encoding using the table B, and the process proceeds to step S206.
  • step S206 the inverted Golomb encoding unit 171 determines whether or not the counter i indicating the identifier is the number of pixels N, that is, whether or not all the pixels are encoded. If the counter i is not N, The process proceeds to step S209.
  • step S209 the inverted Golomb encoding unit 171 increments the counter i by 1, the process returns to step S202, and the subsequent processes are repeated.
  • step S203 determines whether the LSB of the previous Golomb code is “1”. If it is determined in step S203 that the LSB of the previous Golomb code is “1”, the process proceeds to step S207.
  • step S207 the inverted Golomb encoding unit 171 determines whether or not the encoding by the table A has continued a predetermined number of times (for example, 3 times). If not, the process proceeds to step S208.
  • step S208 the inverted Golomb encoding unit 171 obtains a Golomb code corresponding to the difference value (residual) by encoding using the table A, and the process proceeds to step S206.
  • step S204 when the encoding by the table B continues for a predetermined number of times (for example, 3 times), the process proceeds to step S208.
  • step S207 If it is determined in step S207 that encoding by table A has continued a predetermined number of times (for example, 3 times), the process proceeds to step S205.
  • the encoding by the table A and the encoding by the table B are switched according to the LSB of the immediately preceding Golomb code, and the same encoding is continuously performed in the LSB of the encoded data.
  • the encoding algorithm is switched and the image data is encoded.
  • Extension processing by the extension unit in FIG. 14 Next, decompression processing by the decompression unit 133 in FIG. 14 will be described with reference to the flowchart in FIG.
  • step S221 the compression rate reverse adjustment unit 152 performs reverse adjustment of the compression rate of the encoded data (that is, reverse processing of the processing in step S183 in FIG. 15), thereby compressing the compression rate.
  • the Golomb code before adjusting is restored.
  • step S222 the inverted Golomb decoding unit 181 executes an inverted Golomb decoding process, decodes each Golomb code obtained by the process in Step S221, and restores a difference value (residual) between the pixel data. That is, the inverted Golomb decoding process is the reverse of the inverted Golomb encoding process described with reference to the flowchart of FIG.
  • step S223 the inverse DPCM processing unit 154 performs DPCM reverse processing (that is, reverse processing of step S181 in FIG. 1) using the difference value (residual) obtained by the processing in step S222. That is, the inverse DPCM processing unit 154 restores the pixel data of each unit pixel, for example, by adding the difference values.
  • the image processing apparatus 130 can appropriately decode the encoded data output from the image sensor 100. That is, the image processing apparatus 130 can improve the imaging performance of the imaging device 100 without increasing the cost.
  • the inverted Golomb decoding process makes it possible to acquire the image data by decoding the encoded data compressed at a fixed length while suppressing the generation of the forbidden code.
  • the above-described imaging device 100 can be applied to various electronic devices such as an imaging device such as a digital still camera or a digital video camera, a mobile phone having an imaging function, or other devices having an imaging function. .
  • FIG. 18 is a block diagram illustrating a configuration example of an imaging apparatus as an electronic apparatus to which the present technology is applied.
  • An imaging apparatus 201 illustrated in FIG. 18 includes an optical system 202, a shutter device 203, a solid-state imaging device 204, a drive circuit 205, a signal processing circuit 206, a monitor 207, and a memory 208, and displays still images and moving images. Imaging is possible.
  • the optical system 202 includes one or more lenses, guides light (incident light) from a subject to the solid-state image sensor 204, and forms an image on the light receiving surface of the solid-state image sensor 204.
  • the shutter device 203 is disposed between the optical system 202 and the solid-state imaging device 204, and controls the light irradiation period and the light-shielding period to the solid-state imaging device 204 according to the control of the drive circuit 205.
  • the solid-state image sensor 204 is configured by a package including the above-described solid-state image sensor.
  • the solid-state imaging device 204 accumulates signal charges for a certain period in accordance with light imaged on the light receiving surface via the optical system 202 and the shutter device 203.
  • the signal charge accumulated in the solid-state image sensor 204 is transferred according to a drive signal (timing signal) supplied from the drive circuit 205.
  • the drive circuit 205 outputs a drive signal for controlling the transfer operation of the solid-state image sensor 204 and the shutter operation of the shutter device 203 to drive the solid-state image sensor 204 and the shutter device 203.
  • the signal processing circuit 206 performs various types of signal processing on the signal charges output from the solid-state imaging device 204.
  • An image (image data) obtained by the signal processing by the signal processing circuit 206 is supplied to the monitor 207 and displayed, or supplied to the memory 208 and stored (recorded).
  • the generation of the prohibition code is suppressed by applying the imaging element 100 and the image processing apparatus 130 instead of the solid-state imaging element 204 and the signal processing circuit 206 described above.
  • FIG. 19 is a diagram illustrating a usage example in which the above-described imaging element 100 is used.
  • the camera module described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • this indication can also take the following structures.
  • a light receiving unit that receives incident light and performs photoelectric conversion;
  • An image pickup device comprising: a compression unit that compresses image data obtained in the light receiving unit into encoded data that does not include a prohibition code in which the same number of codes are continuously arranged more than a predetermined number.
  • the compression unit compresses the image data, adds dummy bits, and compresses the encoded data into encoded data that does not include the forbidden code in which the same code is continuously arranged more than a predetermined number.
  • the image data is a set of pixel data obtained in each unit pixel of the light receiving unit,
  • the image sensor according to ⁇ 2> wherein the compression unit performs Golomb encoding on a difference value between the pixel data, adds the dummy bit, and compresses the image data into encoded data not including the prohibition code.
  • the image pickup device according to ⁇ 2> wherein the compression unit compresses the image data at a fixed compression rate, adds the dummy bit, and compresses the encoded data into the encoded data that does not include the prohibition code.
  • the image data is a set of pixel data obtained in each unit pixel of the light receiving unit,
  • the compression unit performs Golomb encoding of a difference value between the pixel data or Golomb encoding of a difference value between the pixel data based on the encoded data encoded immediately before among the pixel data.
  • the imaging device according to ⁇ 1>, wherein the image data is compressed into encoded data that does not include the forbidden code by any of inverted Golomb encoding that encodes the inverted code with respect to.
  • the compression unit may perform the pixel operation by either Golomb encoding or Inverse Golomb encoding based on a predetermined bit value of encoded data encoded immediately before among the pixel data.
  • the imaging device wherein a difference value between data is compressed into encoded data that does not include the forbidden code.
  • the predetermined bit is LSB (Least Significant Bit) or MSB (Most Significant Bit).
  • the compression unit calculates the difference value between the immediately preceding pixel data as the Golomb.
  • the inverted Golomb encoding is performed, and when the difference value between the immediately preceding pixel data is encoded by the inverted Golomb encoding, the Golomb encoding is performed to compress the encoded data without the prohibited code.
  • ⁇ 5> The image sensor according to ⁇ 5>.
  • ⁇ 9> The image sensor according to any one of ⁇ 1> to ⁇ 8>, wherein the prohibition code is a code in which 1 or 0 is included in the encoded data and continues more than a predetermined number.
  • ⁇ 10> including a step of receiving incident light and compressing image data obtained in a light receiving unit that performs photoelectric conversion into encoded data that does not include a prohibition code in which the same code is continuously arranged more than a predetermined number An imaging method of an imaging device.
  • a light receiving unit that receives incident light and performs photoelectric conversion
  • An image sensor comprising: a compression unit that compresses image data obtained in the light receiving unit into encoded data that does not include a prohibition code in which the same code is continuously arranged more than a predetermined number
  • An image pickup apparatus comprising: a decompression unit that decompresses the encoded data output from the image sensor and obtained by compressing the image data by the compression unit.
  • the compression unit compresses the image data, adds dummy bits, and compresses the encoded data into encoded data that does not include the forbidden code in which the same code is continuously arranged more than a predetermined number.
  • the image data is a set of pixel data obtained in each unit pixel of the light receiving unit,
  • the imaging device according to ⁇ 12>, wherein the compression unit performs Golomb encoding on a difference value between the pixel data, adds the dummy bit, and compresses the image data into encoded data that does not include the prohibition code.
  • the compression unit compresses the image data at a fixed compression rate, adds the dummy bit, and compresses the encoded data into encoded data that does not include the prohibition code.
  • the image data is a set of pixel data obtained in each unit pixel of the light receiving unit
  • the compression unit performs Golomb coding of the difference value between the pixel data or inversion of the difference value between the pixel data with respect to the Golomb coding based on the pixel data encoded immediately before of the pixel data.
  • the imaging device according to ⁇ 11>, wherein the image data is compressed into encoded data that does not include the forbidden code by any one of inverse Golomb encoding that encodes the code.
  • the compression unit may perform the pixel data based on a value of a predetermined bit of the pixel data encoded immediately before, by the Golomb encoding or the inverted Golomb encoding.
  • the imaging device wherein a difference value between the two is compressed into encoded data that does not include the forbidden code.
  • the predetermined bit is an LSB (Least Significant Bit) or an MSB (Most Significant Bit).
  • the compression unit calculates the difference value between the immediately preceding pixel data as the Golomb.
  • the inverted Golomb encoding When encoded, the inverted Golomb encoding is performed, and when the difference value between the immediately preceding pixel data is encoded by the inverted Golomb encoding, the Golomb encoding is performed to compress the encoded data without the prohibited code.
  • the imaging device ⁇ 15>. ⁇ 19> The imaging device according to any one of ⁇ 11> to ⁇ 18>, wherein the prohibition code is a code in which 1 or 0 is included in the encoded data and continues more than a predetermined number.
  • ⁇ 20> a light receiving unit that receives incident light and performs photoelectric conversion; A compression unit that compresses image data obtained in the light receiving unit into encoded data that does not include a prohibition code in which the same code is continuously arranged more than a predetermined number.
  • An image capturing method for an image capturing apparatus comprising: expanding the encoded data obtained by compressing the image data by a unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本開示は、禁止コードの発生を回避しつつ、画像データを固定長圧縮させることができるようにする撮像素子、並びに、撮像装置および方法に関する。 入射光を受光し、光電変換する受光部において得られた画像データをゴロム符号化し、LSBにビット１の符号化データの反転符号を追加することで、禁止コードを含まない符号化データに圧縮する。本開示は、撮像装置に適用することができる。

Description

撮像素子、並びに、撮像装置および方法
　本開示は、撮像素子、並びに、撮像装置および方法に関し、特に、禁止コードの発生を回避しつつ、画像データを固定長圧縮できるようにした撮像素子、並びに、撮像装置および方法に関する。
　従来、入射光を光電変換する受光部が形成される半導体基板が封止され、撮像素子（イメージセンサ）としてモジュール化されるものがある。
　このようなモジュール化された撮像素子は、入射光を光電変換し、画像データを生成し、その画像データを非圧縮の状態で（例えばRAWデータで）出力し、メイン基板に伝送する。
　このような積層型イメージセンサにおける、画像圧縮による出力インタフェース帯域を削減する技術が提案されている（特許文献１参照）。
特開２０１４－１０３５４３号公報
　しかしながら、特許文献１に係る技術においては、画像圧縮後のデータに禁止コードが存在しないことが保証されないため、禁止コードを有する出力インタフェースでは既存の固定長画像圧縮をそのまま適用することができないことがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、禁止コードの発生を回避しつつ、画像データを固定長圧縮できるようにするものである。
　本開示の一側面の撮像素子は、入射光を受光し、光電変換する受光部と、前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部とを備える撮像素子である。
　前記圧縮部には、前記画像データを圧縮させ、ダミービットを付加させて、同一の符号が所定数より多く連続して配置される前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記画像データは、前記受光部の各単位画素において得られた画素データの集合とすることができ、前記圧縮部には、前記画素データ同士の差分値をゴロム符号化させ、前記ダミービットを付加させて、前記画像データを、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記圧縮部には、固定の圧縮率で前記画像データを圧縮させ、前記ダミービットを付加させて、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記画像データは、前記受光部の各単位画素において得られた画素データの集合とすることができ、前記圧縮部は、前記画素データのうち、直前に符号化した前記符号化データに基づいて、前記画素データ同士の差分値のゴロム符号化、または、前記画素データ同士の差分値を前記ゴロム符号化に対する反転符号に符号化する反転ゴロム符号化のいずれかにより、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記圧縮部には、前記画素データのうち、直前に符号化した符号化データの所定ビットの値に基づいて、前記ゴロム符号化、または、前記反転ゴロム符号化のいずれかにより、前記画素データ同士の差分値を、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記所定ビットは、LSB（Least Significant Bit）、またはMSB（Most Significant Bit）とすることができる。
　前記圧縮部には、前記直前に符号化した画素データ同士の差分値の符号化データの所定ビットが所定回数連続して同一値である場合、直前の画素データ同士の差分値を前記ゴロム符号化したときは、前記反転ゴロム符号化させ、直前の画素データ同士の差分値を前記反転ゴロム符号化したときは、前記ゴロム符号化させることで、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記禁止コードは、前記符号化データに含まれる、1または0が所定数よりも多く連続するコードとすることができる。
　本開示の一側面の撮像素子の撮像方法は、入射光を受光し、光電変換する受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮するステップを含む撮像素子の撮像方法である。
　本開示の一側面の撮像装置は、入射光を受光し、光電変換する受光部と、前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部とを備える撮像素子と、前記撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる前記符号化データを伸張する伸張部とを備える撮像装置である。
　前記圧縮部には、前記画像データを圧縮させ、ダミービットを付加させて、同一の符号が所定数より多く連続して配置される前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記画像データは、前記受光部の各単位画素において得られた画素データの集合とすることができ、前記圧縮部には、前記画素データ同士の差分値をゴロム符号化させ、前記ダミービットを付加させて、前記画像データを、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記圧縮部には、固定の圧縮率で前記画像データを圧縮させ、前記ダミービットを付加させて、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記画像データは、前記受光部の各単位画素において得られた画素データの集合とすることができ、前記圧縮部には、前記画素データのうち、直前に符号化した画素データに基づいて、前記画素データ同士の差分値のゴロム符号化、または、前記画素データ同士の差分値を前記ゴロム符号化に対する反転符号に符号化する反転ゴロム符号化のいずれかにより、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記圧縮部には、前記画素データのうち、直前に符号化した画素データの所定ビットの値に基づいて、前記ゴロム符号化、または、前記反転ゴロム符号化のいずれかにより、前記画素データ同士の差分値を、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記所定ビットは、LSB（Least Significant Bit）、またはMSB（Most Significant Bit）とすることができる。
　前記圧縮部には、前記直前に符号化した画素データ同士の差分値の符号化データの所定ビットが所定回数連続して同一値である場合、直前の画素データ同士の差分値を前記ゴロム符号化したときは、前記反転ゴロム符号化させ、直前の画素データ同士の差分値を前記反転ゴロム符号化したときは、前記ゴロム符号化させることで、前記禁止コードを含まない符号化データに圧縮させるようにすることができる。
　前記禁止コードは、前記符号化データに含まれる、1または0が所定数よりも多く連続するコードとすることができる。
　本開示の一側面の撮像装置の撮像方法は、入射光を受光し、光電変換する受光部と、前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部とを備える撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる前記符号化データを伸張するステップを含む撮像装置の撮像方法である。
　本開示の一側面においては、入射光が受光され、光電変換され、前記光電変換により得られた画像データが、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮される。
　本開示の一側面によれば、特に、禁止コードの発生を回避しつつ、画像データを固定長圧縮させることが可能となる。
本開示の撮像素子および画像処理装置の構成例を示す図である。 図１の圧縮部の第１の実施の形態の構成例を示す図である。 図２の圧縮部の処理を説明する図である。 図１の伸張部の第１の実施の形態の構成例を示す図である。 本開示の撮像素子による撮像処理を説明するフローチャートである。 図５の圧縮処理を説明するフローチャートである。 図６のゴロム符号化処理を説明するフローチャートである。 図６のゴロム符号化処理を説明する図である。 本開示の画像処理装置の画像処理を説明するフローチャートである。 図９の伸張処理を説明するフローチャートである。 図１の圧縮部の第２の実施の形態の構成例を示す図である。 図１１の反転ゴロム符号化処理を説明する図である。 図１１の反転ゴロム符号化処理を説明する図である。 図１の伸張部の第２の実施の形態の構成例を示す図である。 図１１の圧縮部による圧縮処理を説明するフローチャートである。 図１５の反転ゴロム符号化処理を説明するフローチャートである。 図１４の伸張部による伸張処理を説明するフローチャートである。 本開示の撮像素子を適用した電子機器としての撮像装置の構成例を示すブロック図である。 本開示の技術を適用した撮像素子の使用例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．電子機器への適用例
　４．固体撮像装置の使用例
＜１．第１の実施の形態＞
　＜撮像素子＞
　図１は、本技術を適用した撮像素子の主な構成例を示すブロック図である。図１に示される撮像素子１００は、被写体を撮像し、撮像画像のデジタルデータ（画像データ）を得て、その画像データを出力するイメージセンサである。撮像素子１００は、任意のイメージセンサであり、例えば、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）を用いたイメージセンサ等としてもよい。
　図１のＡに示されるように、撮像素子１００は、斜線模様で示される半導体基板１０１と、白色で示される半導体基板１０２とを有する。半導体基板１０１および半導体基板１０２は、図１のＢに示されるように重畳された状態で封止され、モジュール化（一体化）される。
　つまり、図１のＣに示されるように、半導体基板１０１および半導体基板１０２は、多層構造（積層構造）を形成する。半導体基板１０１に形成される回路と半導体基板１０２に形成される回路は、ビア（VIA）等により互いに接続される。
　このように、撮像素子１００は、半導体基板１０１と半導体基板１０２が多層構造を形成するように一体化されたモジュール（LSI（Large Scale Integration）チップとも称する）である。モジュール内部において半導体基板１０１と半導体基板１０２がこのように多層構造を形成することにより、撮像素子１００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子１００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。
　図１のＡに示されるように、半導体基板１０１には、受光部１１１およびA/D変換部１１２が形成される。また、半導体基板１０２には、圧縮部１１３、インタフェース処理部１１４、および出力部１１５が形成される。
　受光部１１１は、入射光を受光し、光電変換する。受光部１１１は、例えばフォトダイオード等の光電変換素子を有する単位画素を複数有する。各単位画素には、光電変換により、入射光に相当する電荷が蓄積される。受光部１１１は、各単位画素において蓄積された電荷を電気信号（画素信号）としてA/D変換部１１２に供給する。
　A/D変換部１１２は、受光部１１１から供給される各画素信号をA/D変換し、デジタルデータの画素データを生成する。A/D変換部１１２は、このように生成した各単位画素の画素データの集合を画像データとして圧縮部１１３に供給する。つまり、圧縮部１１３には、デモザイク処理される前のRAWデータが供給される。
　圧縮部１１３は、A/D変換部１１２から供給される画像データ（RAWデータ）を、所定の方法で圧縮することにより、符号化データを生成する。この符号化データのデータ量は、圧縮前の画像データより小さい。つまり、圧縮部１１３は画像データのデータ量を低減させる。
　図１に示されるように、圧縮部１１３は、撮像素子１００に実装される。つまり、圧縮部１１３は、撮像素子１００に内蔵される回路、若しくは、撮像素子１００の内部において実行されるソフトウェアとして実現される。そのため、圧縮部１１３による圧縮の方法は、基本的に任意であるが、上述したように撮像素子１００（モジュール内）に実装可能なものでなければならない。
　画像データの圧縮方法の代表的なものとして、例えば、JPEG（Joint Photographic Experts Group）やMPEG（Moving Picture Experts Group）がある。これらの圧縮方法は、高度なものであり、その処理が複雑で、回路規模も大きく、撮像素子１００の製造コストが増大し易い。そのため、一般的に、これらのような高度な圧縮方法を、回路やソフトウェアとして撮像素子１００に実装することは困難である。また、仮に実装したとしても、処理時間（クロック数）が長くて遅延時間が増大しやすく、符号化処理がフレームレートに間に合わない等、実用的でない場合も考えられる。さらに、圧縮率がベストエフォートのためピン数やバス帯域の低減に寄与しない場合も考えられる。
　そこで、圧縮部１１３は、例えばJPEGやMPEG等のような高度な圧縮方法よりも処理が簡潔で、かつ、処理時間（クロック数）が短く、少なくとも撮像素子１００（モジュール内、特に、受光部１１１を有する半導体基板１０１と積層構造を形成する半導体基板１０２）に実装可能な方法で、画像データの圧縮を行う。以下において、このような圧縮を簡易圧縮とも称する。つまり、圧縮部１１３は、A/D変換部１１２から供給される画像データ（RAWデータ）を簡易圧縮することにより、符号化データを生成する。
　この簡易圧縮の具体的な圧縮方法は、上述した条件を満たす限り基本的に任意である。例えば、可逆な方法であっても良いし、非可逆な方法であっても良い。ただし、一般的に、半導体基板１０２を大きくするとコストが増大する。また、処理時間（クロック数）が長くなると遅延時間が増大する。そのため、この簡易圧縮には、処理がより簡潔で、かつ、処理時間がより短い方法を適用するのが望ましい。
　例えば、一般的に、A/D変換部１１２は、各単位画素の画素データ（画像データ）を、所定の順序で１次元状に並べて（画素データ列として）圧縮部１１３に供給するが、圧縮の際に、その画像データをバッファ（保持）する必要があると、その分、処理時間が増大する恐れがある。そのため、簡易圧縮には、A/D変換部１１２から供給される画像データ（画素データ列）を、できるだけバッファする必要なく、順次圧縮することができる方法を適用するのが望ましい。例えば、簡易圧縮には、DPCM（Differential Pulse Code Modulation）を用いる圧縮方法や、１次元DCT（Discrete Cosine Transform）を用いる圧縮方法を適用することができる。
　もちろん、集積度の向上等によって、撮像素子１００に安価に実装することができ、遅延時間も許容範囲内に収まる程に高速動作が可能であり、十分な圧縮率が得られるのであれば、JPEGやMPEG等のような高度な圧縮方法を、圧縮部１１３の圧縮方法として適用してもよい。
　圧縮部１１３は、画像データを簡易圧縮して得られた符号化データをインタフェース処理部１１４に供給する。
　インタフェース処理部１１４は、符号化データを画像処理装置１３０に出力する際、出力に使用するI/OセルやI/Oピン等に応じた形式に変換して、出力部１１５に出力する。
　出力部１１５は、例えばI/OセルやI/Oピン等よりなり、インタフェース処理部１１４を介して圧縮部１１３から供給される符号化データを撮像素子１００の外部に出力する。出力部１１５より出力された符号化データは、バス１２１を介して画像処理装置１３０の入力部１３１に供給される。
　画像処理装置１３０は、撮像素子１００において得られた画像データに対する画像処理を行う装置である。図１のＡに示されるように、画像処理装置１３０は、入力部１３１、インタフェース処理部１３２、および伸張部１３３を有する。
　入力部１３１は、バス１２１を介して撮像素子１００（出力部１１５）から伝送される符号化データを受け付ける。入力部１３１は、取得した符号化データをインタフェース処理部１３２に供給する。
　インタフェース処理部１３２は、インタフェース処理部１１４に対応する構成であり、I/OセルやI/Oピン等に応じた形式に変換された符号化データを元の形式に戻して伸張部１３３に供給する。
　伸張部１３３は、インタフェース処理部１３２を介して入力部１３１から供給される符号化データを、圧縮部１１３の圧縮方法に対応する方法で伸長し、画像データを復元する。つまり、伸張部１３３は、インタフェース処理部１３２を介して入力部１３１から供給される符号化データを、圧縮部１１３による簡易圧縮に対応する方法で伸長し、画像データを復元する。復元された画像データは、例えば、画像処理装置１３０等により、画像処理されたり、記憶されたり、画像を表示されたりする。
　以上のように、撮像素子１００は、モジュール内（LSIチップ内）において、受光部１１１において得られた画像データを圧縮し、そのデータ量を低減させて出力する。したがって、バス１２１の、画像データ（符号化データ）を伝送するのに必要な帯域が低減されるので、撮像素子１００は、バス１２１の帯域幅を変更せずに、より大容量のデータをより高速に出力することができる。つまり、撮像素子１００は、出力部１１５のI/OセルやI/Oピンの数を増大させずに、すなわち、コストを増大させずに、より大容量のデータをより高速に出力することができる。
　換言するに、撮像素子１００は、バス１２１の帯域制限の影響を抑制することができ、コストを増大させずに（出力部１１５のI/OセルやI/Oピンの数を増大させずに）、画像の高解像度化、静止画像の撮像から記録までの処理の高速化、連写数や連写速度の向上、動画像のフレームレートの高速化、動画像および静止画像の撮像等といった、撮像性能を向上させることができる。
　＜圧縮部＞
　図２は、図１の圧縮部１１３の主な構成例を示すブロック図である。圧縮部１１３は、DPCM処理部１４１、ゴロム（Golomb）符号化部１４２、および圧縮率調整部１４３を有する。
　DPCM処理部１４１は、A/D変換部１１２から供給される画像データ（１次元に並べられた画素データ列）の、連続する画素データ同士の差分値（以下、残差とも称する）を算出する。DPCM処理部１４１は、算出した各差分値をゴロム符号化部１４２に供給する。
　ゴロム符号化部１４２は、DPCM処理部１４１から供給される各差分値をゴロム符号（Golomb Coding）に符号化する。ゴロム符号化部１４２は、そのゴロム符号（符号化データ）を圧縮率調整部１４３に供給する。
　圧縮率調整部１４３は、ゴロム符号化部１４２から供給される符号化データの圧縮率を調整し、所定の圧縮率に変換する。これにより受光部１１１において得られた画像データに対して所定の圧縮率で圧縮された符号化データが得られる。圧縮率は可変とすることもできるが、バス１２１の最大伝送可能帯域幅はハードウェア要因により固定されるので、圧縮率は固定とするのが望ましい。圧縮率調整部１４３は、圧縮率を調整した符号化データをダミービット挿入部１４４に出力する。
　このような構成とすることにより、圧縮部１１３は、画像データ（RAWデータ）を簡易圧縮することができる。
　なお、一般的に画像圧縮などにおいては、２次元の離散コサイン変換が利用される場合もあるが、２次元の離散コサイン変換は、１次元の離散コサイン変換と比べると処理が複雑であり、回路規模が増大する恐れがある。画像データに対して１次元の離散コサイン変換が行われることにより、２次元の離散コサイン変換を行う場合よりも、容易に変換データを得ることができる。つまり、圧縮部１１３の回路規模の増大を抑制することができる。
　ダミービット挿入部１４４は、禁止コードの発生を抑制しつつ、固定長の簡易圧縮された符号化データを生成するためのダミービットを挿入する。
　禁止コードとは、バイナリコードにおいて、例えば、符号化データに含まれる所定数より多く0が連続するコードや、所定数よりも多く1が連続するコードである。したがって、禁止コードを含まない符号化データにおいて、0または1の符号は、所定数より少ない数でしか連続に配置されない。
　ダミービット挿入部１４４は、このような禁止コードが発生しないように、符号化データに対して、ダミービットを挿入して、インタフェース処理部１１４に出力する。
　より具体的には、例えば、図３の左部で示されるような１画素あたり１０ビットのデータからなる８画素分の合計８０ビットの画像データが存在するものとする。画像データは、禁止コードが発生しないことが予め保証されている。
　図３の左部の場合、禁止コードとは、例えば、サイクル１で示されるMSB（Most Significant Bit）乃至LSB（Least Significant Bit）が全て１、または、０といったコードである。ただし、当然のことながら禁止コードの定義は様々であり、必ずしも全てが、１または０といったコードでなくても禁止コードとされるようにしてもよく、例えば、１または０が連続して所定数以上続くコードとして、たとえば、連続して８個以上続くコードや、連続して９個続くコードを禁止コードとして定義するようにしてもよい。
　尚、図３においては、８画素のデータが図中の水平方向に、サイクル１乃至８として、１画素に対して１サイクルの画像データとして表現されており、それぞれの画素の画素データが、図中の垂直方向にLSB乃至MSBの１０ビットにより表現されている。尚、各値は「x」とされており、０または１のいずれかの値である。
　図３の左部の画像データを５０％に圧縮し、例えば、図３の中央部で示されるように、４０ビットの符号化データが生成されるものとする。この場合、圧縮により、いずれかのサイクルのLSB乃至MSBの１０ビットの符号かコードが禁止コードとならない保証はされない。このため、符号化データには、禁止コードが発生する可能性がある。
　そこで、ダミービット挿入部１４４は、図３の右部で示されるように、図３の中央部で示される符号化データにおけるビット０の符号の反転値からなるダミービットをLSBに挿入する。図３において、いずれも「y」からなる値で表現されている。すなわち、図３において、LSBのビットの値「y」は、ビット１の「x」で表現される符号の反転符号である。
　結果として、図３の右部の符号化データにおいては、いずれのサイクルにおいても、全てのビットが０または１になることが防止されることになるので、１１ビット全てが１または０になる禁止コードが発生しないことが保証される。尚、ダミービットが挿入されるビット位置は、禁止コードが発生しないことが保証される限り、LSBに限らず、その他のビット位置でもよく、例えば、MSBでもよい。
　＜伸張部＞
　図４は、伸張部１３３の主な構成例を示すブロック図である。伸張部１３３は、図２の例の圧縮部１１３に対応する方法で符号化データを伸張する。図４に示されるように、この場合の伸張部１３３は、ダミービット除去部１５１、圧縮率逆調整部１５２、ゴロム復号部１５３、および逆DPCM処理部１５４を有する。
　ダミービット除去部１５１は、入力部１３１から供給された符号化データに挿入されているダミービットを除去して、圧縮率逆調整部１５２に供給する。
　圧縮率逆調整部１５２は、ダミービット除去部１５１から供給されたダミービットが除去された符号化データに対して、圧縮率調整部１４３の処理の逆処理を行い、ゴロム符号化部１４２が生成したゴロム符号を復元する。圧縮率逆調整部１５２は、復元したゴロム符号をゴロム復号部１５３に供給する。
　ゴロム復号部１５３は、圧縮率逆調整部１５２から供給されたゴロム符号を、ゴロム符号化部１４２の符号化方法に対応する方法で復号し、DPCM処理部１４１が生成した差分値（残差）を復元する。ゴロム復号部１５３は、復元した差分値（残差）を逆DPCM処理部１５４に供給する。
　逆DPCM処理部１５４は、ゴロム復号部１５３から供給された差分値（残差）に対して逆DPCM処理（DPCM処理部１４１が行ったDPCMの逆処理）を行い、各画素データを復元する。逆DPCM処理部１５４は、復元した画素データの集合を画像データとして伸張部１３３の外部に出力する。
　このような構成とすることにより、伸張部１３３は、圧縮部１１３により生成された符号化データを正しく復号することができる。つまり、伸張部１３３は、画像データ（RAWデータ）の簡易圧縮を実現することができる。
　＜撮像処理＞
　次に、図５のフローチャートを参照して、図１の撮像素子１００により実行される撮像処理を説明する。
　この撮像処理は、撮像素子１００が、被写体を撮像し、その被写体の画像の画像データを得る際に実行される。
　撮像処理が開始されると、ステップＳ１０１において、受光部１１１は、有効画素領域の各単位画素において、入射光を光電変換する。
　ステップＳ１０２において、A/D変換部１１２は、ステップＳ１０１の処理により得られた各単位画素の画素信号（アナログデータ）を、それぞれ、A/D変換する。
　ステップＳ１０３において、圧縮部１１３は、圧縮処理を実行し、ステップＳ１０２の処理により得られた、デジタルデータの画素データの集合である画像データを圧縮することにより、符号化データを生成する。尚、圧縮処理については、図６を参照して詳細を後述する。
　ステップＳ１０４において、インタフェース処理部１１４は、符号化データをインタフェース処理し、送信に適した形式に変換して、出力部１１５に出力する。
ステップＳ１０５において、出力部１１５は、ステップＳ１０４の処理により得られたインタフェース処理された符号化データを、撮像素子１００の外部（バス１２１）に出力する。
　ステップＳ１０５の処理が終了すると、撮像処理が終了する。
　＜圧縮処理＞
　次に、図６のフローチャートを参照して、図５のステップＳ１０３において実行される圧縮処理について説明する。
　圧縮処理が開始されると、図２のDPCM処理部１４１は、ステップＳ１２１において、画像データに対して、処理順が連続する画素データ同士の差分値を求めるDPCM処理を行う。
　ステップＳ１２２において、ゴロム符号化部１４２は、ゴロム符号化処理を実行することにより、ステップＳ１２１の処理により得られた各差分値（残差）を用いてゴロム符号化する。
　＜ゴロム符号化処理＞
　ここで、図７のフローチャートを参照して、ゴロム符号化処理について説明する。
　ステップＳ１３１において、ゴロム符号化部１４２は、DPCM処理により求められた画素毎の差分値（残差）のデータに対して、画素を識別する識別子ｉを１に初期化する。
　ステップＳ１３２において、ゴロム符号化部１４２は、DPCM処理により求められた処理対象となる画素ｉの画素の差分値（残差）を読み出す。
　ステップＳ１３３において、ゴロム符号化部１４２は、差分値（残差）に対応してゴロム符号化する。
　より具体的には、例えば、図８で示されるように、差分値（残差）が0ある場合、ゴロム符号化部１４２は、ゴロム符号（VLC）を、語長が１の「1」に符号化する。
　また、差分値（残差）が1である場合、ゴロム符号化部１４２は、ゴロム符号（VLC）を、語長が３の「010」に符号化する。以下同様に、ゴロム符号化部１４２は、差分値（残差）が2である場合、ゴロム符号（VLC）を、語長が５の「00100」に、差分値（残差）が3である場合、ゴロム符号（VLC）を、語長が５の「00110」に、差分値（残差）が4である場合、ゴロム符号（VLC）を、語長が７の「0001000」に、差分値（残差）が5である場合、ゴロム符号（VLC）を、語長が７の「0001010」に、差分値（残差）が6である場合、ゴロム符号（VLC）を、語長が７の「0001100」に、差分値（残差）が7である場合、ゴロム符号（VLC）を、語長が７の「0001110」に、それぞれ符号化する。
　また、ゴロム符号化部１４２は、差分値（残差）が－1である場合、ゴロム符号（VLC）を、語長が３の「011」に、差分値（残差）が－2である場合、ゴロム符号（VLC）を、語長が５の「00101」に、差分値（残差）が－3である場合、ゴロム符号（VLC）を、語長が５の「00111」に、差分値（残差）が－4である場合、ゴロム符号（VLC）を、語長が７の「0001001」に、差分値（残差）が－5である場合、ゴロム符号（VLC）を、語長が７の「0001011」に、差分値（残差）が－6である場合、ゴロム符号（VLC）を、語長が７の「0001101」に、差分値（残差）が－7である場合、ゴロム符号（VLC）を、語長が７の「0001111」に、それぞれ符号化する。尚、図８においては、差分値（残差）が８より大きい符号化データ、および－８より小さい符号化データは省略されている。
　ステップＳ１３４において、ゴロム符号化部１４２は、識別子ｉは、画素数Ｎであるか否かを判定し、画素数Ｎではない場合、処理は、ステップＳ１３５に進む。
　ステップＳ１３５において、ゴロム符号化部１４２は、識別子ｉを１インクリメントして、処理は、ステップＳ１３２に戻る。すなわち、全画素について、差分値（残差）に対応するゴロム符号に変換するまで、ステップＳ１３２乃至Ｓ１３５の処理が繰り返される。
　そして、ステップＳ１３４において、識別子ｉが画素数Ｎであると判定された場合、処理は、終了する。
　以上の処理により、差分値（残差）に応じたゴロム符号化が全画素に対してなされる。
　ここで、図６のフローチャートの説明に戻る。
　ステップＳ１２３において、圧縮率調整部１４３は、ステップＳ１２２の処理により得られたゴロム符号に対して、例えばデータを付加する等して、符号化データの圧縮率を調整する。
　ステップＳ１２３の処理により、圧縮部１１３に入力された画像データに対して所定の圧縮率の符号化データが得られると、処理は、ステップＳ１２４に進む。
　ステップＳ１２４において、ダミービット挿入部１４４は、符号化データに対してダミービットを挿入する。すなわち、ダミービット挿入部１４４は、符号化データのLSBの反転符号をダミービットとして生成し、新たなLSBとして挿入する。この処理により、符号化データにおいて禁止コードの発生が抑制される。以上の処理により、圧縮処理は終了し、処理は、図５に戻る。
　以上のように各処理を実行することにより、撮像素子１００は、コストを増大させずに、より大容量のデータをより高速に固定長圧縮することができ、撮像性能を向上させることができる。
　また、ダミービットが付与されることにより、禁止コードの発生を抑制することが可能となる。
　＜画像処理＞
　次に、図９のフローチャートを参照して、図１の画像処理装置１３０により実行される画像処理について説明する。
　この画像処理は、画像処理装置１３０が、撮像素子１００から出力される符号化データを処理する際に実行される。
　画像処理が開始されると、画像処理装置１３０の入力部１３１は、ステップＳ１４１において、撮像素子１００より出力され、バス１２１を介して伝送される符号化データを受け取る。
　ステップＳ１４２において、インタフェース処理部１３２は、インタフェース処理を実行して、ステップＳ１４１の処理により受け取られた符号化データをI/OセルやI/Oピン等に応じた形式に変換された元の形式に戻して伸張部１３３に供給する。
　ステップＳ１４３において、伸張部１３３は、伸張処理を実行して、ステップＳ１４１の処理により受け取られた符号化データを伸張して、画像データを生成する。
　ステップＳ１４４において、画像処理装置１３０は、ステップＳ１４３の処理により得られた画像データを画像処理する。ステップＳ１４４の処理が終了すると、画像処理が終了する。
　＜伸張処理＞
　次に、図７のフローチャートを参照して、図６のステップＳ１４２において実行される伸張処理について説明する。
　伸張処理が開始されると、ステップＳ１６１において、ダミービット除去部１５１は、符号化データのLSBに挿入されているダミービットを除去し、ダミービットを除去した符号化データを圧縮率逆調整部１５２に供給する。
　ステップＳ１６２において、圧縮率逆調整部１５２は、符号化データの圧縮率の逆調整（すなわち、図６のステップＳ１２３の処理の逆処理）を行うことにより、圧縮率を調整する前のゴロム符号を復元する。
　ステップＳ１６３において、ゴロム復号部１５３は、ステップＳ１６２の処理により得られた各ゴロム符号を復号し、画素データ同士の差分値（残差）を復元する。
　ステップＳ１６４において、逆DPCM処理部１５４は、ステップＳ１６３の処理により得られた差分値（残差）を用いてDPCM逆処理（すなわち、図６のステップＳ１２１の処理の逆処理）を行う。つまり、逆DPCM処理部１５４は、差分値同士を加算する等して、各単位画素の画素データを復元する。
　ステップＳ１６４の処理により画像データが得られると、伸張処理が終了し、処理は、図９に戻る。
　以上のように各処理を実行することにより、画像処理装置１３０は、撮像素子１００から出力される符号化データを適切に復号することができる。つまり、画像処理装置１３０は、コストを増大させずに、撮像素子１００の撮像性能を向上させることができる。
　また、復号にあたって、符号化コードに対して、ダミービットが付与されることにより、禁止コードが発生しないことが保証されているので、適切に復号処理を実現することが可能となる。
　結果として、禁止コードの発生を抑制しつつ、画像データを固定長圧縮することが可能となる。
　尚、以上においては、ダミービット挿入部１４４が、圧縮部１１３に設けられ、ダミービット除去部１５１が、伸張部１３３に設けられる構成について説明してきたが、ダミービット挿入部１４４は、圧縮部１１３に代えて、インタフェース処理部１１４に設けられるようにしてもよいし、ダミービット除去部１５１は、伸張部１３３に代えて、インタフェース処理部１３２に設けられる構成にしてもよい。
　ダミービット挿入部１４４およびダミービット除去部１５１が、それぞれインタフェース処理部１１４，１３２に設けられる構成とすることで、圧縮部１１３、および伸張部１３３を従来の構成のまま使用することが可能となる。
＜２．第２の実施の形態＞
　以上においては、符号化データにダミービットを挿入して、禁止コードの発生を抑制しつつ、固定長圧縮する例について説明してきたが、禁止コードの発生を抑制するために、ダミービットが必須となるため、圧縮率が低下してしまう。そこで、圧縮アルゴリズムそのもので禁止コードの発生を抑制するようにしてもよい。
　＜圧縮アルゴリズムにより禁止コードの発生を抑制した圧縮部の構成例＞
　次に、図１１のブロック図を参照して、圧縮アルゴリズムにより禁止コードの発生を抑制した圧縮部１１３の構成例について説明する。尚、撮像素子１００、および画像処理装置１３０の構成についは、図１を参照して説明した構成と同様であるので、その説明は省略する。また、図１１において、図２の圧縮部１１３における構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１１の圧縮部１１３において、図２の圧縮部１１３と異なる点は、ゴロム符号化部１４２に代えて、反転ゴロム符号化部１７１を備え、ダミービット挿入部１４４を削除した点である。
　反転ゴロム符号化部１７１は、DPCM処理部１４１から供給される各差分値（残差）をゴロム符号（Golomb Coding）に符号化するにあたって、直前のゴロム符号化のLSBの値に応じて、ゴロム符号化結果の０または１を反転させて符号化する。
　すなわち、例えば、ゴロム符号化部１４２により画像データを符号化データに変換する際、例えば、差分値（残差）が、０である状態が継続すると、符号化データは、「1」が連続することになり、所定数以上続くと禁止コードになる恐れがある。また、例えば、差分値（残差）が３２である状態が継続すると、「0000001000000」、「0000001000000」、・・・が繰り返されることにより、「0」が１２個連続し、これにより禁止コードとみなされる可能性がある。
　したがって、ゴロム符号化においても、禁止コードが発生してしまう恐れがある。
　そこで、反転ゴロム符号化部１７１は、図１２の左部で示されるように、差分値（残差）に対して、設定される通常のゴロム符号化による符号化データと、図１２の右部で示される、通常の符号化データの０および１を反転させた符号化データとを、直前の符号化データのLSBに応じて切り替えて使用することで、禁止コードの発生を抑制する。
　すなわち、反転ゴロム符号化部１７１は、直前の符号化データのLSBが「1」の場合、図１２の左部（図８と同様）で示される通常のゴロム符号化により符号化データを生成する。また、反転ゴロム符号化部１７１は、直前の符号化データのLSBが「0」の場合、図１２の右部で示される通常のゴロム符号化に対して、「0」および「1」が反転された符号化データを生成する。以下、通常のゴロム符号化に対して、「0」および「1」が反転された符号化データを生成する符号化処理を反転ゴロム符号化とも称する。
　すなわち、反転ゴロム符号化部１７１は、直前の符号化データのLSBが「0」の場合、差分値（残差）が1であるとき、符号化データを語長が１の「0」に、差分値（残差）が1のとき、符号化データ（VLC：Variable Length Code）を語長が３の「101」に、差分値（残差）が2であるとき、語長が５の「11011」に、差分値（残差）が3であるとき、符号化データを、語長が５の「11001」に、差分値（残差）が4であるとき、符号化データを、語長が７の「1110111」に、差分値（残差）が5であるとき、符号化データを、語長が７の「1110101」に、差分値（残差）が6である場合、符号化データを、語長が７の「1110011」に、差分値（残差）が7である場合、符号化データを、語長が７の「1110001」に、それぞれ符号化する。
　また、反転ゴロム符号化部１７１は、直前の符号化データのLSBが「0」の場合、差分値（残差）が－1であるとき、符号化データ（VLC）を、語長が３の「100」に、差分値（残差）が－2であるとき、符号化データを、語長が５の「11010」に、差分値（残差）が－3であるとき、符号化データを、語長が５の「11000」に、差分値（残差）が－4であるとき、符号化データを、語長が７の「1110110」に、差分値（残差）が－5であるとき、符号化データを、語長が７の「1110100」に、差分値（残差）が－6であるとき、符号化データを、語長が７の「1110010」に、差分値（残差）が－7であるとき、符号化データを、語長が７の「1110000」に、それぞれ符号化する。
　尚、図１２においては、差分値（残差）が８より大きい符号化データ、および－８より小さい符号化データは省略されている。また、以降においては、図１２の左部で示されるテーブルに基づいた、通常のゴロム符号化を「テーブルＡによる符号化」とも称し、図１２の右部で示されるテーブルに基づいた、反転ゴロム符号化による符号化データを生成する符号化を「テーブルＢによる符号化」とも称する。
　さらに、反転ゴロム符号化部１７１は、直前の符号化データのLSBが「0」または「1」のいずれかの状態で所定回数以上継続した場合、禁止コードの発生を抑制するため、直前まで「テーブルＡによる符号化」を行っていたときには、「テーブルＢによる符号化」に切り替え、直前まで「テーブルＢによる符号化」を行っていたときには、「テーブルＡによる符号化」に切り替える。
　すなわち、以上の条件をまとめると、反転ゴロム符号化部１７１は、図１３で示されるような規則に従って画像データを符号化データに符号化する。
　図１３の最上段で示されるように、直前のゴロム符号（画素（ｉ－１）の差分値（残差）によるゴロム符号）のLSBが「0」の場合、図１２のテーブルＢによる符号化により、画像データが符号化される。ここで、ｉは、画像データを処理する画素を、処理する順序で識別する識別子である。
　また、図１３の中段で示されるように、直前のゴロム符号（画素（ｉ－１）の差分値（残差）によるゴロム符号）のLSBが「1」の場合、図１２のテーブルＡによる符号化により、画像データが符号化される。
　さらに、図１３の下段で示されるように、直前の所定回数（図１３においては、例えば、３回）だけゴロム符号（画素（ｉ－３）、（ｉ－２）、（ｉ－１）の差分値（残差）によるゴロム符号）のLSBが連続して「1」の場合、図１２のテーブルＢによる符号化により、画像データが符号化され、直前の所定回数（図１３においては３回）だけゴロム符号（画素（ｉ－３）、（ｉ－２）、（ｉ－１）の差分値（残差）によるゴロム符号）のLSBが連続して「0」の場合、図１２のテーブルＡによる符号化により、画像データが符号化される。
　このような処理により、禁止コードの発生を抑制しつつ、画像データの固定長圧縮を実現することが可能となる。
　＜圧縮アルゴリズムにより禁止コードの発生を抑制した伸張部の構成例＞
　次に、図１４のブロック図を参照して、圧縮アルゴリズムにより禁止コードの発生を抑制した伸張部１３３の構成例について説明する。尚、図１４において、図４の伸張部１３３における構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
　すなわち、図１４の伸張部１３３において、図４の伸張部１３３と異なる点は、ダミービット除去部１５１を削除し、ゴロム復号部１５３に代えて、反転ゴロム復号部１８１を備えた点である。
　反転ゴロム復号部１８１は、圧縮率逆調整部１５２から供給されたゴロム符号を、反転ゴロム符号化部１７１の符号化方法に対応する方法で復号し、DPCM処理部１４１が生成した差分値（残差）を復元する。反転ゴロム復号部１８１は、復元した差分値（残差）を逆DPCM処理部１５４に供給する。
　＜圧縮処理＞
　次に、図１５のフローチャートを参照して、図１１の圧縮部１１３による圧縮処理について説明する。
　圧縮処理が開始されると、ステップＳ１８１において、DPCM処理部１４１は、画像データに対して、処理順が連続する画素データ同士の差分値を求めるDPCM処理を行う。
　ステップＳ１８２において、ゴロム符号化部１４２は、図１２，図１３を参照して説明した反転ゴロム符号化処理を実行し、ステップＳ１８１の処理により得られた各差分値により画像データを符号化する。尚、反転ゴロム符号化処理については、図１６のフローチャートを参照して詳細を後述する。
　ステップＳ１８３において、圧縮率調整部１４３は、ステップＳ１８２の処理により得られたゴロム符号に対して、例えばデータを付加する等して、符号化データの圧縮率を調整する。
　ステップＳ１８３の処理により、圧縮部１１３に入力された画像データに対して所定の圧縮率の符号化データが得られると、圧縮処理が終了する。
　以上のように各処理を実行することにより、撮像素子１００は、コストを増大させずに、より大容量のデータをより高速に出力することができ、撮像性能を向上させることができる。また、禁止コードの発生を抑制しつつ、画像データを固定長圧縮することが可能となる。
　尚、以上においては、直前の画素の符号化データのLSBに基づいて、「テーブルＡにより符号化」、または、「テーブルＢにより符号化」のいずれかを判定する例について説明してきたが、直前の画素の符号化データのLSB以外の所定ビットでもよく、例えば、MSBでもよい。
　＜反転ゴロム符号化処理＞
　次に、図１６のフローチャートを参照して、反転ゴロム符号化部１７１による反転ゴロム符号化処理について説明する。
　ステップＳ２０１において、反転ゴロム符号化部１７１は、画素を識別する識別子ｉのカウンタを１に初期化する。
　ステップＳ２０２において、反転ゴロム符号化部１７１は、画素ｉの画素値に対する差分値（残差）を読み出す。
　ステップＳ２０３において、反転ゴロム符号化部１７１は、直前のゴロム符号のLSBが「0」であるか否かを判定し、例えば、「0」であるとみなされた場合、処理は、ステップＳ２０４に進む。
　ステップＳ２０４において、反転ゴロム符号化部１７１は、テーブルＢによる符号化が所定回数（例えば、３回）続いているか否かを判定し、続いていない場合、処理は、ステップＳ２０５に進む。
　ステップＳ２０５において、反転ゴロム符号化部１７１は、テーブルＢによる符号化により、差分値（残差）に対応したゴロム符号を求め、処理は、ステップＳ２０６に進む。
　ステップＳ２０６において、反転ゴロム符号化部１７１は、識別子を示すカウンタｉが画素数Ｎであるか否か、すなわち、全ての画素が符号化された否かを判定し、カウンタｉがＮではない場合、処理は、ステップＳ２０９に進む。
　ステップＳ２０９において、反転ゴロム符号化部１７１は、カウンタｉを１インクリメントして、処理は、ステップＳ２０２に戻り、それ以降の処理が繰り返される。
　一方、ステップＳ２０３において、直前のゴロム符号のLSBが「1」であるとみなされた場合、処理は、ステップＳ２０７に進む。
　ステップＳ２０７において、反転ゴロム符号化部１７１は、テーブルＡによる符号化が所定回数（例えば、３回）続いているか否かを判定し、続いていない場合、処理は、ステップＳ２０８に進む。
　ステップＳ２０８において、反転ゴロム符号化部１７１は、テーブルＡによる符号化により、差分値（残差）に対応したゴロム符号を求め、処理は、ステップＳ２０６に進む。
　ステップＳ２０４において、テーブルＢによる符号化が所定回数（例えば、３回）続いている場合、処理は、ステップＳ２０８に進む。
　また、ステップＳ２０７において、テーブルＡによる符号化が所定回数（例えば、３回）続いている場合、処理は、ステップＳ２０５に進む。
　以上の処理により、直前のゴロム符号のLSBに応じて、テーブルＡによる符号化、およびテーブルＢによる符号化が切り替えられ、さらに、符号化データのうちLSBにおいて連続して同一の符号化が継続されたときには、符号化アルゴリズムが切り替えられて画像データが符号化される。
　結果として、禁止コードの発生を抑制しつつ、固定長圧縮を実現することが可能となる。
　＜図１４の伸張部による伸張処理＞
　次に、図１７のフローチャートを参照して、図１４の伸張部１３３による伸張処理について説明する。
　伸張処理が開始されると、ステップＳ２２１において、圧縮率逆調整部１５２は、符号化データの圧縮率の逆調整（すなわち、図１５のステップＳ１８３の処理の逆処理）を行うことにより、圧縮率を調整する前のゴロム符号を復元する。
　ステップＳ２２２において、反転ゴロム復号部１８１は、反転ゴロム復号処理を実行し、ステップＳ２２１の処理により得られた各ゴロム符号を復号し、画素データ同士の差分値（残差）を復元する。すなわち、反転ゴロム復号処理は、図１６のフローチャートを参照して、説明した反転ゴロム符号化処理と逆の処理である。
　ステップＳ２２３において、逆DPCM処理部１５４は、ステップＳ２２２の処理により得られた差分値（残差）を用いてDPCM逆処理（すなわち、図１のステップＳ１８１の処理の逆処理）を行う。つまり、逆DPCM処理部１５４は、差分値同士を加算する等して、各単位画素の画素データを復元する。
　ステップＳ２２３の処理により画像データが得られると、伸張処理が終了する。
　以上のように各処理を実行することにより、画像処理装置１３０は、撮像素子１００から出力される符号化データを適切に復号することができる。つまり、画像処理装置１３０は、コストを増大させずに、撮像素子１００の撮像性能を向上させることができる。
　また、反転ゴロム復号処理により、禁止コードの発生を抑制しつつ、固定長圧縮された符号化データを復号して画像データを取得することが可能となる。
＜３．電子機器への適用例＞
　上述した撮像素子１００は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　図１８は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
　図１８に示される撮像装置２０１は、光学系２０２、シャッタ装置２０３、固体撮像素子２０４、駆動回路２０５、信号処理回路２０６、モニタ２０７、およびメモリ２０８を備えて構成され、静止画像および動画像を撮像可能である。
　光学系２０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子２０４に導き、固体撮像素子２０４の受光面に結像させる。
　シャッタ装置２０３は、光学系２０２および固体撮像素子２０４の間に配置され、駆動回路２０５の制御に従って、固体撮像素子２０４への光照射期間および遮光期間を制御する。
　固体撮像素子２０４は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子２０４は、光学系２０２およびシャッタ装置２０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子２０４に蓄積された信号電荷は、駆動回路２０５から供給される駆動信号（タイミング信号）に従って転送される。
　駆動回路２０５は、固体撮像素子２０４の転送動作、および、シャッタ装置２０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子２０４およびシャッタ装置２０３を駆動する。
　信号処理回路２０６は、固体撮像素子２０４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路２０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ２０７に供給されて表示されたり、メモリ２０８に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置２０１においても、上述した固体撮像素子２０４、および信号処理回路２０６に代えて、撮像素子１００および画像処理装置１３０を適用することにより、禁止コードの発生を抑制しつつ、画像データを固定長圧縮することが可能となる。
＜４．固体撮像装置の使用例＞
　図１９は、上述の撮像素子１００を使用する使用例を示す図である。
　上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入射光を受光し、光電変換する受光部と、
　前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部と
　を備える撮像素子。
＜２＞　前記圧縮部は、前記画像データを圧縮し、ダミービットを付加して、同一の符号が所定数より多く連続して配置される前記禁止コードを含まない符号化データに圧縮する
　＜１＞に記載の撮像素子。
＜３＞　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
　前記圧縮部は、前記画素データ同士の差分値をゴロム符号化し、前記ダミービットを付加して、前記画像データを、前記禁止コードを含まない符号化データに圧縮する
　＜２＞に記載の撮像素子。
＜４＞　前記圧縮部は、固定の圧縮率で前記画像データを圧縮し、前記ダミービットを付加して、前記禁止コードを含まない符号化データに圧縮する
　＜２＞に記載の撮像素子。
＜５＞　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
　前記圧縮部は、前記画素データのうち、直前に符号化した前記符号化データに基づいて、前記画素データ同士の差分値のゴロム符号化、または、前記画素データ同士の差分値を前記ゴロム符号化に対する反転符号に符号化する反転ゴロム符号化のいずれかにより、前記禁止コードを含まない符号化データに圧縮する
　＜１＞に記載の撮像素子。
＜６＞　前記圧縮部は、前記画素データのうち、直前に符号化した符号化データの所定ビットの値に基づいて、前記ゴロム符号化、または、前記反転ゴロム符号化のいずれかにより、前記画素データ同士の差分値を、前記禁止コードを含まない符号化データに圧縮する
　＜５＞に記載の撮像素子。
＜７＞　前記所定ビットは、LSB（Least Significant Bit）、またはMSB（Most Significant Bit）である
　＜６＞に記載の撮像素子。
＜８＞　前記圧縮部は、前記直前に符号化した画素データ同士の差分値の符号化データの所定ビットが所定回数連続して同一値である場合、直前の画素データ同士の差分値を前記ゴロム符号化したときは、前記反転ゴロム符号化し、直前の画素データ同士の差分値を前記反転ゴロム符号化したときは、前記ゴロム符号化することで、前記禁止コードを含まない符号化データに圧縮する
　＜５＞に記載の撮像素子。
＜９＞　前記禁止コードは、前記符号化データに含まれる、1または0が所定数よりも多く連続するコードである
　＜１＞乃至＜８＞のいずれかに記載の撮像素子。
＜１０＞　入射光を受光し、光電変換する受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する
　ステップを含む撮像素子の撮像方法。
＜１１＞　　入射光を受光し、光電変換する受光部と、
　　前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部と
　を備える撮像素子と、
　前記撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる前記符号化データを伸張する伸張部と
　を備える撮像装置。
＜１２＞　前記圧縮部は、前記画像データを圧縮し、ダミービットを付加して、同一の符号が所定数より多く連続して配置される前記禁止コードを含まない符号化データに圧縮する
　＜１１＞に記載の撮像装置。
＜１３＞　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
　前記圧縮部は、前記画素データ同士の差分値をゴロム符号化し、前記ダミービットを付加して、前記画像データを、前記禁止コードを含まない符号化データに圧縮する
　＜１２＞に記載の撮像装置。
＜１４＞　前記圧縮部は、固定の圧縮率で前記画像データを圧縮し、前記ダミービットを付加して、前記禁止コードを含まない符号化データに圧縮する
　＜１２＞に記載の撮像装置。
＜１５＞　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
　前記圧縮部は、前記画素データのうち、直前に符号化した画素データに基づいて、前記画素データ同士の差分値のゴロム符号化、または、前記画素データ同士の差分値を前記ゴロム符号化に対する反転符号に符号化する反転ゴロム符号化のいずれかにより、前記禁止コードを含まない符号化データに圧縮する
　＜１１＞に記載の撮像装置。
＜１６＞　前記圧縮部は、前記画素データのうち、直前に符号化した画素データの所定ビットの値に基づいて、前記ゴロム符号化、または、前記反転ゴロム符号化のいずれかにより、前記画素データ同士の差分値を、前記禁止コードを含まない符号化データに圧縮する
　＜１５＞に記載の撮像装置。
＜１７＞　前記所定ビットは、LSB（Least Significant Bit）、またはMSB（Most Significant Bit）である
　＜１６＞に記載の撮像装置。
＜１８＞　前記圧縮部は、前記直前に符号化した画素データ同士の差分値の符号化データの所定ビットが所定回数連続して同一値である場合、直前の画素データ同士の差分値を前記ゴロム符号化したときは、前記反転ゴロム符号化し、直前の画素データ同士の差分値を前記反転ゴロム符号化したときは、前記ゴロム符号化することで、前記禁止コードを含まない符号化データに圧縮する
　＜１５＞に記載の撮像装置。
＜１９＞　前記禁止コードは、前記符号化データに含まれる、1または0が所定数よりも多く連続するコードである
　＜１１＞乃至＜１８＞のいずれかに記載の撮像装置。
＜２０＞　　入射光を受光し、光電変換する受光部と、
　　前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部と
　を備える撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる前記符号化データを伸張する
　ステップを含む撮像装置の撮像方法。
　１００　撮像素子，　１０１および１０２　半導体基板，　１１１　受光部,　１１２　A/D変換部，　１１３　圧縮部，　１１４　インタフェース処理部，　１１５　出力部，　１２１　バス，　１３０　画像処理装置，　１３１　入力部，　１３２　インタフェース処理部，　１３３　伸張部，　１４１　DPCM処理部，　１４２　ゴロム符号化部，　１４３　圧縮率調整部，　１４４　ダミービット挿入部，　１５１　ダミービット除去部，　１５２　圧縮率逆調整部，　１５３　ゴロム符号化部，　１５４　逆DPCM処理部，　１７１　反転ゴロム符号化部，　１８１　反転ゴロム復号部

Claims (20)

  1. 　入射光を受光し、光電変換する受光部と、
    　前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部と
    　を備える撮像素子。
  2. 　前記圧縮部は、前記画像データを圧縮し、ダミービットを付加して、同一の符号が所定数より多く連続して配置される前記禁止コードを含まない符号化データに圧縮する
    　請求項１に記載の撮像素子。
  3. 　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
    　前記圧縮部は、前記画素データ同士の差分値をゴロム符号化し、前記ダミービットを付加して、前記画像データを、前記禁止コードを含まない符号化データに圧縮する
    　請求項２に記載の撮像素子。
  4. 　前記圧縮部は、固定の圧縮率で前記画像データを圧縮し、前記ダミービットを付加して、前記禁止コードを含まない符号化データに圧縮する
    　請求項２に記載の撮像素子。
  5. 　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
    　前記圧縮部は、前記画素データのうち、直前に符号化した前記符号化データに基づいて、前記画素データ同士の差分値のゴロム符号化、または、前記画素データ同士の差分値を前記ゴロム符号化に対する反転符号に符号化する反転ゴロム符号化のいずれかにより、前記禁止コードを含まない符号化データに圧縮する
    　請求項１に記載の撮像素子。
  6. 　前記圧縮部は、前記画素データのうち、直前に符号化した符号化データの所定ビットの値に基づいて、前記ゴロム符号化、または、前記反転ゴロム符号化のいずれかにより、前記画素データ同士の差分値を、前記禁止コードを含まない符号化データに圧縮する
    　請求項５に記載の撮像素子。
  7. 　前記所定ビットは、LSB（Least Significant Bit）、またはMSB（Most Significant Bit）である
    　請求項６に記載の撮像素子。
  8. 　前記圧縮部は、前記直前に符号化した画素データ同士の差分値の符号化データの所定ビットが所定回数連続して同一値である場合、直前の画素データ同士の差分値を前記ゴロム符号化したときは、前記反転ゴロム符号化し、直前の画素データ同士の差分値を前記反転ゴロム符号化したときは、前記ゴロム符号化することで、前記禁止コードを含まない符号化データに圧縮する
    　請求項５に記載の撮像素子。
  9. 　前記禁止コードは、前記符号化データに含まれる、1または0が所定数よりも多く連続するコードである
    　請求項１に記載の撮像素子。
  10. 　入射光を受光し、光電変換する受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する
    　ステップを含む撮像素子の撮像方法。
  11. 　　入射光を受光し、光電変換する受光部と、
    　　前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部と
    　を備える撮像素子と、
    　前記撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる前記符号化データを伸張する伸張部と
    　を備える撮像装置。
  12. 　前記圧縮部は、前記画像データを圧縮し、ダミービットを付加して、同一の符号が所定数より多く連続して配置される前記禁止コードを含まない符号化データに圧縮する
    　請求項１１に記載の撮像装置。
  13. 　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
    　前記圧縮部は、前記画素データ同士の差分値をゴロム符号化し、前記ダミービットを付加して、前記画像データを、前記禁止コードを含まない符号化データに圧縮する
    　請求項１２に記載の撮像装置。
  14. 　前記圧縮部は、固定の圧縮率で前記画像データを圧縮し、前記ダミービットを付加して、前記禁止コードを含まない符号化データに圧縮する
    　請求項１２に記載の撮像装置。
  15. 　前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
    　前記圧縮部は、前記画素データのうち、直前に符号化した画素データに基づいて、前記画素データ同士の差分値のゴロム符号化、または、前記画素データ同士の差分値を前記ゴロム符号化に対する反転符号に符号化する反転ゴロム符号化のいずれかにより、前記禁止コードを含まない符号化データに圧縮する
    　請求項１１に記載の撮像装置。
  16. 　前記圧縮部は、前記画素データのうち、直前に符号化した画素データの所定ビットの値に基づいて、前記ゴロム符号化、または、前記反転ゴロム符号化のいずれかにより、前記画素データ同士の差分値を、前記禁止コードを含まない符号化データに圧縮する
    　請求項１５に記載の撮像装置。
  17. 　前記所定ビットは、LSB（Least Significant Bit）、またはMSB（Most Significant Bit）である
    　請求項１６に記載の撮像装置。
  18. 　前記圧縮部は、前記直前に符号化した画素データ同士の差分値の符号化データの所定ビットが所定回数連続して同一値である場合、直前の画素データ同士の差分値を前記ゴロム符号化したときは、前記反転ゴロム符号化し、直前の画素データ同士の差分値を前記反転ゴロム符号化したときは、前記ゴロム符号化することで、前記禁止コードを含まない符号化データに圧縮する
    　請求項１５に記載の撮像装置。
  19. 　前記禁止コードは、前記符号化データに含まれる、1または0が所定数よりも多く連続するコードである
    　請求項１１に記載の撮像装置。
  20. 　　入射光を受光し、光電変換する受光部と、
    　　前記受光部において得られた画像データを、同一の符号が所定数より多く連続して配置される禁止コードを含まない符号化データに圧縮する圧縮部と
    　を備える撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる前記符号化データを伸張する
    　ステップを含む撮像装置の撮像方法。
PCT/JP2018/010080 2017-03-27 2018-03-14 撮像素子、並びに、撮像装置および方法 WO2018180510A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/483,920 US20190394495A1 (en) 2017-03-27 2018-03-14 Imaging element, and imaging device and method
CN201880019504.4A CN110447222B (zh) 2017-03-27 2018-03-14 成像元件以及成像装置和方法
JP2019509230A JP7176511B2 (ja) 2017-03-27 2018-03-14 撮像素子、並びに、撮像装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017060412 2017-03-27
JP2017-060412 2017-03-27

Publications (1)

Publication Number Publication Date
WO2018180510A1 true WO2018180510A1 (ja) 2018-10-04

Family

ID=63675565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010080 WO2018180510A1 (ja) 2017-03-27 2018-03-14 撮像素子、並びに、撮像装置および方法

Country Status (4)

Country Link
US (1) US20190394495A1 (ja)
JP (1) JP7176511B2 (ja)
CN (1) CN110447222B (ja)
WO (1) WO2018180510A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021057846A (ja) * 2019-10-01 2021-04-08 キヤノン株式会社 符号化装置、撮像装置、制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020036A (ja) * 2005-07-11 2007-01-25 Toshiba Corp 画像送信装置および画像受信装置
JP2008011133A (ja) * 2006-06-29 2008-01-17 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP2011049901A (ja) * 2009-08-27 2011-03-10 Panasonic Corp 固体撮像装置、撮像装置
JP2014103543A (ja) * 2012-11-20 2014-06-05 Sony Corp 撮像素子、並びに、撮像装置および方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0002623D0 (en) * 2000-02-05 2000-03-29 Res Councils Improvements in or relating to data compression
US9118345B2 (en) * 2012-10-04 2015-08-25 Altera Corporation Data compression profiler for configuration of compression
CN103152567A (zh) * 2013-02-26 2013-06-12 中国科学院光电技术研究所 一种任意阶数指数哥伦布编码器及其方法
GB2516422A (en) * 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
US9077924B2 (en) * 2013-08-29 2015-07-07 Sony Corporation CMOS image sensor implementing correlated double sampling with compression
KR20150054554A (ko) * 2013-11-12 2015-05-20 삼성전자주식회사 영상 처리장치 및 방법
CN104717497A (zh) * 2013-12-13 2015-06-17 北京润光泰力科技发展有限公司 基于扫描顺序变更的jpeg_ls规则编码硬件实现方法
CN104902256B (zh) * 2015-05-21 2018-01-09 南京大学 一种基于运动补偿的双目立体图像编解码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020036A (ja) * 2005-07-11 2007-01-25 Toshiba Corp 画像送信装置および画像受信装置
JP2008011133A (ja) * 2006-06-29 2008-01-17 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP2011049901A (ja) * 2009-08-27 2011-03-10 Panasonic Corp 固体撮像装置、撮像装置
JP2014103543A (ja) * 2012-11-20 2014-06-05 Sony Corp 撮像素子、並びに、撮像装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021057846A (ja) * 2019-10-01 2021-04-08 キヤノン株式会社 符号化装置、撮像装置、制御方法、及びプログラム
JP7431549B2 (ja) 2019-10-01 2024-02-15 キヤノン株式会社 符号化装置、撮像装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
CN110447222B (zh) 2021-12-21
JPWO2018180510A1 (ja) 2020-02-06
CN110447222A (zh) 2019-11-12
JP7176511B2 (ja) 2022-11-22
US20190394495A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
US8098941B2 (en) Method and apparatus for parallelization of image compression encoders
CN100592759C (zh) 图像拍摄设备、成像电路、和图像拍摄方法
CN1297644A (zh) 电视和静止双模工作的数字相机
WO2006129183A1 (en) Temporal image buffer for an image processor using a compressed raw image
US10600170B2 (en) Method and device for producing a digital image
JP2005341136A (ja) 画像処理装置
KR100902419B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
US7502523B2 (en) Auto focusing apparatus and method using discrete cosine transform coefficients
JP2003199019A (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP4561649B2 (ja) 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
WO2018180510A1 (ja) 撮像素子、並びに、撮像装置および方法
JP2006080860A (ja) カメラ及びカメラ画像転送システム
US20060061822A1 (en) Method and device for temporarily storing image data
US11570389B2 (en) Imaging apparatus for downsizing an image sensor and a signal processor
KR100827680B1 (ko) 썸네일 데이터 전송 방법 및 장치
US8154749B2 (en) Image signal processor and deferred vertical synchronous signal outputting method
JP2011041144A (ja) 画像処理装置、画像処理プログラム
Min et al. A real-time JPEG encoder for 1.3 mega pixel CMOS image sensor SoC
JP2008005142A (ja) 撮像装置
JP2006024993A (ja) 撮像信号処理装置
JP2007329946A (ja) カプセル内視鏡システム
KR100902421B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
JP2006101227A (ja) 撮像装置および撮像システム
JP2015076624A (ja) 符号化システム、符号化装置、復号化装置、および、符号化および復号化方法
JPH04298170A (ja) ディジタルスチルビデオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509230

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18776097

Country of ref document: EP

Kind code of ref document: A1

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载