+

WO2012066999A1 - 車載カメラの変位量検出装置 - Google Patents

車載カメラの変位量検出装置 Download PDF

Info

Publication number
WO2012066999A1
WO2012066999A1 PCT/JP2011/075854 JP2011075854W WO2012066999A1 WO 2012066999 A1 WO2012066999 A1 WO 2012066999A1 JP 2011075854 W JP2011075854 W JP 2011075854W WO 2012066999 A1 WO2012066999 A1 WO 2012066999A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
vehicle
reference value
displacement
Prior art date
Application number
PCT/JP2011/075854
Other languages
English (en)
French (fr)
Inventor
森　直樹
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US13/823,598 priority Critical patent/US20130169800A1/en
Priority to CN201180044007.8A priority patent/CN103109522B/zh
Priority to JP2012544203A priority patent/JP5616974B2/ja
Priority to EP11840713.9A priority patent/EP2605506B1/en
Publication of WO2012066999A1 publication Critical patent/WO2012066999A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an apparatus for detecting a displacement amount of an in-vehicle camera based on a captured image of the in-vehicle camera.
  • a shake detection area is set on the camera's imaging screen, and within the shake detection area of each time-series captured image Has been proposed (see, for example, Patent Document 1).
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a displacement detection device for an in-vehicle camera that accurately detects the displacement of the in-vehicle camera from a captured image of the in-vehicle camera.
  • the present invention has been made in order to achieve the above-mentioned object, and a plurality of images having a predetermined number of pixels in a specific direction corresponding to a vertical direction in real space in a predetermined measurement area of an image captured by an in-vehicle camera.
  • a reference value calculation unit that divides the measurement unit region into pixels and calculates a sum or average of luminance values or saturation values of pixels in each measurement unit region as a reference value for each measurement unit region; and a first value captured by the camera For one image, a first distribution mode that is a distribution mode of each reference value calculated by the reference value calculation unit in the specific direction, and a second image that is captured by the camera at a time different from the first image The first distribution mode or the second distribution mode is shifted in the specific direction with respect to the second distribution mode that is the distribution mode of the specific direction of each reference value calculated by the reference value calculation unit. Calculate correlation And a camera displacement amount calculation unit that calculates a displacement amount of the camera from the time of capturing the first image to the time of capturing the second image based on the shift amount when the degree of correlation becomes the highest. (First invention).
  • the reference value calculation unit calculates the reference value of each measurement unit area of the measurement area for the captured image of the camera.
  • This reference value indicates the overall tendency of the luminance or saturation of each measurement unit area, and each measurement unit area is obtained by dividing the measurement area with a width in the specific direction.
  • the distribution mode of each reference value in the specific direction indicates the overall distribution state of the luminance or saturation in the specific direction in the measurement region.
  • the camera displacement amount calculation unit calculates the first distribution mode and the second image for the first image calculated for the first image and the second image captured at different times.
  • the degree of correlation with the second distribution mode is calculated by shifting the first distribution mode or the second distribution mode in the specific direction. Furthermore, the camera displacement amount calculation unit calculates the displacement amount of the camera based on the shift amount when the degree of correlation becomes the highest.
  • the first distribution mode and the second distribution mode indicate an overall luminance or saturation distribution state in the measurement region. Therefore, the camera displacement amount calculation unit reduces the influence of the change in the imaging target of the measurement area between the first image and the second image due to the displacement of the camera, and performs imaging in the measurement area.
  • the shift amount of the object in the specific direction can be calculated. Since the specific direction corresponds to the vertical direction in the real space, the camera displacement amount calculation unit can accurately calculate the displacement amount of the camera in the vertical direction based on the shift amount.
  • the camera includes a road ahead of a vehicle on which the camera is mounted in an imaging range, and the measurement area is set according to a position of an image portion of the road in a captured image of the camera. (2nd invention).
  • the camera displacement amount calculated by the camera displacement amount calculation unit is set. Accuracy can be increased.
  • the measurement area changing unit is provided that changes the measurement area according to the position of the image part of the road in the image captured by the camera or the position of the image part of the location around the road. (3rd invention).
  • the measurement area changing unit causes the measurement area changing unit to change the position of the image area of the road in the image captured by the camera or the position of the image area of the object around the road. Processing such as changing the measurement area so that the ratio of the image portion of the road is increased or changing the measurement area excluding the image portion of another vehicle is performed. Then, by changing the measurement area in this way, it is possible to suppress a decrease in accuracy of the camera displacement amount calculated by the camera displacement amount calculation unit due to the influence of the image portion other than the image portion of the road. can do.
  • Explanatory drawing of the attachment aspect to the vehicle of a camera and a vehicle travel assistance apparatus The block diagram of a vehicle travel assistance apparatus.
  • Explanatory drawing of a vertical luminance vector Explanatory drawing of the process which calculates the displacement amount of a camera by the correlation degree of the vertical-luminance vector in a time series image.
  • the displacement detection apparatus of the vehicle-mounted camera of this invention is comprised as a part of function of the vehicle travel assistance apparatus 10 mounted in the vehicle 1 (own vehicle).
  • the vehicle 1 is equipped with a camera 20 (on-vehicle camera) and a vehicle travel support device 10.
  • the camera 20 is mounted in the vehicle so as to capture the front of the vehicle 1 through the front window.
  • the left and right direction (vehicle width direction) of the vehicle 1 is the X axis and the vertical direction with the mounting portion of the camera 20 as the origin.
  • a real space coordinate system is defined in which the (vertical direction) is the Y-axis and the front-rear direction (traveling direction) is the Z-axis.
  • the vehicle 1 is provided with a speed sensor 21, an acceleration sensor 22, a yaw rate sensor 23, a steering device 30, and a braking device 31 in addition to the vehicle travel support device 10.
  • the speed sensor 21 outputs a detection signal for the speed of the vehicle 1
  • the acceleration sensor 22 outputs a detection signal for the acceleration of the vehicle 1
  • the yaw rate sensor 23 outputs a detection signal for the yaw rate of the vehicle 1.
  • the vehicle travel support device 10 is an electronic unit composed of a CPU, a memory, and the like, and receives a video signal of the camera 20 and detection signals of the sensors 21, 22, and 23.
  • the vehicle travel support device 10 has a function of detecting the amount of displacement of the camera 20 in the Y-axis direction as the vehicle 1 swings in the vertical direction and correcting (pitch correction) the displacement of the captured image of the camera 20. And the structure which detects this displacement amount corresponds to the displacement amount detection apparatus of the vehicle-mounted camera of this invention.
  • the vehicle travel support device 10 is configured to perform pitch correction by causing a CPU to execute a vehicle travel support control program stored in a memory, and includes a measurement region changing unit 11, a reference value calculating unit 12, It functions as a camera displacement amount calculation unit 13 and a pitch correction unit 14.
  • the vehicle travel support device 10 performs pitch correction on the captured image of the camera 20, detects a lane mark provided on the road from the captured image after the pitch correction, and recognizes the travel lane of the vehicle 1.
  • the vehicle 1 further includes a steering device 30 and a braking device 31, and the vehicle travel support device 10 controls the operation of one or both of the steering device 30 and the braking device 31, so that the vehicle 1 is removed from the traveling lane.
  • the driving support control is performed so as not to deviate.
  • the vehicle travel support device 10 demosaikes the output of the pixel of the camera 20 and calculates RGB color data of each pixel in STEP 20.
  • the camera 20 of the present embodiment uses a Bayer array single-plate image sensor, and thus, demosaicing of STEP 20 was performed, but a three-plate RGB independent image sensor was used. In the case of a camera, the demosaicing process is unnecessary.
  • STEP 30 to STEP 50 are processes by the reference value calculation unit 12.
  • the image captured by the camera 20 has a vertical coordinate (y coordinate) of 0 to N (pixels) and a horizontal coordinate (x coordinate) of 0 to M (pixels) (N + 1) ⁇ ( M + 1) is an image Im of pixels.
  • the y-axis direction corresponds to a specific direction of the present invention corresponding to the vertical direction in real space.
  • the reference value calculation unit 12 has N + 1 measurement unit regions D0 having 1 ⁇ (M + 1) pixels in which the image Im has the same y coordinate and the x coordinate is 0 to M. Divide into DN.
  • the width of the measurement unit region in the y-axis direction may be a plurality of pixels instead of one pixel (one line).
  • the vertical luminance vector VEC (t) of the following equation (2) is set with components in a range narrower than N (s to s + w, 1 ⁇ s, w ⁇ N,) for N (maximum 30 pixels), and the process proceeds to STEP 60 End the process.
  • the reference value calculation unit 12 sets the vertical luminance vector VEC (t) for the images Im sequentially captured by the camera 20 (for example, every 33 msec).
  • the vertical direction (Y direction) of the camera 20 is obtained. The amount of displacement is obtained.
  • the distribution of the component of VEC (t 2 ) has a tendency to shift the distribution of the component of VEC (t 1 ) upward, and the position of the camera 20 at t 2 is t It can be estimated that the position is shifted downward with respect to the position at 1 .
  • FIG. 5 illustrates a luminance vector VEC (t 2 , ⁇ 1) shifted downward by one pixel.
  • the camera displacement amount calculation unit 13 sequentially calculates VEC (t 2 , i) obtained by shifting the luminance vector VEC (t 2 ) of the second image Im2 up and down by i to sequentially obtain the first image Im1.
  • the degree of correlation with the luminance vector VEC (t 1 ) is calculated.
  • the camera displacement amount calculation unit 13 determines the position of the camera 20 between t 1 and t 2 based on the shift value i when the degree of correlation with the luminance vector VEC (t 1 ) of the first image Im1 is the highest.
  • the amount of displacement ⁇ y in the vertical direction is calculated.
  • the displacement amount ⁇ y of the camera 20 is proportional to the shift value i.
  • the pitch correction unit 14 performs correction (pitch correction) for shifting the second image Im2 by an amount that cancels the displacement amount ⁇ y of the camera 20, and the object detection unit 14 performs the second image after the pitch correction.
  • the detection processing of the image portion of the object of the lane mark is performed.
  • the measurement unit region D (D0 to DN) is set with the entire captured image Im of the camera 20 as the measurement region.
  • a trapezoidal measurement area Ea1 that matches the image portion of the road may be set.
  • the luminance vector VEC can be obtained while avoiding the influence of signs and buildings located around the road.
  • the displacement of the image portion becomes large even when the vehicle 1 is slightly pitched.
  • the error may increase. Therefore, the detection accuracy of the displacement amount of the camera 20 can be increased by setting the measurement area Ea1 so that the vicinity of the horizon far from the vehicle 1 is included.
  • the measurement area changing unit 11 when it is detected that the captured image Im of the camera 20 includes the image parts 50 and 51 of the other vehicle, the measurement area changing unit 11 causes these image parts to be included. It may be changed to the measurement area Ea2 from which is removed.
  • the luminance vector VEC is calculated using the luminance of each pixel of the captured image Im of the camera 20, but the saturation vector is calculated using the saturation of each pixel of the captured image Im.
  • the degree of camera displacement may be obtained by calculating the degree of correlation between the saturation vectors of the captured images at different times.
  • the average value of the luminance values of the pixels in each measurement unit region is set as the reference value of each measurement unit region by the above equation (1), but the sum of the luminance values of the pixels in each measurement unit region is calculated.
  • the value may be used as a reference value for each measurement unit area.
  • the average value and the total value may be properly used in the measurement area.
  • the reference value may be calculated using the total value for the upper half of the measurement region, and the reference value may be calculated using the average value for the lower half of the measurement region.
  • the reference value using the average value and the reference value using the total value may be calculated, and the feature amount increasing (the luminance profile peak due to the luminance vector increasing) may be employed.
  • the camera displacement amount calculation unit 13 shifts the luminance vector in the vertical direction in units of one pixel when calculating the degree of correlation between the luminance vectors of images captured at different times. By shifting in units of less than 1 (for example, 0.1 pixel unit), the displacement calculation accuracy can be improved. In this case, a process of making the discrete function of the above formula (2) continuous (sub-pixel) by a technique such as spline interpolation is performed.
  • a monochrome camera may be used.
  • the process of converting color components into luminance values by the loop 1 of STEP 20 and STEP 30 in FIG. 3 is not necessary.
  • the displacement amount of the in-vehicle camera can be accurately detected from the captured image of the in-vehicle camera. Useful for making corrections.
  • SYMBOLS 1 ... Vehicle, 10 ... Vehicle travel assistance apparatus, 11 ... Measurement area change part, 12 ... Reference value calculation part, 13 ... Camera displacement calculation part, 14 ... Pitch correction part, 20 ... Camera, 21 ... Speed sensor, 22 ... Acceleration sensor, 23 ... yaw rate sensor, 30 ... steering device, 31 ... braking device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

　車載カメラ２０の撮像画像について、測定用領域Ｅaを複数の測定単位領域Ｄ0～ＤNに分割して、各測定単位領域内の画素の輝度値の平均を各測定単位領域の参照値ｒｅ(0,t)，ｒｅ(1,t)，…，ｒｅ(N,1)として算出して、各参照値の垂直方向の分布態様を示す垂直輝度ベクトルＶＥＣ(t)を設定する参照値算出部１２と、ｔ1での撮像画像の垂直輝度ベクトルＶＥＣ(t1)と、ｔ2での撮像画像の垂直輝度ベクトルＶＥＣ(t2)との相関度を、垂直輝度ベクトルＶＥＣ(t2)を垂直方向（ｙ方向）にシフトさせて算出し、相関度が最も高くなったときのシフト量に基づいて、ｔ1～ｔ2におけるカメラ２０の変位量を求めるカメラ変位量算出部１３とを備える。

Description

車載カメラの変位量検出装置
　本発明は、車載カメラの撮像画像に基づいて、車載カメラの変位量を検出する装置に関する。
　カメラの変位量を検出する手法として、例えば、カメラの揺動による画面のゆれを補正するために、カメラの撮像画面にゆれ検出エリアを設定して、時系列の各撮像画像のゆれ検出エリア内の明るさの重心位置を検出し、この重心位置の変化により揺動によるカメラの変化量を求める手法が提案されている（例えば、特許文献１参照）。
特開平４－２８７５７９号公報
　上述した特許文献１に記載された手法により、車載カメラの変位量を検出する場合、車両の走行時には、特に車両の縦揺れ（ピッチング）の影響を受けて、カメラの時系列の各撮像画像におけるゆれ検出エリア内の撮像対象が相違するものとなる。
　そして、この場合に、各撮像画像でのゆれ検出エリアの明るさの重心位置が、異なる物体の撮像部分に対応したものになると、カメラの変位量を精度良く検出することができなくなるという不都合がある。
　本発明はかかる背景を鑑みてなされたものであり、車載カメラの撮像画像から、車載カメラの変位量を精度良く検出する車載カメラの変位量検出装置を提供することを目的とする。
　本発明は上記目的を達成するためになされたものであり、車載カメラによる撮像画像について、所定の測定用領域を実空間上の鉛直方向に相当する特定方向の所定画素数の幅を有する複数の測定単位領域に分割して、各測定単位領域内の画素の輝度値又は彩度値の総和又は平均を各測定単位領域の参照値として算出する参照値算出部と、前記カメラにより撮像された第１画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第１分布態様と、前記カメラにより該第１画像とは異なる時点で撮像された第２画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第２分布態様との間で、該第１分布態様又は該第２分布態様を前記特定方向にシフトさせて相関度を算出し、相関度が最も高くなったときのシフト量に基づいて、前記第１画像の撮像時から第２画像の撮像時までの前記カメラの変位量を算出するカメラ変位量算出部とを備えたことを特徴とする（第１発明）。
　第１発明によれば、前記参照値算出部により、前記カメラの撮像画像について、前記測定用領域の前記各測定単位領域の参照値が算出される。この参照値は各測定単位領域の輝度又彩度の全体的な傾向を示すものであり、各測定単位領域は、前記特定方向の幅を有して前記測定用領域を分割したものであるため、各参照値の前記特定方向の分布態様は、前記測定用領域における前記特定方向の輝度又は彩度の全体的な分布状態を示すものとなる。
　そして、前記カメラ変位量算出部は、異なる時点で撮像された前記第１画像及び前記第２画像に対して算出された、前記第１画像についての前記第１分布態様と前記第２画像についての前記第２分布態様との相関度を、前記第１分布態様又は前記第２分布態様を前記特定方向にシフトさせて算出する。さらに、前記カメラ変位量算出部は、相関度が最も高くなったときのシフト量に基づいて、前記カメラの変位量を算出する。
　この場合、前記第１分布態様と前記第２分布態様は、前記測定用領域内の全体的な輝度又は彩度の分布状態を示すものである。そのため、前記カメラ変位量算出部は、前記カメラの変位による前記第１画像と前記第２画像間での前記測定用領域の撮像対象の変更分の影響を軽減させて、前記測定領域内の撮像物の前記特定方向のシフト量を算出することができる。そして、前記特定方向は実空間上の鉛直方向に相当するため、前記カメラ変位量算出部は、このシフト量に基づいて前記カメラの鉛直方向の変位量を精度良く算出することができる。
　また、第１発明において、前記カメラは、前記カメラが搭載された車両の前方の道路を撮像範囲に含み、前記測定用領域は、前記カメラの撮像画像における道路の画像部分の位置に応じて設定されていることを特徴とする（第２発明）。
　第２発明によれば、輝度又は彩度の分布が安定している道路の画像部分を含む前記測定用領域を設定することで、前記カメラ変位量算出部により算出される前記カメラの変位量の精度を高めることができる。
　また、第２発明において、前記測定用領域を、前記カメラの撮像画像における道路の画像部分の位置又は、道路の周囲の所在物の画像部分の位置に応じて変更する測定用領域変更部を備えたことを特徴とする（第３発明）。
　第３発明によれば、前記測定用領域変更部により、前記カメラの撮像画像における道路の画像部分の位置又は、道路の周囲の所在物の画像部分の位置に応じて、前記測定用領域内で道路の画像部分が占める割合が大きくなるように前記測定用領域を変更する、或いは、他車両の画像部分を除いて前記測定用領域を変更する等の処理が行われる。そして、このように前記測定用領域を変更することにより、道路の画像部分以外の画像部分の影響によって、前記カメラ変位量算出部により算出される前記カメラの変位量の精度が低下することを抑制することができる。
カメラ及び車両走行支援装置の車両への取付態様の説明図。 車両走行支援装置の構成図。 車両走行支援装置における垂直輝度ベクトルの算出処理のフローチャート。 垂直輝度ベクトルの説明図。 時系列画像における垂直輝度ベクトルの相関度により、カメラの変位量を算出する処理の説明図。 測定用領域を変更する例の説明図。
　本発明の実施形態について、図１～図５を参照して説明する。図１を参照して、本実施形態において、本発明の車載カメラの変位量検出装置は、車両１（自車両）に搭載された車両走行支援装置１０の機能の一部として構成されている。車両１には、カメラ２０（車載カメラ）と車両走行支援装置１０とが搭載されている。
　カメラ２０は、車両１の前方を、フロントウィンドウ越しに撮像するように車内に取り付けられており、カメラ２０の取付部を原点として、車両１の左右方向（車幅方向）をＸ軸、上下方向（鉛直方向）をＹ軸、前後方向（進行方向）をＺ軸とした実空間座標系が定義されている。
　図２を参照して、車両１には、車両走行支援装置１０の他に、速度センサ２１、加速度センサ２２、ヨーレートセンサ２３、操舵装置３０、及び制動装置３１が備えられている。速度センサ２１は車両１の速度の検出信号を出力し、加速度センサ２２は車両１の加速度の検出信号を出力し、ヨーレートセンサ２３は車両１のヨーレートの検出信号を出力する。
　車両走行支援装置１０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、カメラ２０の映像信号及び各センサ２１，２２，２３の検出信号が入力される。車両走行支援装置１０は、車両１の上下方向の揺動に伴うカメラ２０のＹ軸方向の変位量を検出して、カメラ２０の撮像画像のずれを補正（ピッチ補正）する機能を有しており、この変位量を検出する構成が本発明の車載カメラの変位量検出装置に相当する。
　車両走行支援装置１０は、メモリに保持された車両走行支援用の制御プログラムをＣＰＵに実行させることによって、ピッチ補正を行うための構成である、測定用領域変更部１１、参照値算出部１２、カメラ変位量算出部１３、及びピッチ補正部１４として機能する。車両走行支援装置１０は、カメラ２０の撮像画像に対してピッチ補正を行い、ピッチ補正後の撮像画像から道路に設けられたレーンマークを検出して、車両１の走行レーンを認識する。
　車両１には、さらに、操舵装置３０と制動装置３１が搭載され、車両走行支援装置１０は、操舵装置３０と制動装置３１の一方又は両方の作動を制御することにより、車両１が走行レーンから逸脱しないようにする走行支援制御を実行する。
　次に、図３に示したフローチャートに従って、参照値算出部１２による処理について説明する。車両走行支援装置１０は、ＳＴＥＰ１０でカメラ２０により撮像された画像（カラー画像）を入力すると、ＳＴＥＰ２０で、カメラ２０の画素の出力をデモザイキングして、各画素のＲＧＢカラーのデータを算出する。なお、本実施形態のカメラ２０は、ベイヤ（Ｂａｙｅｒ）配列の単板方式の撮像素子を用いているため、ＳＴＥＰ２０のデモザイキングを行ったが、３板方式のＲＧＢ独立型の撮像素子を用いたカメラの場合には、デモザイキングの処理は不要である。
　ＳＴＥＰ３０～ＳＴＥＰ５０は、参照値算出部１２による処理である。カメラ２０により撮像される画像は、図４に示したように垂直座標（ｙ座標）が０～Ｎ（画素）、水平座標（ｘ座標）が０～Ｍ（画素）である（Ｎ＋１）×（Ｍ＋１）画素の画像Ｉmである。なお、ｙ軸方向は実空間上の鉛直方向に相当する本発明の特定方向に相当する。
　参照値算出部１２は、ＳＴＥＰ３０のループ１を実行して、ＳＴＥＰ３１により、画像Ｉmの各座標（ｘ，ｙ）（ｘ＝0,1,2,…,M、y=0,1,2,…,N）の画素のＲ，Ｇ，Ｂのデータを輝度値に変換して、各画素の輝度値Ｉ(x,y,t)（ｔは撮像時点を示す）とする。なお、各画素のＲ，Ｇ，Ｂデータのうちの一つを選択して各画素の輝度値の代替としてもよい。
　次のＳＴＥＰ４０のループで、参照値算出部１２は、画像Ｉmをｙ座標が同一であってｘ座標が０～Ｍである１×（Ｍ＋１）分の画素を持ったＮ＋１個の測定単位領域Ｄ0～ＤNに分割する。なお、測定単位領域のｙ軸方向の幅を１画素（１ライン）ではなく、複数画素としてもよい。
　そして、参照値算出部１２は、以下の式（１）により、各測定単位領域の画素の輝度値の平均値を、各測定単位領域の参照値ｒｅ(y,t)（ｙ＝0,1,…,N、ｔは画像Ｉmの撮像時点）として算出する。
Figure JPOXMLDOC01-appb-M000001
　次のＳＴＥＰ５０で、参照値算出部１２は、各測定単位領域の参照値ｒｅ(y,t)（y＝0,1,2,…,N）のうち、少なくとも、後述するシフト量（例えば、最大３０画素）分はＮよりも狭い範囲（ｓ～ｓ＋ｗ、１＜ｓ，ｗ＜Ｎ、）を成分とする以下の式（２）の垂直輝度ベクトルＶＥＣ(t)を設定し、ＳＴＥＰ６０に進んで処理を終了する。
Figure JPOXMLDOC01-appb-M000002
　以上説明した処理により、参照値算出部１２は、カメラ２０により順次（例えば、33msec毎）撮像される画像Ｉmに対して、垂直輝度ベクトルＶＥＣ(t)を設定する。なお、垂直輝度ベクトルＶＥＣ(t)は、参照値ｒｅ(y,t)の垂直方向（ｙ方向）のｙ＝ｓ～ｓ＋ｗの範囲での分布態様を示すものである。
　そして、カメラ変位量算出部１３は、図５に示したように、異なる時点ｔ1，ｔ2（＝ｔ1＋33msec）で撮像された画像Ｉm1とＩm2について算出された、画像Ｉm1の輝度ベクトルＶＥＣ(ｔ1)と画像Ｉm2の輝度ベクトルＶＥＣ(ｔ2)との相関度を、輝度ベクトルＶＥＣ(ｔ2)の成分をｙ方向にシフトしながら求めることによって、カメラ２０の垂直方向（Ｙ方向）の変位量を求める。
　図５において、ＶＥＣ(ｔ2)の成分の分布は、ＶＥＣ(ｔ1)の成分の分布を上方向にシフトした傾向を持つものとなっており、ｔ2でのカメラ２０の位置が、ｔ1での位置に対して下向に変位したと推定することができる。
　カメラ変位量算出部１３は、以下の式（３）に示したように、輝度ベクトルＶＥＣ(ｔ2)を上下方向にシフトした輝度ベクトルＶＥＣ(ｔ2,ｉ)（ｉはシフト値、ｉ＝±1，±2，…、＋は上シフト、－は下シフト）を所定のシフト範囲内で順次求めて、輝度ベクトルＶＥＣ(ｔ1)との相関度を算出する。
Figure JPOXMLDOC01-appb-M000003
　図５では、下方向に１画素分シフトした輝度ベクトルＶＥＣ(ｔ2,-1)を例示している。カメラ変位量算出部１３は、このようにして、第２画像Ｉm2の輝度ベクトルＶＥＣ(t2)を上下にｉだけシフトさせたＶＥＣ(t2,i)を順次算出して、第１画像Ｉm1の輝度ベクトルＶＥＣ(t1)との相関度を算出する。
　そして、カメラ変位量算出部１３は、第１画像Ｉm1の輝度ベクトルＶＥＣ(t1)との相関度が最も高くなったときのシフト値ｉに基づいて、ｔ1とｔ2間におけるカメラ２０の垂直方向の変位量Δｙを算出する。カメラ２０の変位量Δｙはシフト値ｉに比例したものとなる。
　ピッチ補正部１４は、第２画像Ｉm2についてカメラ２０の変位量Δｙを相殺する分だけシフトする補正（ピッチ補正）を行い、対象物検知部１４は、このピッチ補正を行った後の第２画像Ｉm2に対して、レーンマークの物体の画像部分の検出処理を行う。これにより、車両１のピッチング（鉛直方向の揺動）の影響によって、第１画像と第２画像間でのレーンマークの検出位置の推移が、本来の位置からずれたものとなることを防止することができる。そして、このずれにより、レーンマークの位置の認識精度が低下することを防止することができる。
　なお、本実施形態では、図４に示したように、カメラ２０の撮像画像Ｉmの全体を測定用領域として、測定単位領域Ｄ（Ｄ0～ＤN）を設定したが、測定用領域変更部１１により、図６（ａ）に示したように、道路の画像部分に合わせた台形形状の測定用領域Ｅa1を設定してもよい。
　このように測定用領域Ｅa1を設定することによって、道路の周囲に所在する標識や建造物等の影響を避けて、輝度ベクトルＶＥＣを求めることができる。
　また、カメラ２０のピッチ量を求める際に、車両１に近い物体の画像部分を用いると、車両１のわずかなピッチングに対しても画像部分の変位が大きくなるため、カメラ２０の変位量検出の誤差が大きくなる場合がある。そこで、車両１から遠く離れた地平線付近が含まれるように測定用領域Ｅa1を設定することで、カメラ２０の変位量の検出精度を高めることができる。
　また、図６（ｂ）に示したように、カメラ２０の撮像画像Ｉmに、他車両の画像部分５０，５１が含まれることが検出されたときには、測定領域変更部１１により、これらの画像部分が除かれる測定用領域Ｅa2に変更してもよい。
　また、本実施の形態では、カメラ２０の撮像画像Ｉmの各画素の輝度を用いて輝度ベクトルＶＥＣを算出したが、撮像画像Ｉmの各画素の彩度を用いて彩度のベクトルを算出し、異なる時点での撮像画像の彩度ベクトル間の相関度を算出して、カメラの変位量を求めてもよい。
　また、本実施の形態では、上記式（１）により、各測定単位領域の画素の輝度値の平均値を各測定単位領域の参照値としたが、各測定単位領域の画素の輝度値の合計値を各測定単位領域の参照値としてもよい。
　さらに、平均値と合計値を測定用領域の中で使い分けてもよい。例えば、測定用領域の上半分は合計値を用いて参照値を算出し、測定用領域の下半分は平均値を用いて参照値を算出するようにしてもよい。また、平均値を用いた参照値と合計値を用いた参照値の双方を算出して、特徴量が多くなる方（輝度ベクトルによる輝度プロファイルのピークが大きくなる方）を採用してもよい。
　また、本実施の形態において、カメラ変位量算出部１３は、異なる時点で撮像された画像の輝度ベクトル間の相関度を算出する際に、輝度ベクトルを１画素単位で上下方向にシフトしたが、１未満の単位（例えば０．１画素単位）でシフトさせることによって、変位量の算出精度を向上させることができる。この場合は、上記式（２）の離散的な関数をスプライン補間等の技術により連続化（サブピクセル化）する処理を行う。
　また、本実施の形態では、カラーカメラ２０を用いた例を示したが、白黒のカメラを用いてもよい。白黒カメラを用いた場合には、図３のＳＴＥＰ２０，ＳＴＥＰ３０のループ１により、カラー成分を輝度値に変換する処理は不要である。
　以上のように、本発明の車載カメラの変位量検出装置によれば、車載カメラの撮像画像から、車載カメラの変位量を精度良く検出することができるため、車載カメラの撮像画像に対してピッチ補正を行うために有用である。
　１…車両、１０…車両走行支援装置、１１…測定領域変更部、１２…参照値算出部、１３…カメラ変位量算出部、１４…ピッチ補正部、２０…カメラ、２１…速度センサ、２２…加速度センサ、２３…ヨーレートセンサ、３０…操舵装置、３１…制動装置。

Claims (3)

  1. 　車載カメラによる撮像画像について、所定の測定用領域を実空間上の鉛直方向に相当する特定方向の所定画素数の幅を有する複数の測定単位領域に分割して、各測定単位領域内の画素の輝度値又は彩度値の総和又は平均を各測定単位領域の参照値として算出する参照値算出部と、
    　前記カメラにより撮像された第１画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第１分布態様と、前記カメラにより該第１画像とは異なる時点で撮像された第２画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第２分布態様との間で、該第１分布態様又は該第２分布態様を前記特定方向にシフトさせて相関度を算出し、相関度が最も高くなったときのシフト量に基づいて、前記第１画像の撮像時から第２画像の撮像時までの前記カメラの変位量を算出するカメラ変位量算出部と
    を備えたことを特徴とする車載カメラの変位量検出装置。
  2. 　請求項１記載の車載カメラの変位量検出装置において、
    　前記カメラは、前記カメラが搭載された車両の前方の道路を撮像範囲に含み、
    　前記測定用領域は、前記カメラの撮像画像における道路の画像部分の位置に応じて設定されていることを特徴とする車載カメラの変位量検出装置。
  3. 　請求項２記載の車載カメラの変位量検出装置において、
    　前記測定用領域を、前記カメラの撮像画像における道路の画像部分の位置又は、道路の周囲の物体の画像部分の位置に応じて変更する測定用領域変更部を備えたことを特徴とする車載カメラの変位量検出装置。
PCT/JP2011/075854 2010-11-16 2011-11-09 車載カメラの変位量検出装置 WO2012066999A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/823,598 US20130169800A1 (en) 2010-11-16 2011-11-09 Displacement magnitude detection device for vehicle-mounted camera
CN201180044007.8A CN103109522B (zh) 2010-11-16 2011-11-09 车载摄像头位置变化量检测装置
JP2012544203A JP5616974B2 (ja) 2010-11-16 2011-11-09 車載カメラの変位量検出装置
EP11840713.9A EP2605506B1 (en) 2010-11-16 2011-11-09 Displacement magnitude detection device for vehicle-mounted camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-256096 2010-11-16
JP2010256096 2010-11-16

Publications (1)

Publication Number Publication Date
WO2012066999A1 true WO2012066999A1 (ja) 2012-05-24

Family

ID=46083933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075854 WO2012066999A1 (ja) 2010-11-16 2011-11-09 車載カメラの変位量検出装置

Country Status (5)

Country Link
US (1) US20130169800A1 (ja)
EP (1) EP2605506B1 (ja)
JP (1) JP5616974B2 (ja)
CN (1) CN103109522B (ja)
WO (1) WO2012066999A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103661138A (zh) * 2012-09-13 2014-03-26 昆达电脑科技(昆山)有限公司 于用户界面上调整车辆摄像头位置的装置及其方法
CN114862854A (zh) * 2022-07-07 2022-08-05 上海群乐船舶附件启东有限公司 一种船舶电器配件缺陷检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101340014B1 (ko) * 2011-12-09 2013-12-10 에스엘 주식회사 위치 정보 제공 장치 및 방법
JPWO2016121406A1 (ja) * 2015-01-28 2017-09-07 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
KR102766407B1 (ko) * 2018-10-01 2025-02-13 삼성전자주식회사 냉장고, 서버 및 냉장고의 객체 인식 방법
CN111397520B (zh) * 2020-04-23 2020-11-17 徐州宏远通信科技有限公司 基于图像识别的耙式浓缩池沉淀层厚度检测方法及装置
CN112135122A (zh) * 2020-09-21 2020-12-25 北京百度网讯科技有限公司 用于监测成像设备的方法、装置、电子设备以及路侧设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03268112A (ja) * 1990-03-19 1991-11-28 Mazda Motor Corp 移動車の環境認識装置
JPH0923419A (ja) * 1995-07-05 1997-01-21 Mitsubishi Electric Corp 画像処理装置
JP2002112252A (ja) * 2000-09-28 2002-04-12 Toshiba Corp 画像処理装置及び画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
KR0175372B1 (ko) * 1995-08-29 1999-03-20 김광호 캠코더의 움직임 벡터 검출장치 및 그 검출방법
JPH09161060A (ja) * 1995-12-12 1997-06-20 Mitsubishi Electric Corp 車両用周辺監視装置
US6630950B1 (en) * 1998-03-19 2003-10-07 Canon Kabushiki Kaisha Apparatus for improving image vibration suppression
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
EP1870857A1 (en) * 2006-06-19 2007-12-26 Koninklijke Philips Electronics N.V. Global motion estimation
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
FR2923933B1 (fr) * 2007-11-16 2010-03-26 Valeo Vision Procede de detection d'un phenomene perturbateur de visibilite pour un vehicule
FR2940205B1 (fr) * 2008-12-19 2011-11-25 Valeo Vision Sas Procede de commutation du mode d'eclairage de projecteurs pour vehicule automobile.
JP5188452B2 (ja) * 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
FR2947937B1 (fr) * 2009-07-08 2012-03-02 Valeo Vision Sas Procede de determination d'une region d'interet dans une image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03268112A (ja) * 1990-03-19 1991-11-28 Mazda Motor Corp 移動車の環境認識装置
JPH0923419A (ja) * 1995-07-05 1997-01-21 Mitsubishi Electric Corp 画像処理装置
JP2002112252A (ja) * 2000-09-28 2002-04-12 Toshiba Corp 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2605506A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103661138A (zh) * 2012-09-13 2014-03-26 昆达电脑科技(昆山)有限公司 于用户界面上调整车辆摄像头位置的装置及其方法
CN103661138B (zh) * 2012-09-13 2016-01-20 昆达电脑科技(昆山)有限公司 于用户界面上调整车辆摄像头位置的装置及其方法
CN114862854A (zh) * 2022-07-07 2022-08-05 上海群乐船舶附件启东有限公司 一种船舶电器配件缺陷检测方法

Also Published As

Publication number Publication date
CN103109522B (zh) 2016-05-11
JP5616974B2 (ja) 2014-10-29
EP2605506A1 (en) 2013-06-19
CN103109522A (zh) 2013-05-15
JPWO2012066999A1 (ja) 2014-05-12
EP2605506A4 (en) 2014-11-12
US20130169800A1 (en) 2013-07-04
EP2605506B1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
JP5616974B2 (ja) 車載カメラの変位量検出装置
CN100524385C (zh) 车辆用行驶划分线识别装置
JP5016073B2 (ja) 白線認識装置
WO2016135736A2 (en) Road vertical contour detection using a stabilized coordinate frame
WO2015198930A1 (ja) 測距装置および補正パラメータを用いた測距補正装置
JP5921983B2 (ja) 車載撮像装置
JP2008182652A (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
EP2770478B1 (en) Image processing unit, imaging device, and vehicle control system and program
US20140055572A1 (en) Image processing apparatus for a vehicle
WO2019156072A1 (ja) 姿勢推定装置
JP2013129264A (ja) 車載カメラのキャリブレーション方法及び車載カメラのキャリブレーション装置
CN108082192B (zh) 车道偏离预警方法及装置
CN111316322B (zh) 路面区域检测装置
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2010087743A (ja) 車載カメラの校正装置
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP6941949B2 (ja) 車両用映像表示装置
WO2020162498A1 (ja) 情報処理装置
CN100576283C (zh) 车辆用行驶划分线识别装置
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
JP2005318568A (ja) 画像補正装置、および画像補正方法
JP2015121954A (ja) 輝度値算出装置及び車線検出システム
JP2018059744A (ja) 自車位置認識装置
JP5182589B2 (ja) 障害物検出装置
WO2016006286A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180044007.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11840713

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012544203

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13823598

Country of ref document: US

Ref document number: 2011840713

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载