WO2018173243A1 - ステレオカメラ装置 - Google Patents
ステレオカメラ装置 Download PDFInfo
- Publication number
- WO2018173243A1 WO2018173243A1 PCT/JP2017/011909 JP2017011909W WO2018173243A1 WO 2018173243 A1 WO2018173243 A1 WO 2018173243A1 JP 2017011909 W JP2017011909 W JP 2017011909W WO 2018173243 A1 WO2018173243 A1 WO 2018173243A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- stereo
- camera
- video input
- image
- Prior art date
Links
Images
Definitions
- a stereo measurement apparatus that measures an object or an environment using a plurality of cameras has been put into practical use.
- control is performed by various measurements using an in-vehicle stereo camera of an automobile.
- the vehicle is controlled by measuring the front-rear direction from a camera even in automatic driving of a car.
- stereo cameras in the surveillance field and marketing.
- stereo three-dimensional measurement two cameras photograph the same object at the same time, perform distortion correction and parallelization on the obtained image, and calculate a difference and parallax on the image. And the shape of a three-dimensional object etc. can be measured using the calculated parallax.
- the measurement range is fixed depending on specifications such as camera parameters, field angle, and parallax depth.
- the measurement range is defined from 2 m to 40 m in front of the camera. That is, there is a problem that it becomes impossible to measure 2 m or less and 40 m or more from the front of the camera.
- Patent Document 1 there is one described in Patent Document 1 as a means having a high ability to detect the surrounding situation.
- image recognition including an optical flow unit that detects a moving state of an object and a moving object state detecting unit that detects a state of the moving object from a detection result detected from a stereo measurement unit that detects the distance of the object.
- An apparatus is disclosed.
- Patent Document 2 discloses that high-accuracy three-dimensional measurement is realized even in a wide range by searching for high-precision parallax using images taken from a plurality of different viewpoints.
- Patent Document 1 it is possible to propose a method of monitoring with a separate sensor or another additional camera for the blind spot problem that cannot be measured in stereo.
- integration with another sensor and an increase in additional cost are necessary.
- the information of another sensor and another additional camera does not include three-dimensional information, it is not easy to maintain monitoring accuracy. Also, changing the camera setting value for the shooting direction and zoom of the camera based on the detection result is not disclosed.
- Patent Document 2 Although the measurement accuracy is improved with respect to the three-dimensional measurement in a certain range, it is not easy to dynamically adjust the measurement range according to the danger or abnormality that has occurred in the field.
- an object of the present invention is to provide a highly reliable stereo camera device that takes into account the blind spot area.
- a stereo camera device in order to solve the above problems, a plurality of actual video input units that capture an image of an object or a region, and a camera control unit that changes a setting value at the time of capturing the actual video input unit, ,
- An image acquisition unit that converts an electronic signal input from the real video input unit, a monitoring unit that detects abnormality or danger based on the image information acquired by the image acquisition unit, and a detection by the monitoring unit Based on the obtained information, a stereo control unit that calculates a control value when the real video input unit is made stereo, and from the real video input unit to the object or region based on the information acquired by the image acquisition unit
- a distance calculation unit that calculates a distance of the camera, wherein the camera control unit changes a setting value at the time of shooting of the real image input unit based on a control value calculated by the stereo control unit. Characterized in that it.
- FIG. 1 It is a block diagram which shows the system configuration
- the real image input unit (stereo camera) 10 basically includes an imaging unit and a lens.
- the stereo camera receives external images from the left and right camera lenses.
- the imaging unit is a mechanism including an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) which is an image sensor.
- the lens is a zoomable lens. By zooming the lens, it is possible to image not only the near area but also the telephoto area.
- the scene to be photographed is not specified, but if it is a stereo camera for the monitoring function, a moving object, a surveillance area, or the like can be considered as a photographing target.
- a road or a car ahead can be considered as a shooting scene.
- the shooting can be performed even in a complicated shooting scene or a simple shooting scene, and the shot video is input.
- the camera of the first embodiment may be a camera that can change the focal length, the rotation angle, the distance between the cameras, and the like.
- the image acquisition unit 11 is a unit that converts an electronic signal input from the real video input unit 10 into an image.
- image formats there are various image formats, and the image format is determined by the system such as BMP, JPEG, or PNG.
- the real video input unit 10, the image acquisition unit 11, and the camera control unit 12 described above are provided in each of the right and left cameras. That is, as shown in FIG. 1, it is comprised by the right demonstration input part, the left demonstration input part, the right image acquisition part, the left image acquisition part, the right camera control part, and the left camera control part.
- the monitoring unit 13 uses the image information input from the image acquisition unit 11 to monitor and detect abnormalities and dangers.
- the abnormalities and dangers here vary depending on the shooting scene.
- Example 1 is a vehicle-mounted camera, it corresponds to a time when a person or a vehicle suddenly appears from the front of the operation or a suspicious dangerous object enters.
- Various methods have been studied for intruder detection. For example, in the method “Matsuyama et al., Background difference robust against lighting changes”, a background model can be reproduced and an intruder can be detected by a monitoring scene.
- a method of detecting a specific person or an abnormal thing from an image by machine learning has been proposed.
- SIFT Scale-Invant Feature Transform
- HOG Heistograms of Oriented Gradients
- discriminator Adaboost SVM (supported vector machine)
- the stereo control unit 14 receives the alarm output from the monitoring unit 13, and calculates a control value for the stereo conversion of the camera based on the detected abnormality and danger information. Based on the calculated control value, the camera control unit 12 adjusts the parameters of the right camera and the left camera. This makes the camera stereo.
- FIG. 3 is a diagram illustrating a configuration example of the stereo control unit 14.
- the alarm observation unit 31 determines whether there is an alarm 30 from the monitoring unit 13.
- the alarm information is output from the alarm observation unit 31 to the alarm analysis unit 32.
- distance information detected by a laser sensor used in the monitoring unit 13 can be considered as alarm information.
- the alarm analysis unit 32 specifies a camera to be controlled based on the alarm information. For example, if detection is received from the right camera, it is determined that it is necessary to further measure both cameras in stereo for the observation area of the right camera, and it is possible to decide to control the left camera. . Then, the current camera setting unit 33 acquires the current setting values of the left and right cameras.
- the installation value means a parameter value of the zoom value, the rotation value, and the inter-camera distance of the camera.
- the control calculation unit 34 calculates a control value 20 for stereoization based on the camera installation value acquired by the camera current state unit 33 and the result determined by the alarm analysis unit 32, and based on the calculated control value 20,
- the left camera control unit 13 controls the camera to make it stereo. This operation makes it possible to intelligently control the stereo camera, so that the angle and direction of the stereo camera can be changed separately, and a stereo camera device that can be stereoified dynamically according to abnormalities and dangers. Can be provided. In addition, when two different cameras are made stereo, it is possible to make maximum use of camera resources. Furthermore, if necessary, it can be expected that the cost of the camera will be reduced by making it stereo.
- FIG. 4 is a diagram illustrating another configuration example of the stereo control unit 14.
- the alarm is not based on the information detected by the sensor.
- This is an example in which an alarm is detected using an image and a control value 20 is estimated.
- the alarm information for example, the position on the image obtained from the right or left camera can be considered.
- the alarm observation unit is the same as in FIG.
- the image analysis unit 40 receives the left and right camera images 41 as input and analyzes the danger information on the images.
- the image analysis unit 40 can analyze a region range where the danger has occurred, a place where the danger has occurred, and the like. For example, when a danger is detected from the image of the right camera, the left camera is controlled to make the left and right cameras stereo.
- the control estimation unit 42 changes the parameters of the left camera while comparing the images of the left and right cameras, and estimates the control value until it can be made stereo. Then, the estimated control value is output.
- the camera control unit 12 quickly controls the camera based on the control value obtained when the stereo control unit 14 acquires the stereo image, and the stereo image is generated. By doing so, it is possible to acquire the abnormal or dangerous state in detail as the left and right camera images and camera information.
- the distance calculation unit 15 calculates the distance using the acquired left and right camera images and camera information.
- FIG. 5 is a diagram illustrating a configuration example of the distance calculation unit.
- the camera calibration unit estimates the current camera parameters from the camera installation value 50. Camera parameters are camera information indicating the focal length, orientation, etc. of the camera, and can be broadly divided into two parameters: internal parameters and external parameters.
- K is an internal parameter matrix
- f is the focal length
- a is the aspect ratio
- s is the skew
- (vc, uc) is the center coordinate of the image coordinates.
- D is an external parameter matrix
- (r11, r12, r13, r21, r22, r23, r31, r32, r33) indicates the direction of the camera
- (tx, ty, tz) indicates the world coordinates of the camera installation position.
- the camera direction (r11, r12,..., R33) indicating the external parameter is represented by three parameters of pan ⁇ , tilt ⁇ , and roll ⁇ , which are camera installation angles, when defined by Euler angles. Therefore, the number of camera parameters necessary for associating the image coordinates with the world coordinates is 11 which is a total of 5 internal parameters and 6 external parameters.
- the distortion correction unit 54 corrects the distortion of the camera image using the camera parameter.
- the parallel processing unit processes the parallelization of the left and right cameras. In other words, the 3D measurement value of the measurement object is
- FIG. 6 is a diagram illustrating another configuration example of the distance calculation unit 15.
- the camera automatic calibration unit automatically estimates camera parameters using the input image.
- estimation methods have been developed. One of them is the automatic calibration method described in “Development of self-calibration technology for variable-parameter stereo camera, Li, 22nd Image Sensing Symposium, IS1-04”. After estimating the parameters, the distance can be obtained by the same principle as in FIG.
- the stereo camera parameters can be intelligently adjusted. In other words, it is possible to detect danger and abnormality by quickly controlling the camera and making it stereo, and to correctly measure the current situation.
- safer and safer control can be performed. For example, when one camera monitors a nearby area and the other camera monitors a telephoto area, if an abnormality or danger occurs in either area, the camera is quickly controlled to make it stereo. It is possible to measure abnormalities and dangers.
- the measurement ranges of the left and right cameras are 71 and 72, and 73 and 74 on the image when measuring the vicinity region.
- the measurement ranges of the left and right cameras are 75 and 76, and 77 and 78 on the image.
- the left and right cameras are measured in separate areas, the near area and the telephoto area. Specifically, the left camera measures the near area, and the right camera measures the telephoto area. Then, when the danger 712 is detected by the left camera, the stereo control is immediately performed, and the right camera is controlled so that the telephoto area can be acquired. Then, the area where the danger has occurred is measured with the left and right cameras in a stereo state. As a result, the blind spot area can be eliminated in the vicinity area of the in-vehicle stereo camera, and the danger can be predicted and measured.
- FIG. 8 is used to explain another embodiment of the stereo camera device shown in FIG.
- the left and right cameras are measured in separate areas, a near area and a telephoto area.
- the left camera measures the vicinity area 71
- the right camera measures the telephoto area 76.
- the image corresponding to the left camera at that time is 73
- the image corresponding to the right camera is 74.
- the right camera detects the danger 80
- the stereo control is immediately performed and the left camera is controlled.
- the left and right cameras are measured in a stereo state in the area where the danger 80 has occurred.
- the blind spot area can be eliminated from the telephoto area of the in-vehicle stereo camera, and the danger can be predicted and measured.
- the image region 73 of the camera 71 has a region 75 that is assumed to be distant. Therefore, virtual stereo processing can be performed using the region 75 and the region 74. As a result, stereo three-dimensional measurement can be easily performed without causing camera control. However, in this case, it is predicted that the measurement resolution will be reduced, so it is desirable to apply a super-resolution technique or the like.
- the fourth embodiment includes a monitoring unit 90 that monitors danger and abnormality, and a stereo control unit 91 that instructs the camera to perform stereo control in accordance with the danger and abnormality risk information acquired by the monitoring unit 90.
- the left and right camera control units 12 are connected to the actual video input unit 10, and the camera control unit 12 adjusts the camera according to the control information of the stereo control unit 91.
- the image acquisition unit 11 converts the electronic signal input from the real video input unit 10 into an image.
- the monitoring unit 90 and the stereo control unit 91 are connected to the camera control unit 12, the actual video input unit 10, and the image acquisition unit 11 via the Internet. Accordingly, for example, the monitoring unit 90 detects danger or abnormality, and an instruction to stereo-control the camera of the stereo control unit 91 according to the danger information acts on the camera control unit 12 via the Internet line to perform camera control. .
- the distance calculation unit 15 calculates the distance using the acquired left and right camera images and camera information. Since the distance calculation unit 15 is connected to the real video input unit 10 and the image acquisition unit 11 via the Internet line, the distance calculation unit 15 can acquire camera images and camera information necessary for distance calculation via the Internet.
- each component is connected to the Internet as described above, but the Internet connection location may be changed as appropriate.
- Example 5 will be described with reference to FIG.
- a place where a surveillance camera is installed such as a railway platform is assumed.
- the stereo camera 100 described in the present embodiment monitors either the near-field or the far-field so that the left and right cameras are different in the vicinity and the distance as proposed in the second and third embodiments. is doing.
- the stereo camera 100 can be made stereo to the vicinity area and monitored, Risk can be prevented.
- the stereo camera device can perform shooting and measurement for multiple purposes, and can provide a more secure and safe service.
- the sixth embodiment is an embodiment in which a stereo camera device using a commercially available PTZ camera is mounted.
- the PTZ camera is a camera that can control pan, tilt, and zoom of the camera. Each camera's specs and control methods vary from manufacturer to manufacturer.
- two or more PTZ cameras 110 are connected to the camera control unit 113 and the image acquisition unit 114 via the network 112, a cable, and the like to perform camera control and distance measurement.
- the camera control unit 113 is a unit that controls the PTZ camera 110 and the baseline stage 111.
- the image acquisition unit 114 is a unit that acquires an image from the PTZ camera via the network 112.
- the monitoring unit 116 is a unit that monitors abnormalities and dangers on the image using the camera image acquired by the image acquisition unit 114.
- the stereo control unit 115 instructs the camera control unit 113 to convert the camera into a stereo based on the danger or abnormality detected by the monitoring unit 116. Then, the camera control unit 113 converts the PTZ camera 110 into a stereo based on an instruction from the stereo control unit 115.
- the distance calculation unit 15 calculates the distance using the camera image and camera information acquired by the PTZ camera, as in the first embodiment.
- This embodiment makes it possible to intelligently adjust the parameters of a commercially available PTZ camera, detect dangers and abnormalities, and quickly measure the current state of the stereo image to correctly measure the current situation.
- safer and safer control can be performed. For example, when one of the PTZ cameras monitors a nearby area and the other PTZ camera monitors a far-field area, if an abnormality or danger occurs in either area, the camera is quickly controlled. By making them stereo, abnormalities and dangers can be measured in detail.
- a commercially available PTZ camera can be used, the control of the camera can be further simplified, and the development cost can be reduced. Further, when connecting the PTZ camera to each configuration, the measurement range of the camera can be further expanded by using the network 112, and can be adapted to various environments.
- each component is connected to the network as described above, but the network connection location may be changed as necessary.
Landscapes
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
死角領域を考慮した高信頼のステレオカメラ装置を提供することを目的とする。 上記の課題を解決するために、物体又は領域を撮影する複数の実映像入力部１０と、実映像入力部１０の撮影に際しての設定値を変更するカメラ制御部１２と、実映像入力部１０から入力された電子信号を画像変換する画像取得部１１と、画像取得部１１で取得された画像情報をもとに異常や危険を検出する監視部１３と、監視部１３で検出した情報をもとに、実映像入力部１０のステレオ化に際しての制御値２０を算出するステレオ制御部１４と、画像取得部１１で取得した情報をもとに実映像入力部１０から物体又は領域までの距離を算出する距離算出部１５と、を有するステレオカメラ装置であって、カメラ制御部１２は、ステレオ制御部１４が算出した制御値２０に基づいて実映像入力部１０の撮影に際しての設定値を変更することを特徴とする。
Description
本発明は、単眼カメラや複数のカメラを有するステレオカメラ装置に関するものである。
従来から複数のカメラを用いて対象物や環境を計測するステレオ計測装置が実用されている。例えば、侵入者検知や危険予防などを目的に自動車の車載ステレオカメラを用いて様々な計測によって制御を行っている。また、自動車自動運転でもカメラより前後方位を計測し、車を制御する実例がある。また、近年では監視分野やマーケティングでもステレオカメラの適応事例でもある。ステレオ三次元計測としては、二台のカメラが同時に同じ対象物を撮影し、得られた画像に対して、歪み補正や平行化を行い、画像上の差分や視差を算出する。そして、算出した視差を用いて三次元対象の形状などを計測することができる。ここで、二台のカメラの計測領域はほぼ同じであることが条件としてある。その場合カメラのパラメータや画角、視差深度などのスペックに依存し、計測範囲は固定されている。例えば、車載ステレオカメラの場合はカメラの前方２ｍから４０ｍまでを計測範囲として定められている。つまり、カメラ前方から２ｍ以下４０ｍ以上は計測できなくなってしまう問題がある。
ここで周囲状況の検出能力が高い手段として、特許文献１に記載されたものがある。特許文献１では、物体の移動状態を検出するオプティカルフロー手段と、物体の距離を検出するステレオ測定手段から検出した検出結果から、移動物体の状態を検出する移動物体状態検出手段を備えた画像認識装置が開示されている。また、特許文献２では、複数の異なる視点から撮影した画像を用いて、精度の高い視差を探索し、広い範囲でも高精度な三次元計測を実現することが開示されている。
特許文献１においてはステレオ計測できない死角問題に対して、別センサや別の追加カメラで監視する提案も考えられる。しかし、この場合は別センサとの統合や追加コストの増加が必要である。また、別センサや別の追加カメラの情報は三次元情報が含まれていないため、監視精度の維持は容易ではない。また、検出結果をもとにカメラの撮影方向やズームについてのカメラ設定値を変更することは開示されていない。
また、特許文献２では、一定範囲での三次元計測に対して計測精度を高めるが、現場で起こった危険や異常に応じて、動的に計測範囲を調整することは容易ではない。
そこで本発明では、死角領域を考慮した高信頼のステレオカメラ装置を提供することを目的とする。
以上の課題を解決するために、本発明に係るステレオカメラ装置では、物体又は領域を撮影する複数の実映像入力部と、前記実映像入力部の撮影に際しての設定値を変更するカメラ制御部と、前記実映像入力部から入力された電子信号を画像変換する画像取得部と、前記画像取得部で取得された画像情報をもとに異常や危険を検出する監視部と、前記監視部で検出した情報をもとに、前記実映像入力部のステレオ化に際しての制御値を算出するステレオ制御部と、前記画像取得部で取得した情報をもとに前記実映像入力部から前記物体又は領域までの距離を算出する距離算出部と、を有するステレオカメラ装置であって、前記カメラ制御部は、前記ステレオ制御部が算出した制御値に基づいて前記実映像入力部の撮影に際しての設定値を変更することを特徴とする。
本発明によれば、死角領域を考慮した高信頼のステレオカメラ装置を提供することが可能になる。
以下、図面を用いて本発明の実施例を説明する。尚、下記はあくまでも実施例であり、本発明の実施態様を下記具体的内容に限定することを意図する趣旨ではない。
ここでは、二つのカメラを有するステレオカメラを例として説明する。図１は、本発明の実施例１に係るステレオカメラ装置の構成を示す図である。
実映像入力部（ステレオカメラ）１０は、基本的には撮像部とレンズで構成されている。そしてステレオカメラは左右カメラのレンズから外部の映像が入力される。撮像部は、画像センサであるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を含む機構である。レンズはズーム可能なレンズである。レンズをズーム動作をすることによって、近傍領域だけでなく遠望領域を撮像することも可能とする。実施例１では撮影するシーンは特定しないが、監視機能向けのステレオカメラであれば移動物体や監視エリアなどが撮影対象として考えられる。車載ステレオカメラであれば、道路や前方車などが撮影シーンとして考えられる。撮影は、複雑な撮影シーンや単純な撮影シーンでも撮影可能であり、撮影された映像が入力される。また、実施例１のカメラは焦点距離や回転角度、カメラ間の距離など変更することが可能なカメラでもよい。
画像取得部１１は、実映像入力部１０から入力した電子信号を画像へ変換する部である。ここでは画像フォマットは様々であり、ＢＭＰ，ＪＰＥＧ，ＰＮＧなどシステムによって画像フォマットは決められる。
カメラ制御部１２は実映像入力部１０を制御するものである。カメラの画角や向き、カメラ間の距離などカメラのパラメータを調整することができる。図２はカメラ制御部１２の構成例を示す図である。カメラ制御部１２はズーム制御部２１、チルト制御部２２、パン制御部２３、位置制御部２４で構成されており、チルト制御部２２はカメラの画角とカメラ向きの水平方向を制御し、パン制御部２３はカメラの画角とカメラの垂直方向を制御する。ズーム制御部２１はレンズ機構を制御するもので、レンズの移動によって焦点距離を変更しカメラの撮像範囲である画角を変更する。位置制御部２４は、カメラ間の距離を調整し、ステレオカメラの場合はベースラインと呼ばれるものを調整する。チルト制御部２２とパン制御部２３はカメラを回転させながら姿勢を変えることができる。以上の調整は、独立でも可能であり同時でも可能である。この調整はシステム仕様や撮影するシーンのニーズに合わせて調整することができる。
次に図１に戻り実施例１について説明する。実施例１では以上で述べた実映像入力部１０、画像取得部１１、カメラ制御部１２を右と左カメラのそれぞれで有する。すなわち図１に示すように、右実映入力部、左実映入力部、右画像取得部、左画像取得部、右カメラ制御部、左カメラ制御部によって構成される。
監視部１３は、画像取得部１１から入力された画像情報を用いて、異常や危険を監視し検出するものである。ここでいう異常や危険は撮影シーンによって種々異なる。実施例１が車載カメラの場合とすると、運行前方より突然人や車両が現れた時や不審危険物が侵入してきた時が該当する。侵入者の検出については様々な方式が研究さている。例えば、方式「松山他、照明変化に頑強な背景差分」では背景モデルを再生し、監視シーンによって侵入するものを検出することができる。近年では、機械学習による画像内から特定の人物や異常なものを検出する方法も提案されている。汎用性の高い方式としてはＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ），ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）と識別機Ａｄａｂｏｏｓｔ，ＳＶＭ（ｓｕｐｐｏｒｔｅｄ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）の組み合わせで識別機を構築し、異常なものを検出する方法がある。また、最近ではＤｅｅｐＬｅａｒｎｉｎｇ技術の発展、異常検知への適用も検討が始まっている。以上のような手法を用いて画像内の危険や異常を検出し、警報することができる。また、監視部１３は画像で判断する方法以外にレーザセンサより侵入など異常を検出することも可能である。
ステレオ制御部１４は監視部１３から出力された警報を受け取り、検知された異常や危険情報に基づいてカメラのステレオ化に際しての制御値を算出する。そして算出された制御値をもとに、カメラ制御部１２で右カメラと左カメラのパラメータを調整する。これよってカメラのステレオ化を行う。
図３はステレオ制御部１４の構成例を示す図である。警報観察部３１は、監視部１３から警報３０があるか否かを判別する。警報３０が検出された場合は、警報観察部３１からその警報の情報を警報分析部３２へ出力する。ここでは、警報の情報として例えば監視部１３で使われるレーザセンサで検出した距離情報などが考えられる。警報分析部３２は警報情報に基づいて制御したいカメラを特定する。例えば、右カメラから検出を受けた場合は右カメラの観測領域に対して、更に両カメラをステレオ化した上で計測する必要があると判断し、左カメラを制御することを決定することができる。そして、カメラ現状取得部３３で現在の左右のカメラの設定値を取得する。設置値は、カメラのズーム値、回転値、カメラ間距離のパラメータ値を意味する。制御算出部３４は、カメラ現状部３３で取得したカメラ設置値と警報分析部３２で判断した結果に基づいてステレオ化に際しての制御値２０を算出し、それをもとに右カメラ制御部１２と左カメラ制御部１３によってカメラを制御し、ステレオ化させる。この動作によって知能的にステレオカメラを制御可能とするため、ステレオカメラの画角、向きを別々に変更が可能となり、異常や危険に応じて動的にステレオ化することが可能なステレオカメラ装置を提供することができる。また、異なる二つカメラをステレオ化されることは、カメラのリソースを最大限に利用することが可能となる。更には必要のみに応じて、ステレオ化することでカメラのコストを削減することが期待できる。
図４はステレオ制御部１４の別の構成例を示す図である。ここでは、センサにより検出した情報をもとにした警報ではない。画像を用いて警報を検出し、制御値２０を推定する実例である。警報情報としては例えば右もしくは左のカメラから得られた画像上での位置などが考えられる。警報観察部は図３と同じである。画像分析部４０は、左右のカメラの画像４１を入力として、画像上の危険情報を分析する。画像分析部４０は、危険が発生した領域範囲や発生した危険の場所などを分析することができる。例えば右カメラの画像から危険検知した場合は、左カメラを制御し左右のカメラをステレオ化する。制御推定部４２は、左右のカメラの画像を比較しながら左カメラのパラメータを変更し、ステレオ化できるまで制御値を推定する。そして推定された制御値を出力する。
図１に戻り実施例１について説明する。左右カメラのどちらかの領域で異常や危険が発生した場合には、ステレオ制御部１４で取得されたステレオ化に際しての制御値をもとにカメラ制御部１２によってカメラを速やかに制御し、ステレオ化させることで詳細に異常や危険な状態を左右のカメラ画像やカメラ情報として取得することができる。そして距離算出部１５は取得した左右のカメラ画像やカメラ情報を用いて距離を算出する。図５は、距離算出部の構成例を示す図である。カメラキャリブレーション部はカメラの設置値５０から現状のカメラパラメータを推定する。カメラパラメータはカメラの焦点距離や向き等を示すカメラ情報であり、内部パラメータと外部パラメータの２つに大別できる。
のようにＫは内部パラメータ行列であり、ｆは焦点距離、ａはアスペクト比、ｓはスキュー、（ｖｃ，ｕｃ）は画像座標の中心座標を示す。またＤは外部パラメータ行列であり、（ｒ１１、ｒ１２、ｒ１３、ｒ２１、ｒ２２、ｒ２３、ｒ３１、ｒ３２、ｒ３３）はカメラの向きを示し、（ｔｘ、ｔｙ、ｔｚ）はカメラ設置位置の世界座標を示す。これら２つのパラメータ行列Ｋ、Ｄ及び定数λを用いると、画像座標（ｕ，ｖ）と世界座標（Ｘ、Ｙ、Ｚ）は
の関係式により対応付けられる。なお、外部パラメータのカメラの向きを示す（ｒ１１、ｒ１２、…ｒ３３）は、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。そのため、画像座標と世界座標の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個となる。歪み補正部５４は、カメラパラメータを用いてカメラ画像の歪みを補正する。そして、平行処理部は左右のカメラの平行化を処理する。つまり計測物の三次元計測値は
のように算出することが可能である。（ｘｌ，ｙｌ），（ｘｒ，ｙｒ）は左右のカメラ画像上の画素値であり、平行化処理後はｙｌ＝ｙｒ＝ｙとなる。ｆは焦点距離、Ｂはベースライン及びカメラ間の距離である。ｄは同じ三次元上のもので、それぞれ左右カメラに投影した画像間の差分である。その差分は三次元上では視差と言う。世界座標と画像座標の関係は、
のようになる。
図６は、距離算出部１５の別の構成例を示す図である。カメラ自動キャリブレーション部は、入力された画像を用いて自動的にカメラパラメータを推定する。推定する方法はいくつか開発されている。その一つとして「パラメータ可変ステレオカメラ向け自己較正技術の開発 李 媛、第２２回画像センシングシンポジウム、ＩＳ１－０４」に記載した自動キャリブレーション手法が挙げられる。パラメータを推定した後に図５と同じ原理で距離を得ることができる。
以上説明した実施例１によれば、ステレオカメラのパラメータを知能的に調整可能となる。つまり、速やかにカメラを制御しステレオ化することで危険や異常を検出でき、正しく現状を計測することが可能となる。そのようなステレオカメラ装置を用いて、更に安心かつ安全な制御ができるようになる。例えば片方のカメラは近傍領域を監視し、もう片方のカメラは遠望領域を監視する時、どちらかの領域で異常や危険が発生した場合にはカメラを速やかに制御しステレオ化させることで、詳細に異常や危険を計測することができる。
図７を用いて実施例１で提案したステレオカメラ装置の実施例を説明する。従来の自動車７０に搭載したステレオカメラは、近傍領域を計測する際には左右のカメラの計測範囲は７１と７２であり、画像上は７３と７４となる。一方、遠望領域を計測する際には左右カメラの計測範囲は７５と７６であり、画像上は７７と７８となる。
ここで左右カメラを共に遠望にした場合は近傍領域に死角領域７９が発生し、画面上に危険や異常７１２が発生する。この場合その危険を検出できず、距離も計測もできない問題が発生する。実際に車を運転する際にはこれらの危険や異常は運転に支障をきたし、死角領域についても計測する必要がある。
本実施例では、ステレオカメラ装置起動当初は左右のカメラそれぞれを近傍領域と遠望領域の別々の領域で計測する。具体的には左カメラは近傍領域を計測し、右は遠望領域を計測するようにしておく。そして、左カメラで危険７１２を検知した場合は、すぐにステレオ化制御をし、右カメラを遠望領域が取得できるように制御する。そして危険が発生した領域を左右のカメラをステレオの状態で計測する。それによって車載ステレオカメラの近傍領域に死角領域を無くすことができ、危険の予測や計測ができるようになる。
図８を用いて図７に示したステレオカメラ装置の別の実施例を説明する。本実施例では、ステレオカメラ装置起動当初は左右のカメラそれぞれを近傍領域と遠望領域の別々の領域で計測する。具体的には左カメラは近傍領域７１を計測し、右は遠望領域７６を計測するようにしておく。その際の左カメラに対応する画像が７３、右カメラに対応する画像が７４である。そして右カメラで危険８０を検知した場合はすぐにステレオ化制御をし、左カメラを制御する。そして危険８０が発生した領域を左右のカメラをステレオの状態で計測する。それによって車載ステレオカメラの遠望領域に死角領域を無くすことができ、危険の予測や計測ができるようになる。
またこの実施例では危険８０が発生した場合、危険領域は遠望である。そのためカメラ７１の画像領域７３の中、遠望と想定している領域７５が存在する。故に領域７５と領域７４を利用して仮想のステレオ処理を行うことも可能である。それによって、カメラの制御を起こさなくても、簡易にステレオ三次元計測をするができる。ただし、この場合は計測分解能を低下することが予測されるので、超解像技術などを適応することが望ましい。
次に図９を用いて実施例４について説明する。実施例４では、図１に示す構成１０から１２、１５の機能は実施例１と同じであるため説明を省略する。実施例４では危険や異常を監視する監視部９０と、監視部９０で取得した危険や異常の危険情報に応じてカメラをステレオ制御指示するステレオ制御部９１を有する。左右のカメラ制御部１２は実映像入力部１０と接続されており、カメラ制御部１２はステレオ制御部９１の制御情報に応じてカメラを調整する。画像取得部１１は実映像入力部１０から入力した電子信号を画像へ変換する。
本実施例において監視部９０及びステレオ制御部９１は、カメラ制御部１２、実映像入力部１０及び画像取得部１１とインターネット経由で相互に接続されている。これによって例えば、監視部９０で危険や異常を検知し、その危険情報に応じたステレオ制御部９１のカメラをステレオ制御する指示がインターネット回線を経由してカメラ制御部１２に働きかけ、カメラ制御を行う。また、距離算出部１５は取得した左右のカメラ画像やカメラ情報を用いて距離を算出する。距離算出部１５が実映像入力部１０及び画像取得部１１とインターネット回線で接続されているため、距離算出部１５は距離算出に必要なカメラ画像やカメラ情報をインターネット経由で取得することができる。
このようにステレオカメラ装置の各構成をインターネット回線で接続することによって、それぞれの構成が遠隔に位置していたとしても高速にカメラを制御し、カメラのステレオ化を可能とする。ここで、本実施例では前述のように各構成をインターネット接続しているが、必要に応じてインターネット接続箇所を適宜変更しても良い。
次に図１０を用いて実施例５について説明する。実施例５では、鉄道ホームなど監視カメラが設置された場所を想定する。本実施例に記載されたステレオカメラ１００は、実施例２や実施例３で提案されたように左右のカメラのそれぞれが近傍と遠望とで相違するように近傍領域もしくは遠望領域のいずれかを監視している。ここで例えば、近傍領域で子供１０１が鉄道ホームの黄色線の外側に行くなどの危険が検知された場合は、ステレオカメラ１００のカメラを近傍領域に対してステレオ化させて監視することができ、危険を予防することができる。
また、鉄道ホームにて多数な人が集まっているような混雑時の場合１０２は、ステレオ化することでステレオカメラ１００の撮像領域を制御し、混雑時の場合１０２の詳細を把握することができる。これによって単なる混雑であるか、事故があるかなどを更に把握することが可能となる。
また、鉄道ホームで車椅子に乗っている人がいる場合１０３には、遠望領域を観測するようにステレオカメラ１００を遠望領域に対してステレオ化させることで、車椅子利用者が困っているか否かを判断することができる。それによって、車椅子利用者に対してサービス提供を行うことが可能である。
このように一台のステレオカメラを本実施例のように適宜ステレオ化処理を行うことで、必要と思われるところを撮像することができ、結果として広範囲を監視することができる。本発明におけるステレオカメラ装置は多目的に撮影や計測をすることができ、更なる安心で安全なサービスを提供することを可能とする。
次に図１１を用いて実施例６について説明する。実施例６は、市販のＰＴＺカメラを用いたステレオカメラ装置を実装する実施例である。ＰＴＺカメラは、カメラのパン、チルト、ズームを制御することが可能なカメラである。カメラのそれぞれスペックや制御方法はメーカごとに異なる。本実施例は、ネットワーク１１２やケーブルなどを経由し二台以上のＰＴＺカメラ１１０をカメラ制御部１１３や画像取得部１１４と接続し、カメラ制御や距離計測を行う実施例である。カメラ制御部１１３は、ＰＴＺカメラ１１０とベースラインステージ１１１を制御する部である。画像取得部１１４は、ネットワーク１１２経由でＰＴＺカメラから画像を取得する部である。監視部１１６は画像取得部１１４で取得したカメラの画像を用いて画像上の異常や危険を監視する部である。ステレオ制御部１１５は、監視部１１６で検出した危険や異常をもとにカメラ制御部１１３がカメラをステレオ化するための指示を行う。そしてカメラ制御部１１３がステレオ制御部１１５の指示をもとにＰＴＺカメラ１１０をステレオ化させる。距離算出部１５は実施例１と同様に、ＰＴＺカメラによって取得したカメラ画像やカメラ情報を用いて距離を算出する。
本実施例によって市販のＰＴＺカメラのパラメータを知能的に調整可能となり、危険や異常を検出でき、速やかにステレオ化の制御を行うことで正しく現状を計測することが可能となる。このようなステレオカメラ装置を用いて、更に安心かつ安全な制御ができるようになる。例えば、ＰＴＺカメラのうち一台は近傍領域を監視し、ＰＴＺカメラのもう一台が遠望領域を監視する時、どちらかの領域で異常や危険が発生した場合には、カメラを速やかに制御し、ステレオ化させることで詳細に異常や危険を計測することができる。本実施例では、市販のＰＴＺカメラを活用することができ、カメラの制御を更に簡易化することができ、開発コストを抑えることもできる。また、ＰＴＺカメラを各構成につなげるに際して、ネットワーク１１２を利用することでカメラの計測範囲を更に広げることができ、様々な環境に適応可能となる。
ここで、本実施例では前述のように各構成をネットワーク接続しているが、必要に応じてネットワーク接続箇所を適宜変更しても良い。
１０：実映像入力部
１１：画像取得部
１２：カメラ制御部
１３：監視部
１４：ステレオ制御部
１５：距離算出部
２０：制御値
２１：ズーム制御部
２２：チルト制御部
２３：制御パン部
２４：パン制御部
３０：警報
３１：警報観察部
３２：警報分析部
３３：カメラ現状取得部
３４：制御算出部
３５：右カメラ設置部
３６：左カメラ設置部
４０：画像分析部
４１：左右カメラの画像
４２：制御推定部
５０：カメラ設定値
５１：カメラキャリブレーション部
５２：カメラパラメータ
５３：画像
５４：歪み補正部
５５：平行処理部
５６：距離算出部
６０：画像
６１：カメラ自動キャリブレーション部
６２：カメラパラメータ
７０：自動車
７１、７２、７５、７６：計測領域
７３，７４、７７、７８：取得した画像
７９：死角領域
７１２：危険や異常
８０：危険や異常
９０：カメラ位置
９１：監視部
９２：ステレオ制御部
１００：ステレオカメラ
１０１：子供
１０２：人群
１０３：車椅子
１１０：ＰＴＺカメラ
１１１：ベースラインステージ
１１２：ネットワック
１１３：カメラ制御部
１１４：画像取得部
１１５：ステレオ制御部
１１６：監視部
１１：画像取得部
１２：カメラ制御部
１３：監視部
１４：ステレオ制御部
１５：距離算出部
２０：制御値
２１：ズーム制御部
２２：チルト制御部
２３：制御パン部
２４：パン制御部
３０：警報
３１：警報観察部
３２：警報分析部
３３：カメラ現状取得部
３４：制御算出部
３５：右カメラ設置部
３６：左カメラ設置部
４０：画像分析部
４１：左右カメラの画像
４２：制御推定部
５０：カメラ設定値
５１：カメラキャリブレーション部
５２：カメラパラメータ
５３：画像
５４：歪み補正部
５５：平行処理部
５６：距離算出部
６０：画像
６１：カメラ自動キャリブレーション部
６２：カメラパラメータ
７０：自動車
７１、７２、７５、７６：計測領域
７３，７４、７７、７８：取得した画像
７９：死角領域
７１２：危険や異常
８０：危険や異常
９０：カメラ位置
９１：監視部
９２：ステレオ制御部
１００：ステレオカメラ
１０１：子供
１０２：人群
１０３：車椅子
１１０：ＰＴＺカメラ
１１１：ベースラインステージ
１１２：ネットワック
１１３：カメラ制御部
１１４：画像取得部
１１５：ステレオ制御部
１１６：監視部
Claims (7)
- 物体又は領域を撮影する複数の実映像入力部と、
前記実映像入力部の撮影に際しての設定値を変更するカメラ制御部と、
前記実映像入力部から入力された電子信号を画像変換する画像取得部と、
前記画像取得部で取得された画像情報をもとに異常や危険を検出する監視部と、
前記監視部で検出した情報をもとに、前記実映像入力部のステレオ化に際しての制御値を算出するステレオ制御部と、
前記画像取得部で取得した情報をもとに前記実映像入力部から前記物体又は領域までの距離を算出する距離算出部と、を備え、
前記カメラ制御部は、前記ステレオ制御部が算出した制御値に基づいて前記実映像入力部の撮影に際しての設定値を変更することを特徴とするステレオカメラ装置。 - 請求項１に記載のステレオカメラ装置であって、
前記カメラ制御部は、前記実映像入力部の焦点距離、回転角度、カメラ間距離若しくはベースラインの何れか又は複数を変更することが可能なステレオカメラ装置。 - 請求項１又は２に記載のステレオカメラ装置であって、
前記複数の実映像入力部のうち少なくとも１つが他の実映像入力部が撮影する近傍な領域よりも遠望な領域を撮影していることを特徴とするステレオカメラ装置。 - 請求項３に記載のステレオカメラ装置であって、
前記遠望な領域を撮影している実映像入力部を前記近傍な領域を撮影している実映像入力部と前記近傍な領域においてステレオ化することを特徴とするステレオカメラ装置。 - 請求項３に記載のステレオカメラ装置であって、
前記近傍な領域を撮影している実映像入力部を前記遠望な領域を撮影している実映像入力部と前記遠望な領域においてステレオ化することを特徴とするステレオカメラ装置。 - 請求項１乃至５のいずれか１項に記載のステレオカメラ装置であって、
前記監視部と前記ステレオ制御部は、前記実映像入力部及び前記画像取得部とインターネット経由で相互に接続されていることを特徴とするステレオカメラ装置。 - 請求項１乃至６のいずれか１項に記載のステレオカメラ装置であって、
前記実像入力部がＰＴＺカメラであることを特徴とするステレオカメラ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/011909 WO2018173243A1 (ja) | 2017-03-24 | 2017-03-24 | ステレオカメラ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/011909 WO2018173243A1 (ja) | 2017-03-24 | 2017-03-24 | ステレオカメラ装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018173243A1 true WO2018173243A1 (ja) | 2018-09-27 |
Family
ID=63584296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/011909 WO2018173243A1 (ja) | 2017-03-24 | 2017-03-24 | ステレオカメラ装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2018173243A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003284053A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 監視カメラシステムおよび監視カメラ制御装置 |
| JP2004364212A (ja) * | 2003-06-09 | 2004-12-24 | Fujitsu Ltd | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
| JP2005176143A (ja) * | 2003-12-12 | 2005-06-30 | Sony Corp | 監視装置 |
| JP2007235655A (ja) * | 2006-03-02 | 2007-09-13 | Victor Co Of Japan Ltd | 映像撮像制御システム |
-
2017
- 2017-03-24 WO PCT/JP2017/011909 patent/WO2018173243A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003284053A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 監視カメラシステムおよび監視カメラ制御装置 |
| JP2004364212A (ja) * | 2003-06-09 | 2004-12-24 | Fujitsu Ltd | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
| JP2005176143A (ja) * | 2003-12-12 | 2005-06-30 | Sony Corp | 監視装置 |
| JP2007235655A (ja) * | 2006-03-02 | 2007-09-13 | Victor Co Of Japan Ltd | 映像撮像制御システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922251B (zh) | 快速抓拍的方法、装置及系统 | |
| KR101343975B1 (ko) | 돌발검지 시스템 | |
| KR101043450B1 (ko) | 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법 | |
| US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
| JP3800217B2 (ja) | 監視システム | |
| WO2016194307A1 (en) | Shake correction device, image pickup apparatus, and shake correction method | |
| KR101496390B1 (ko) | 차량번호인식 시스템 | |
| KR101449160B1 (ko) | 차량의 사각지대 정보 제공 장치 및 방법 | |
| JP6944328B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
| JP6221464B2 (ja) | ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム | |
| KR102183903B1 (ko) | 감시 카메라 및 감시 카메라 제어 방법 | |
| JP2009077092A (ja) | マルチカメラシステム | |
| JP2005024463A (ja) | ステレオ広視野画像処理装置 | |
| WO2019146510A1 (ja) | 画像処理装置 | |
| JP3491029B2 (ja) | 自動監視装置 | |
| TW201205506A (en) | System and method for managing security of a roof | |
| WO2018173243A1 (ja) | ステレオカメラ装置 | |
| JP2018201146A (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
| JP6734994B2 (ja) | ステレオ計測装置及びシステム | |
| EP4235574A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
| JP5452540B2 (ja) | 撮像装置 | |
| WO2023067867A1 (ja) | 車載制御装置、および、３次元情報取得方法 | |
| CN112470456A (zh) | 铁路车辆用摄像系统 | |
| US20200111227A1 (en) | Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle | |
| JP2015143657A (ja) | 車両のステレオカメラシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17902516 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17902516 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |