+

RU2009108360A - Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления - Google Patents

Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления Download PDF

Info

Publication number
RU2009108360A
RU2009108360A RU2009108360/28A RU2009108360A RU2009108360A RU 2009108360 A RU2009108360 A RU 2009108360A RU 2009108360/28 A RU2009108360/28 A RU 2009108360/28A RU 2009108360 A RU2009108360 A RU 2009108360A RU 2009108360 A RU2009108360 A RU 2009108360A
Authority
RU
Russia
Prior art keywords
layouts
camera
image
frame
frames
Prior art date
Application number
RU2009108360/28A
Other languages
English (en)
Inventor
Михаил Юрьевич Воробьев (RU)
Михаил Юрьевич Воробьев
Original Assignee
Михаил Юрьевич Воробьев (RU)
Михаил Юрьевич Воробьев
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Михаил Юрьевич Воробьев (RU), Михаил Юрьевич Воробьев filed Critical Михаил Юрьевич Воробьев (RU)
Priority to RU2009108360/28A priority Critical patent/RU2009108360A/ru
Priority to PCT/RU2009/000676 priority patent/WO2010104413A1/ru
Priority to US12/989,424 priority patent/US8269833B2/en
Publication of RU2009108360A publication Critical patent/RU2009108360A/ru
Priority to US13/603,176 priority patent/US9115999B2/en

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2250/00Monitoring, detecting, estimating vehicle conditions
    • B60T2250/04Vehicle reference speed; Vehicle body speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

1. Способ измерения движения видеокамеры относительно поверхности, включающий в себя преобразование изображения участка поверхности в цифровую форму в виде последовательности кадров, коррекцию перспективных искажений каждого кадра, нахождение взаимного положения (сдвига и поворота) для пар соседних кадров, при котором достигается их максимальное взаимное совпадение (корреляция), и измерение величины сдвига и поворота изображения, отличающийся тем, что: !в момент формирования каждого кадра измеряют интервалы времени между кадрами, углы наклона и углы обзора камеры и расстояние от камеры до поверхности; ! для каждого кадра строят его упрощенный макет путем огрубления и фильтрации исходного изображения; ! проводят коррекцию перспективных искажений макетов кадров на основе данных об углах обзора, углах наклона и расстояния от камеры до поверхности; ! проводят поиск взаимного смещения соседних макетов кадров, при котором достигается их максимальное совпадение (взаимная корреляция), с вычислением поправки смещения между этими макетами, вызванной изменением углов наклона камеры во время съемки соответствующих исходных кадров; ! вычисляют фактическое смещение участка поверхности, равное смещению соседних макетов, скорректированному на поправку смещения, вызванную изменением углов наклона камеры. ! 2. Способ по п.1, отличающийся тем, что упрощенный макет строят, преобразуя цветное изображение в кадр однотонного изображения с градацией серого. ! 3. Способ по п.1, отличающийся тем, что упрощенный макет строят, преобразуя цветное изображение в однотонное путем выделения одного из цветов изображения или их комби�

Claims (17)

1. Способ измерения движения видеокамеры относительно поверхности, включающий в себя преобразование изображения участка поверхности в цифровую форму в виде последовательности кадров, коррекцию перспективных искажений каждого кадра, нахождение взаимного положения (сдвига и поворота) для пар соседних кадров, при котором достигается их максимальное взаимное совпадение (корреляция), и измерение величины сдвига и поворота изображения, отличающийся тем, что:
в момент формирования каждого кадра измеряют интервалы времени между кадрами, углы наклона и углы обзора камеры и расстояние от камеры до поверхности;
для каждого кадра строят его упрощенный макет путем огрубления и фильтрации исходного изображения;
проводят коррекцию перспективных искажений макетов кадров на основе данных об углах обзора, углах наклона и расстояния от камеры до поверхности;
проводят поиск взаимного смещения соседних макетов кадров, при котором достигается их максимальное совпадение (взаимная корреляция), с вычислением поправки смещения между этими макетами, вызванной изменением углов наклона камеры во время съемки соответствующих исходных кадров;
вычисляют фактическое смещение участка поверхности, равное смещению соседних макетов, скорректированному на поправку смещения, вызванную изменением углов наклона камеры.
2. Способ по п.1, отличающийся тем, что упрощенный макет строят, преобразуя цветное изображение в кадр однотонного изображения с градацией серого.
3. Способ по п.1, отличающийся тем, что упрощенный макет строят, преобразуя цветное изображение в однотонное путем выделения одного из цветов изображения или их комбинации.
4. Способ по п.1, отличающийся тем, что упрощенный макет строят попиксельно, преобразуя однотонное изображение с градацией серого в бинарное изображение путем сравнения величины яркостей пикселей исходного изображения со значением заданного порога.
5. Способ по п.1, отличающийся тем, что упрощенный макет строят, преобразуя инфракрасное изображение в кадр однотонного изображения с градацией серого.
6. Способ по п.1, отличающийся тем, что после съемки кадров, но до построения их макетов производят коррекцию цифрового изображения кадров для компенсации сферической аберрации самой камеры.
7. Способ по п.6, отличающийся тем, что до начала съемки с помощью калибровочной таблицы производят предварительную калибровку камеры, находят поправочные коэффициенты сферической аберрации и используют их для компенсации искажений сферической аберрации.
8. Способ по п.1, отличающийся тем, что поиск взаимного положения (смещения) соседних макетов кадров для достижения их максимальное совпадение (корреляции) производят между частями макетов, одинаковыми по числу и расположению пикселей.
9. Способ по п.1, отличающийся тем, что для макетов, начиная с третьего, поиск взаимного положения (смещения) макетов n и n+1 производят в точке (положении) максимального совпадения пар макетов n и n-1.
10. Способ по п.1, отличающийся тем, что положение максимальной взаимной корреляции макетов вычисляют путем аппроксимации функцией величины корреляции макетов и нахождения корреляционного пика данной функции.
11. Способ по п.10, отличающийся тем, что в качестве аппроксимирующей функции используется параболическая функция.
12. Способ по п.1, отличающийся тем, что при поиске взаимного положения макетов производят поиск величины взаимного линейного сдвига макетов, при котором достигается их максимальная взаимная корреляция.
13. Способ по п.1, отличающийся тем, что при поиске взаимного положения макетов производят поиск величины угла взаимного поворота макетов, при котором достигается их максимальная взаимная корреляция.
14. Способ по п.1, отличающийся тем, что дополнительно вычисляют текущую относительную скорость взаимного перемещения камеры и поверхности как отношение найденной величины смещения макетов к временному интервалу между съемкой кадров, соответствующих этим макетам.
15. Способ по п.14, отличающийся тем, что при наличии внешних данных об известной скорости взаимного перемещения после вычисления скорости перемещения согласно настоящему способу дополнительно выполняют коррекцию значения расстояния между камерой и поверхностью путем ее умножения на величину отношения величин известной и вычисленной скоростей.
16. Способ по п.1, отличающийся тем, что дополнительно вычисляют величину смещений камеры относительно поверхности как сумму смещений всех пар макетов.
17. Устройство для измерения движения транспортного средства относительно поверхности, содержащее блок оцифровки видеоизображения (камеру) и блок вычислительной обработки кадров изображения, отличающееся тем, что:
закреплено на подвижной основе (транспортном средстве), способной перемещаться относительно поверхности,
содержит устройство измерения углов наклона камеры к поверхности (инклинометр),
блок вычислительной обработки видеоизображения выполнен с возможностью огрубления и фильтрации изображения и с возможностью вычисления смещения изображения поверхности, вызываемого изменением углов наклона камеры относительно поверхности во время съемки.
RU2009108360/28A 2009-03-10 2009-03-10 Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления RU2009108360A (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2009108360/28A RU2009108360A (ru) 2009-03-10 2009-03-10 Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления
PCT/RU2009/000676 WO2010104413A1 (ru) 2009-03-10 2009-12-08 Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления
US12/989,424 US8269833B2 (en) 2009-03-10 2009-12-08 Method and system for measuring vehicle speed based on movement of video camera
US13/603,176 US9115999B2 (en) 2009-03-10 2012-09-04 Method and system for measuring vehicle speed based on movement of video camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2009108360/28A RU2009108360A (ru) 2009-03-10 2009-03-10 Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления

Publications (1)

Publication Number Publication Date
RU2009108360A true RU2009108360A (ru) 2010-09-20

Family

ID=42728541

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009108360/28A RU2009108360A (ru) 2009-03-10 2009-03-10 Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления

Country Status (3)

Country Link
US (2) US8269833B2 (ru)
RU (1) RU2009108360A (ru)
WO (1) WO2010104413A1 (ru)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120192756A1 (en) * 2011-01-31 2012-08-02 Harsco Corporation Rail vision system
US8754929B1 (en) * 2011-05-23 2014-06-17 John Prince Real time vergence control for 3D video capture and display
US8949024B2 (en) 2012-10-25 2015-02-03 Massachusetts Institute Of Technology Vehicle localization using surface penetrating radar
JP6426433B2 (ja) * 2014-10-27 2018-11-21 株式会社日立製作所 画像処理装置、画像処理方法、poi情報作成システム、警告システム、及び誘導システム
EP3046076B1 (de) * 2015-01-16 2018-03-14 Delphi Technologies, Inc. Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
JP6837690B2 (ja) 2017-01-27 2021-03-03 マサチューセッツ インスティテュート オブ テクノロジー 表面貫通レーダーを用いた乗物位置特定方法およびシステム
EP3602403A4 (en) 2017-03-23 2021-01-27 Harsco Technologies LLC DETECTION OF TRACK CHARACTERISTICS USING ARTIFICIAL VISION
US11119331B2 (en) * 2018-03-28 2021-09-14 Disney Enterprises, Inc. Method for dampening projector vibration
WO2021008712A1 (en) * 2019-07-18 2021-01-21 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
US11579286B2 (en) * 2019-09-13 2023-02-14 Wavesense, Inc. Navigation and localization using surface-penetrating radar and deep learning
CN112924707B (zh) * 2019-12-06 2023-08-29 金恒燮 利用影像追踪的车辆速度检测装置及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4671650A (en) * 1982-09-20 1987-06-09 Crane Co. (Hydro-Aire Division) Apparatus and method for determining aircraft position and velocity
US4495589A (en) * 1982-09-20 1985-01-22 Crane Co. Aircraft ground velocity determination system
JPS6278979A (ja) * 1985-10-02 1987-04-11 Toshiba Corp 画像処理装置
WO1997016806A1 (en) * 1995-11-01 1997-05-09 Carl Kupersmit Vehicle speed monitoring system
RU2188432C1 (ru) * 2001-04-25 2002-08-27 ГУП Уральское проектно-конструкторское бюро "Деталь" Бесконтактный измеритель вектора скорости
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP4938351B2 (ja) * 2006-05-16 2012-05-23 トヨタ自動車株式会社 車両用測位情報更新装置
EP2083209B1 (de) * 2008-01-28 2012-10-17 Sick Ag Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten

Also Published As

Publication number Publication date
US8269833B2 (en) 2012-09-18
US9115999B2 (en) 2015-08-25
US20120327240A1 (en) 2012-12-27
WO2010104413A1 (ru) 2010-09-16
US20120026329A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
RU2009108360A (ru) Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления
JP6601790B2 (ja) リアルタイム計測投影装置及び三次元投影計測装置
JP2007208580A5 (ru)
CN105744171B (zh) 一种图像处理方法及电子设备
WO2018101297A1 (en) Wire rope measuring device and wire rope measuring method
US8090221B2 (en) Method and apparatus for detecting displacement with sub-pixel accuracy
JP2008249430A (ja) 3次元情報検出方法及びその装置
JP3958638B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
US20130033623A1 (en) Imaging apparatus for correcting distortion in image captured using rolling shutter method and distortion correction method
TW201344629A (zh) 影像處理裝置及其處理方法
JP2017220885A (ja) 画像処理装置、その制御方法、および制御プログラム
US20120127077A1 (en) Method and apparatus for detecting displacement with sub-pixel accuracy
JP2012049603A (ja) 画像処理装置および画像処理プログラム
WO2019069633A1 (ja) 二次元フリッカ測定装置及び二次元フリッカ測定方法
US20150271472A1 (en) System and method for stereoscopic photography
CN110160468B (zh) 一种针对运动对象的散焦光栅投影三维测量方法
JP2017049947A (ja) 画像処理装置および画像処理方法
JP2010050842A (ja) マルチレンズカメラシステムのための高度な動的スティッチング方法
Guo et al. Vision-based displacement measurement method of large-scale bridges using tilt shift camera and fast spatio-temporal context learning
CN106063251A (zh) 图像处理装置和图像处理方法
JP2011259390A (ja) フリッカ検出装置
JP6045280B2 (ja) 撮像装置
JP2010183207A (ja) 画像処理方法および画像処理装置
JP4779491B2 (ja) 複数画像合成方法及び撮像装置
JP4515991B2 (ja) フリッカノイズ低減装置

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20120406

点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载