WO1998015117A1

WO1998015117A1 - Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method

Info

Publication number: WO1998015117A1
Application number: PCT/JP1997/003526
Authority: WO
Inventors: Akihito Akutsu; Yoshinobu Tonomura; Hiroshi Hamada
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 1996-10-04
Filing date: 1997-10-02
Publication date: 1998-04-09
Also published as: DE69732089T2; NO323034B1; US6411339B1; EP0866606B1; EP0866606A4; EP0866606A1; NO982517D0; DE69732089D1; NO982517L

Description

明細複数映像の時空間統合，管理方法及びその装置並びにそのプログラムを ^内した記録媒体技術分野

本発明は、複数の映像の統合により新たな映像を作成する技術に関するものであって、特に複数映像の時空間統合，管理方法及びその装置並びにそのプログラムを記録した記録媒体に関するものである。背景技術

コンピュータの高性能化、ハードディスクの大容量化ビデオカメラの小型化，デジタル化と、これらの低価格化に伴い、一般家庭へのそれらの機器の普及が進んでいる。このような高性能コンピュータ及び大容量ハードデイスクの普及、さらには情報の圧縮技術の確立により、映像のデジタル化が身近なものとなってきている。映像をデジタル化することにより、汎用ノヽ °— ソナルコンビュ — 夕での映像の扱いが可能になると共に、高解像度のパ一ソナルコンピュータ用ディスプレイへの出力も可能となった。このことは、一般に映像は、 T V モニタ（ 6 4 0 X 4 8 0 画素）のみの出力に限られていたが、 T V モ二夕の解像度以上の解像度での出力も可能としている。例えば、パーソナルコンピュータ用ディスプレイ上へは複数の映像を同時に表示すること等が可能である。

映像機器のこのような発展に伴い、映像をェンノ、ンスする方法が幾つか報告されている。 M i c h a 1 I r a n i a m d S h m u e l P e l e g は、文献「 M o t i o n a n a l y s i s f o r i m a g e e n h a n c e m e n t ： R e s o l u t i o n O c c l u s i o n a n d T r a n s p a r e n c y , J o u r n a l o f V i s u a l c o m m u n i c a t i o n a n d i m a g e r e p r e s e n t a t i o n , V o l . 4 , N o . 4 , D e c e m b r , p p , 3 2 4 - 3 3 5 , 1 9 9 3 」で、映像中の動き情報を用いて、映像を高解像度にする方法、被写体などによる背景のいんぺい領域を補間する方法等を提案してレゝる。また、ローラエイ . ティドシォは、映像から高解像の静止画を作成する方法を報告している（特開平 5 — 3 0 4 6 7 5 号）。最近では、 O R A D 社が、映像に新しい付加価値を付けた映像の再生を実現したシステム " D i g i t a l R e p l a y " を発表している。システムの機能として例えば、被写体の強調表現，追跡及び拡大機能，並びに図形及びその線分，距離，及び速度等の情報を映像と共に表示する機能を有しているまた、映像の新しいュ一ザィン夕フエ一スに関する報告もあり、 M . M i 1 1 他は、文献「 " A M a g n i f i e r T o o l f o r V i d e o D a t a P r o c e e d i n s o f C H I ' 9 2 , p . 9 3 — 9 8 ( 1 9 9 2 ) 」で、映像のフレームを時間解像度レベルに応じて空間に配置し、粗い時間解像度から細かい時間解像度へと時間への新しい映像の見方、ァクセススタイルを可能にした報告をしている。また、 E . E 1 1 i o t a n d A . W . D a v i s は、文献「 M o t i o n I m a g e P r o c e s s i n g " , S t r i k i n g P o s s i b i l i t i e s A D V A N C E D I M A G I N G , A U G U S T ( 1 9 9 2 ) 」て、映像画像（ 2 次元） + 時間（ 1 次元）の 3 次元物体として表現し、映像の時間情報の新しい表現方法と時間情報への直観的なアクセスの実現を報告している。

ところで、ビデオカメラによる入力が手軽になり、表示の形態も自由になる環境においては、複数の映像を极いたいという要求力 S生じる。ここでレう「複数の映像」とは、例えば、オリンピック等のスポーツ競技場へ複数設置されたカメラによる複数の映像であるとか、一台のカメラで撮影した映像でも、異なる選手の様子を各々撮影した映像とかである。また、ここで言う「扱う」とは複数の映像を同時に鑑賞したり、比較したり、検索，編集したりすることである。

しかしながら、複数の映像に対しては上記従来の報告等では、解決していない課題が存在する。上記従来の報告では、一つのショットに対して、ェンノ、ンスすることを実現しているが、複数の映像に対して複数映像間の関係を用いて複数映像をェンノヽンスすることは不可能である。加えて、複数映像を時空間的に統合し、統合的に管理しうるものではない。ここで言う「複数の映像に対してのェンノ、ンスメント」とは、もとの複数の映像間で関係付けを行うことであり、映像コンテンツ情報（映像内に実際に映し出されている対象の情報、すなわち被写体の情報）を自動抽出し、視覚的に表現することである。また、複数の映像を関係付け、映像コンテンツ情報が視覚的に表現された一つ又は複数の映像を作り出すことである。例えば、異なる選手の様子を撮影した複数の映像から、各選手を共通空間でオーバーラップさせた一つの映像を作り出すことも一つの例である。また、「時空間的に管理する」とは、映像の時空間構造に基づいて抽出された情報を統一的に管理することである。例えば、被写体と背景を分離し、それぞれを管理すると共に、それらの時間空間の関係情報も管理することである。上記従来の技術の目的には、複数の映像を時空間構造を用いて統一的に管理することは、含まれておらず、単純に従来の技術の組み合わせでだけでは、複数映像を時空間的に統一的に管理することを実現するのは不可能である。

また、従来、実現されている映像のユーザイン夕フエースに関しては、映像をただ単に表現し直したものであり、映像の持つ情報や複数映像間の関係を積極的に抽出し、映像をェンノ、ンスしたものではない。映像のコンテントゃ複数の映像間の関係に関して何も考慮されていないために、映像や映像間コンテントに対する直感的な把握や、映像情報、特に時間に関する情報の新たなェンハンスを可能にするものではない。また、複数映像が時空間的に管理されていないために、映像のコンテンツに踏み込んだインタラクションは不可能である。

このように従来報告されている映像のェンノ、ンスメント、ユーザインタフェース等に関する報告には、複数の映像に対して高付加価値を与えるェン八ンスメントできるもの、また時空間的に統一的に管理、表現、操作を表現しうるものはない。すなわち、上記従来の技術には問題がある。

本発明の目的は、同じ空間を撮影した複数の映像に対して、ユーザが興味や目的に応じて各自のスタイルで映像の情報を効率よく取得するために、複数映像を時空間的に統合して映像をェンノ、ンスすることができ、複数映像を時空間的に統一的に管理、表現、操作することができる複数映像の時空間統合，管理方法及びその装置並びにそのプログラムを記録した記録媒体を提供することにある。発明の開示

上記の目的を達成するために、本発明による複数映像の時空間統合、管理装置は、複数の映像を時空間統合、管理する装置であって、映像データを読み込み、デ一夕列として保存する画像データ列メモリ部と、前記画像デ一夕列メモリ部力ゝらデ一夕列を読み出し、カメラオンォフ情報とカメラ操作情報を含む撮影状態情報を検出する撮影状態検出部と、前記カメラオンオフ情報に基づいて前記データ列の映像をショッ卜毎に分割する映像分割部と、前記カメラ操作情報と物理的な特微量を用いて前記映像のフレーム毎に被写体と背景を分離する被写体、背景分離部と、前記フレーム毎に分離された被写体情報をフレーム間で対応付ける被写体動き情報抽出部と、前記カメラ操作情報と前記フレーム毎に分離された背景から前記映像が撮影された撮影空間を再合成する撮影空間再合成部と、前記分割された複数のショットから前記撮影空間再合成部で各々再合成された複数の撮影空間の間の空間的なショット間関係を算出するショット間関係算出部と、前記分離された被写体の情報、前記対応付けられた被写体の情報、前記撮影状態情報、前記背景の情報、前記ショット間関係の情報を管理 · 蓄積する映像構造情報管理 · 蓄積部と、を具備することを特徴とする。

また、上記の複数映像の時空間統合、管理装置において、前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報及び映像デ一夕のすべて又はその一部を伝送又は受信する映像構造化情報伝送受信部を更に具備することを特徴とする。

また、上記の複数映像の時空間統合、管理装置において、予め与えた条件とユーザからの要求のいずれか一方又は双方に従って前記映像構造情報管理 · 蓄積部に蓄積 · 管理されている情報を基に一つ又は複数の撮影空間と一つ又は複数の被写体を再合成する再合成部と、前記再合成部で再合成された映像を表示する表示部と、前記表示部で表示されている映像に基づいて再合成に関する前記ユーザの要求を入力するユーザ入力部と、を具備するとともに、必要に応じて前記表示部に表示された映像をデジタル又はアナログ形式で外部装置に出力する出力部を具備する、ことを特徴とする。

同じく、本発明による複数映像の時空間統合、管理方法は、複数の映像を時空間統合、管理する方法であって映像データを読み込み、データ列として保存する画像デ一夕列保存過程と、前記画像データ列メモリ部からデ一タ列を読み出し、カメラオンオフ情報とカメラ操作情報を含む撮影状態情報を検出する撮影状態検出過程と、前記カメラオンオフ情報に基づいて前記デ一夕列の映像をショット毎に分割する映像分割過程と、前記カメラ操作情報と物理的な特徴量を用いて前記映像のフレーム毎に被写体と背景を分離する被写体、背景分離過程と、前記フレーム毎に分離された被写体情報をフレーム間で対応付ける被写体動き情報を抽出過程と、前記カメラ操作情報と前記フレーム毎に分離された背景から前記映像が撮影された撮影空間を再合成する撮影空間再合成過程と、前記分割された複数のショッ卜から前記撮影空間再合成過程で各々再合成された複数の撮影空間の間の空間的なショット間関係を算出するショット間関係算出過程と、前記分離された被写体の情報、前記対応付けられた被写体の情報、前記撮影撮影情報、前記背景の情報、前記ショット間関係の情報を管理 · 蓄積する映像構造情報管理 · 蓄積過程と、を具備することを特徴とする。

また、上記の複数映像の時空間統合、管理方法において、前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報及び映像データのすべて又はその一部を伝送又は受信する映像構造化情報伝送受信過程を、更に具備することを特徴とする。

また、上記の複数映像の時空間統合、管理方法において、前記映像構造情報管理，蓄積過程の後に、予め与えた条件とユーザからの要求のいずれか一方又は双方に従つて前記蓄積 · 管理されている情報を基に一つ又は複数の撮影空間と一つ又は複数の被写体を再合成する再合成過程と、前記再合成過程で再合成された映像を表示又は出力する表示又は出力過程と、を具備することを特徴とする。

同じく、本発明による複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体は、複数の映像を時空間統合、管理するプログラムを記録したコンピュータ読み取り可能な記録媒体であって映像データを読み込み、データ列として保存する画像デ一夕列保存過程と、前記画像データ列メモリ部からデー夕列を読み出し、カメラオンオフ情報とカメラ操作情報を含む撮影状態情報を検出する撮影状態検出過程と、前記カメラオンオフ情報に基づいて前記データ列の映像をショット毎に分割する映像分割過程と、前記カメラ操作情報と物理的な特徴量を用いて前記映像のフレーム毎に被写体と背景を分離する被写体，背景分離過程と、前記フレーム毎に分離された被写体情報をフレーム間で対応付ける被写体動き情報抽出過程と、前記カメラ操作情報と前記フレーム毎に分離された背景から前記映像が撮影された撮影空間を再合成する撮影空間合成過程と、前記分割された複数にショッ卜から前記撮影空間再合成過程で各々再合成された複数の撮影空間の空間的なショット間関係を算出するショット間関係算出過程と、前記分離された被写体の情報、前記対応付けられた被写体の情報前記撮影状態情報、前記背景の情報、前記ショット間関係の情報を管理 · 蓄積する映像構造情報管理 · 蓄積過程と、を具備することを特徴とする。

また、上記の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体において、前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報及び映像デ一夕のすべて又はその一部を伝送又は受信する映像構造化情報伝送受信過程を、更に具備することを特徴とする。

また、上記の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体において、前記映像構造情報管理 · 蓄積過程の後に、予め与えた条件とュ一ザからの要求のいずれか一方又は双方に従つて前記蓄積 · 管理されている情報を元に一つ又は複数の撮影空間と一つ又は複数の被写体を再合成する再合成過程と、前記再合成過程で再合成された映像を表示又は出力する表示又は出力過程と、を具備することを特徴とする。

本発明では、映像デ一夕を読み込み、保存された画像データ列を読み出し、カメラオンオフ情報とカメラ操作情報を含む撮影状態情報を検出し、このカメラオンオフ情報に基づいて映像をショット毎に分割し、カメラ操作情報と物理的な特徴量を用いてフレーム毎に被写体と背景を分離し、分離された被写体情報をフレーム間で対応付けを行って被写体動き情報を抽出し、カメラ操作情報とフレーム毎の背景から撮影空間を再合成し、複数のショッ卜から各々再合成された複数の撮影空間の間の空間的なショット間関係を算出し、以上で得られた情報を管理 · 蓄積することにより、複数映像の時空間的なェンハンスメント、時空間的、統一的な管理，表現，操作を可能とする複数映像の時空間統合を実現する。

また、抽出された被写体情報等のすべて又はその一部を伝送又は受信することにより、ユーザーが自由に任意の場所でそれらの情報を選択，検索，取り出し、また任意の場所の任意のユーザ一に送ることができる。また、任意のユーザ一が任意の場所から、それらの情報を送り込むことができる。

また、上記管理 · 蓄積されている情報を基に、予め与えた条件やユーザからの要求に従って、一つ又は複数の撮影空間と一つ又は複数の被写体を再合成し、表示又は外部へアナログ、デジタル形式で出力することにより、同じ空間を撮影した複数の映像に対し、従来は時間的に空間的に同時に情報を取得することが困難であった課題に対して、ユーザが興味，目的に応じて各自のスタイルで複数映像の情報を同時に直感的に効率よく取得できるようにする。図面の簡単な説明

図 1 は、本発明の一実施形態例の構成と処理の流れを説明する図である

図 2 は、上記実施形態例における撮影状態検出部の構成と処理の流れを説明する図である。

図 3 は、上記実施形態例における撮影状態検出部の処理の流れ図である

図 4 は、上記実施形態例におけるカメラ操作情報を説明する図である。

図 5 は、上記実施形態例におけるカメラ操作情報の抽出アルゴリズムを説明する図である。

図 6 は、上記実施形態例における被写体，背景分離部の構成と処理の流れを説明する図である。

図 7 は、上記実施形態例における 2 値化処理の例を示す図である。

図 8 は、上記実施形態例におけるラベリングの処理の流れ図である。

図 9 は、上記実施形態例における画像走査順を示す図である。

図 1 0 は、上記実施形態例における対象画素及び走査済み画素を示す図である。

図 1 1 は、上記実施形態例におけるカメラ走査に基づく撮影空間の再合成方法を説明する図である。

図 1 2 は、円柱変換を説明する図である。

図 1 3 は、上記実施形態例による時間，空間サンプリングによるストロボ表現を説明する図である。発明を実施するための最良の形態

以下、本発明の実施形態例を、図面を参照して詳細に説明する。

図 1 に、本発明の一実施形態例の装置構成図を示す。以下、構成図に沿って各構成部及び手法を説明する。

図 1 のビデオ信号入力部 1 0 1 から入力されたビデオ信号は、 1 0 2 の画像データ列メモリ部に一時的に蓄積される。次に、蓄積されたビデオ信号を 1 0 3 の撮影状態検出部において映像処理し、カメラのオンオフ情報とカメラ操作情報を抽出する。

撮影状態検出部 1 0 3 の構成を図 2 に示す。また、図 3 に撮影状態検出部 1 0 3 の 2 0 1 カゝら 2 0 4 までの構成要素による処理の流れを示す。これらの図面を用いて以下、各構成素毎の構成と処理の流れを詳細に説明する 1 0 2 の画像デ一夕列メモリ部から読み出されたビデォ信号の数フレームは、図 3 に示す 3 0 1 であり、この 3 0 1 を通常、時空間画像と呼んでいる。この時空間画像に対し、 2 0 1 の直線成分算出部において、各フレーム画像毎に水平、垂直直線成分を各々算出する。垂直方向直線算出は、図 3 では 3 0 2 であり、水平方向直線算出は、図 3 では 3 0 3 である。これらの各算出で得られた 3 0 4 を垂直方向直線成分時空間画像、 3 0 5 を水平方向直線成分時空間画像と呼ぶ。

続いて、 2 0 2 の画像データ並べ替え部は、画像デ一夕列再配置手段により、次のフィルター処理に備えて垂直，水平方向直線成分時空間画像 3 0 4 ， 3 0 5 の並び替えを行う。ここでの並び替え処理は、図 3 では 3 0 6 に相当し、画面の法線を含む平面で時空間画像を切断する処理である。フレーム画像の x ， y 座標軸と垂直をなす方向を画面の法線方向としている。切断された時間軸を含む平面を一般に時空間断面画像と呼んでいる。この時空間断面画像の一例として、コンピュータビジョンの分野で用いられている、カメラの進行方向と画面の法線を含む平面で、時空間画像を切断した時の切断面（ェピポーラ平面画像（ E p i p o l a r P l a n e I m a g e ) ) がある。この時空間断面画像から被写体の三次元位置を推定している。これは、このェピポーラ平面画像上で、物体の特徴点の軌跡が直線になり、この直線の傾きが物体特徴点の動きの大きさになることによってレ ^ る〔 R . C . B o l l e s , H . B a k e r , a n d D . H . M a r i m o n t , " E p i p o l a r — p i a n e i m a g e a n a l y s i s : A n a p p r o a c h t o d e t e r m i n g s t r u c t u r e f r o m m o t i o n " , I J C V , 1 , 1 p p 7 - 5 5 , j u n e 1 9 8 9 . 〕。時空間画像を x , y 座標軸を含むように切断した時空間切断画像を特に X — t 時空間画像と呼び、同様に y , t 座標軸を含む時空間切断画像を y — t 時空間画像と呼ぶ。任意の y の値から任意の X — t 時空間画像が切り出され、これら複数枚の X — t 時空間画像を X — t 時空間画像列と呼ぶ。 y - t 時空間画像列も同様である。

続いて、画像データ並べ替え部 2 0 2 において切断された垂直，水平方向直線成分時空間画像の切断面を、 2 0 3 の映像情報フィル夕一処理部においてフィルター

(第一次微分、第二次微分等）処理を施す。この処理は線分検出手段により為され、エッジまたは線を検出することを目的としてレる。図 3 では、 3 0 7 に相当する。フィルター処理部 2 0 3 によりエッジまたは線の強度が算出される。切断画像において切断面に見られる時間軸に沿った流れ模様は、映像中の動きによって生じているこの流れの方向が動きの大きさに対応している。上記まで述べたエッジ検出は、流れの方向を表すエッジまたは直線を検出しており、画像から動き情報のみを強調していることになる。上記のエッジ検出された切断画像列を垂直、水平方向時空間エッジ画像列と呼ぶ。

続いて、 2 0 4 の特徴抽出部において、積分手段により、垂直、水平方向時空間エッジ画像列をエツジ画像の法線方向に加算処理する。図 3 では、 3 0 8 に相当し、 3 0 8 a の破線方向に加算処理を行う。この加算処理は先のフィルター処理において強調された動きを、より強調することを目的に行う。即ち、もし物体の特徴点の動きが、グローバルな動きによる物の場合、加算処理をすることにより強調しあい、顕著に加算処理結果に反映される。半面、物体の特徴点の動きが、ローカルな動きによるものの場合、加算処理をすることにより弱小し、加算処理結果に反映されにくくなる。また、この加算処理は、差分処理と違いノイズに強い処理であり、ノイズを多く含む映像からでも動き情報の抽出が可能となることを意味している。この加算処理によって得られる結果の画像を時空間投影画像と呼ぶ。 X — t 垂直方向時空間画像列からは、 X — t 時空間投影画像 3 0 9 が得られ、 y 一 t 水平方向時空間画像から y — t 時空間投影画像 3 1

0 が得られる。 X — t 時空間投影画像の時間軸に沿つた流れ模様の意味するところは、映像の左右方向の動きを表現し、 y — t 時空間画像の模様は上下方向の動きを表現している。

続いて、 2 0 5 の特徴統計解析部において、まずカメラオンオフ検出手段により、時間軸と空間軸とを有する二次元画像として表現された抽出特徴から時間軸に垂直な直線を検出して、カメラのオンオフ情報の抽出を行う具体的には、 X — t 時空間投影画像を F ( X ， t ) 、 y 一 t 時空間投影画像を F ( y , t ) で表す。次式で表した評価式から算出される値 C が、予め与えた閾値以上であれば、その時間 t でカメラのオンオフが存在したとする。

C ( t ) - s u m ( F ( x , t ) ) d x

+ s u m ( F ( y , t ) ) d y

… ( 1 ) 次に、カメラ操作情報の抽出を行う。抽出するカメラ操作情報を図 4 に示す。カメラ操作は、基本 7 操作とそれらの組み合わせ操作で構成されている。基本操作にはフィックス（カメラ固定），パン 4 0 1 ( カメラを左右に振る操作）、ズーム 4 0 2 (画角を変ィヒさせることにより被写体を拡大，縮小する操作）、チルト 4 0 3 ( 力メラを上下に振る操作）、トラック 4 0 4 ( カメラを左右に移動する操作）、ブーム 4 0 5 ( カメラを上下に移動する操作）、ドリー 4 0 6 ( カメラを前後に移動する操作）がある。すなわち、フィックスは静止、パン，ティルトは、カメラ投影中心固定の光軸方向の変化、ズームは画角の変化、トラック，ブーム，ドリーはカメラ投影中心の位置変化を伴う操作である。カメラ投影中心の位置変化に伴い、トラック，ブーム，ドリ一は被写体の三次元配置情報を映像の動きの中に含む操作である。トラック，ブーム，ドリーによって撮影された映像の動きは、被写体がカメラに対して相対的に近い場合、速い動きを示し、逆に速い場合、遅い動きを示す。

上記の方法で算出された X — t 時空間投影画像を F ( X , t ) で表す。 X — t 時空間投影画像は、空間 X と時間 t の関数である。時間 t 。の X — t 時空間投影画像の空間分布を F ( X ， t 。）で表し、同様に時間 t ェの X — t 時空間投影画像の空間分布 F ( X , t ！ ) で表す。また、以下で算出するグロ一バルな動きパラメ一夕を a b ， c で表し、それぞれ a はカメラ操作を言うズームパラメ一夕、 b はパンパラメータ、 c はティル卜パラメ一夕を意味する。以下、このカメラ操作パラメ一夕を求める手法を示す。

もし作成された X — t 時空間投影画像にグローバルな動きが存在していたとすれば、 F ( X , t 。）と F ( X , t ！ ) の間に以下の関係がある。

F ( % , t ！ ) = F ( a + b _: t 0 )

同様に y — t 時空間投影画像には、

F ( y % , t ！ ) = F ( a y + b _; t 0 )

の関係がある。まず、上記の X と X y と y の対応付けを対応付け手段により行う。この様子を図 5 に示す図 5 中の 5 0 1 は X — t 時空間投影画像を表し、 5 0 2 は時間 T の空間分布 F ( X ， T ) 、 5 0 3 は時間 T — 1 の空間分布 F ( X , T - 1 ) をそれぞれ表す。 5 0 4 の座標値を図に示すように対応付けを行い、対応座標 5 0 5 を算出する。この算出方法の他に、微少な範囲ごとの相関関数を算出し対応付けることも可能である。この対応付けられた 5 0 4 と 5 0 5 は、任意の座標値を示しており、これら座標間の関係は 5 0 6 に示す直線になるこの直線の傾きがズームノ\° ラメ一夕 a を表しており、切片がパンパラメ一夕 b をそれぞれ表している。

続いて、カメラ操作パラメ一夕算出手段により、上記で対応付けられた空間座標値を用いてカメラ操作パラメ一夕を算出する。具体的には、直線 5 0 6 の a と b を算出するために、対応付けられた空間座標値を用いて以下の関係式でパラメ一夕空間に射影（投票）して射影空間の最大値 5 0 7 を抽出し、パラメ一夕 a , b を算出することを行う。この変換は、一般に H o u g h 変換〔 P . V . C . H o u g h , M e t h o d a n d M e a n s f o r R e c o g n i z i n g C o m p l e x P a t t e r n s " , U . S . P a t e n t N o 3 0 6 9 5 4 ， 1 9 6 2 ) と呼ばれているものである。対応付けられた任意の座標を x と x で表すと、 a と b の関係は下記式のようになる。

b = X % · c o s ( a ) + x · s i n ( a )

H o u g h 変換は、一般に複数個の点からそれらの点が構成する直線を推定する方法として確立されている。画像空間の一つの点が（射影空間） H o u g h 空間では一本の曲線を表し、射影された複数個の曲線の交点 5 0 7 の座標値が抽出すべき直線の傾きと切片を表している計算機では、直線を射影空間に投票し、最大の投票数を示す座標値をもって抽出すべき直線の傾きと切片を算出している。対応付けられた複数組みの座標値の各々を射影空間に投票してパラメ一夕を算出している。

同様に y — t 時空間投影画像カゝらティルトノ° ラメ一夕 C が算出できる。また、三次元情報を含むような操作が行われた場合の時空間投影（積分）画像であっても、ミクロ的（部分的）には三次元操作を含まない操作が行われた場合の画像に等しいこと力ゝら、かかる画像であっても上記処理を部分的（ブロック的）に施すことにより処理が可能である。以上が撮影状態検出部 1 0 3 の構成と処理の流れである。

次に、図 1 に戻り、 1 0 4 の映像分割部において、撮影状態検出部 1 0 3 で算出したカメラのオンオフ情報に基づいて映像をショット毎に分割する。このようにカメラのオンオフで分割されたショットでは、ショット内の画像は、連続的な同じ空間の情報をもっていると考えられる。

次に、 1 0 5 の被写体，背景分離部において、被写体と背景の分離を行う。被写体，背景分離部 1 0 5 の構成を図 6 に示す。以下、被写体，背景分離部 1 0 5 の 6 0 1 から 6 0 4 までの構成要素の構成とそれらによる処理の流れを詳細に説明する。

まず、 6 0 1 のカメラ操作相殺部において、映像フレーム変形手段により、カメラ操作情報に基づいて、画像デ一タカゝらカメラ操作をキャンセルすることを行う。隣接する画像デ一夕間でカメラ操作により生じた変化 · 変位分だけ画像データ間で変化 · 変位させる。隣接する画像デ一夕を F ( x ， y , t ) 、 F ( x , y ， t + 1 ) とする。カメラ操作 A は（ A はマトリクス）を用いると、隣接する画像データ間では、次の関係がある。

F ( X , y , t + 1 ) = A F ( x ， y ， t ) カメラ操作のキャンセルは、次の式で表せる。

F ( x ， y , t ) = A - ¹ F ( x , y ， t + 1 ) 続いて、 6 0 2 の画像データ比較部では、差分処理手段により、上記でカメラ操作がキャンセルされた隣接する画像間で比較処理を行う。ここで行う処理は、カメラ操作をキャンセルした画像どうしの比較処理であり、算出されるものは画像間の輝度、色等の情報の差分の絶対値等である。この比較処理により、背景は差し引かれ、被写体の動きのみの変化分が背景との差分として抽出される。

続いて、 6 0 3 の比較画像データ比較部では、隣接する比較画像データ間の比較を行う。ここで行う処理は、画像間での積や、画像間で比較し小さい方の値を比較画像の値とする等の比較演算である。これら一連の処理により、 3 枚の連続する画像デ一夕に基づいてその真ん中の画像の被写体（移動物体）の領域が強調される。

続いて、 6 0 4 の領域抽出部では、先ず、強調された被写体領域の 2 値化処理を 2 値化処理手段により行う。予め与えられた閾値 S を用いて、次の条件で 2 値化処理を行う。比較デ一夕画像を f ( X , y ) とし、 2 値化画像を F ( X , y ) とする。

F ( X , y ) = 1 ： i f f ( x , y ) ≥ S F ( x , y ) = 0 : i f f ( x , y ) < S 図 7 に 2 値化処理の例を示す。 7 0 1 が比較データ画像であり、 7 0 2 が 2 値化画像である。閾値を 9 とした場合を想定している。

続いて、ラベル付け手段により、 2 値化画像 F ( , y ) のラベル付けを行う。ラベル付けのアルゴリズムを図 8 に示す。 2 値化画像 F ( X , y ) を F = ( F j , j } 、ラベル画像を L = { 1 j } で表す。 1 」は各連結成分のラベルを表す正整数である。また、 1 は連結成分番号を表す変数、 T ( i ) はラベル表をそれぞれ表す。 8 0 1 の初期設定において 1 = 1 とし、画素（ 2 , 2 ) からラベル走査を開始する。現在の画素を（ i ， j ) とし、 8 0 2 におレて半 IJ 断する。 f i , j = 1 ならば 8 0 3 へ、 f i , j = 0 なら 1 に； = 0 として 8 0 7 へ処理を進める。図 9 に示した走査方法で、現在の画素 X 。 = ( i ， j ) と、その近傍で操作済みの画素を図 1 0 に示すように表し、 x _p のラベリレ（画像 L の値）を 1 _p ( p = l , 2 ， 3 , 4 ) とする。 8 0 3 では、 { T ( 1 _p ) ， 1 _p が 0 でなレ、 = 1 , 2 ， 3 , 4 } 中に異なる正の値が n 種類あるとし，それらを小さい値力ら順に L i , L ₂ , … ， L _n とする。 n = 0 ならば 8 0 4 へ、 n = 1 ならば 8 0 5 へ、 n = 2 ならば 8 0 6 へ処理を進め、各処理後、 8 0 7 へ進む、 8 0 7 では全画素について終了したかどうかを判断し、全画素終了であれば 8 0 8 , 8 0 9 の処理をしてラベリングを完了する。

次いで、物理的特徴算出手段により、ラベリングされた領域に対して物理的な特徴量を算出する。ここで算出する物理的な特徴は、輝度，色分布，テクスチャ等である。次いで、照合手段により、予め与えた特徴量と算出したラベル領域の特徴量とを比較照合し、被写体領域を決定する。次いで、背景抽出手段により、上記で抽出した被写体領域をフレーム画像から差し引くことで、背景領域を分離する。

以上が被写体，背景分離部 1 0 5 の構成と処理の流れである。

次に、図 1 に戻り、 1 0 6 の被写体動き情報抽出部において、照合手段により、各フレ — ム画像毎に抽出された領域で算出した物理的な特徴量を隣接するフレ一ム間で比較し、比較量に対して予め与えた条件と照合し、照合した領域は類似する物理的特徴を持つ領域、すなわち同一被写体による頜域であるとして時間的な関係付けを行う。この関係付けの情報を被写体の動き情報とする。

一方、 1 0 7 の撮影空間再合成部において、空間重ね合わせ手段により、被写体，背景分離部 1 0 5 で分離された背景を、撮影状態検出部 1 0 3 で算出した力メラ操作情報に基づいて画像フレームを変形 · 変位させて一つの連続する空間として重ね合わせ、フレ — ムを超える広い撮影空間として再合成しなおす。図 1 1 に再合成の様子を示す図 1 1 ( a ) において、 1 1 0 1 と 1 1 0 2 は時間的連糸するフレーム画像であり、パンのカメラ操作で撮影された映像である場合、 1 1 0 2 は 1 1 0 1 に対して 1 0 3 ( フレームあたりのパン操作量）分だけシフ卜して合成する。同様にティル卜の場合 1 1 0 4 ( フレームあたりのティルト操作量）分だけシフ卜して合成するズーム作の場合、図 1 1 ( b ) に示すように、ズ一ム量 1 1 0 5 に応じて画像のサイズを拡大，縮小し合成する。この合成の方法で作られた背景画像は、一般に言うパノラマ空間であり、パノラマ空間が持つ特有の歪みを持つ。この歪みは、画像を円柱変換した場合に生じる歪みと等価である。

次に、 1 0 8 のショッ卜間関係算出部で、撮影空間変換手段により、再合成された各ショッ卜毎の撮影空間に対して、影空間の間でそれらの大ささと位置が等しくなるように撮影空間を変換した後、ショッ卜間関係情報の算出を行う。ここで、算出する情報は、ショッ卜の空間に関する情報である。関係付けを行うショッ卜に記録されているそれぞれの空間の配置関係をショッ卜間関係情報とする。このショッ卜間の関係は、撮影空間合成部 1 9 7 で合成したパノラマ空間を比較することで算出する。同じ焦点距離で撮影された映像ら作成した八。ノラマ空間間では、同じ円柱変換の歪みを有する。図 1 2 に円柱変の様子を示す。三次元空間上の線 1 2 0 1 は

π S π

円柱変換により円柱 1 2 0 3 上の 1 2 0 2 へ変換される

1 2 中の点〇は、カメラの投影中心であり、円柱 1 2

0 3 上は、画像面である。円柱の大きさは fe ΐέ'時の焦点、距離 f の大きさで一意で決まる。このことにより同じ隹占距離で撮影された映像から作成したパノラマ空間では、同じ円柱変換の歪みを有する。同じ焦点距離で影された映像から作成したパノラマ空間間の関係は、それらの画像の空間的な平行移を算出することで可であるつの八ノラマ画像をテンプレ卜として相互関数計数を用いてマッチングにより算出可能である。

の算出の際、重なり部分の相関関係と重なり領域から評価関数を新たに定義することで安定にマッチングが可である。焦点距離が異なる画像間の関係付けには円柱歪みを考慮してマツチングしなければなない。一つの画像を基準として焦点距離 f を少しづつ変化させてマツチングすることで関係を算出すること力可能である。力メラ操作が行われずに撮影された映像間では、画像の大さを拡大 · 縮小させてマッチングすることで関係を算出することが可能である。

算出されたカメラオンオフ情報，カメラ操作情報，被体情報，被写体動き情報，再合成した背景情報，及びシ 3 ッ卜間関係情報は、複数の映像に関し、映像構造情報管理部 1 0 9 に時空間的に管理 · 蓄積される。従来においては、映像は、ファィルとして又は R G B の時間変化の信号として蓄積装置の中で管理されてきた。信号レベルでの管理は、機械的な処理や伝送，蓄積，表示において有効であった。映像が計算機で扱えるマルチメディア時代においては、映像に対する扱いは、従来のただ単に信号の処理，蓄積，表示すること等から、大量に蓄積された映像データベースからの検索，編集，加工等の高度な映像の扱いになってきている。このような映像の高度な扱いを可能にするためには、映像を信号レべルからより映像の中身に突っ込んだレベルでの情報で管理しなければならない。上述の抽出した情報はこのレべルの情報であり、この情報で映像を表現し管理することで、 R G B の時間変化信号のみで表現された映像とは全く異なるより高度な扱いが可能となる。映像の中身を反映したこの表現は、単なる信号の時間変化とは異なり映像の時間，空間に関する意味的な表現であるとも考えられる。この映像の新たな表現を時空間的に蓄積，管理することで人間にとって直観的で分かりやすい高度な映像の扱いが実現可能となる。

抽出された映像の構造情報，映像データに対してデー夕圧縮して蓄積する。データ圧縮することで蓄積スぺースの効率化や、データのネットワークを介した送受信を実現する。映像構造情報の中で時間を変数として変化する情報に対しては、ハフマン符号化等の可逆符号化を用いて圧縮する。空間に関する情報であって画像に関するもの（例えば、抽出された被写体の画像や再合成された背景画像等）は、静止画像として非可逆符号化を用いて圧縮する。非可逆符号化の代表的な手法は、 J P E G 符号化である。 3 2 0 X 2 4 0 の画像でカメラを 3 6 0 度水平に回して撮影された映像から、本発明を用いて再合成された画像は、約 5 メガノ ' イトの情報を有し、 J P E G 符号化を用いると 1 0 分の 1 の圧縮効率が見込まれて約 5 0 0 キロバイ卜のデータに圧縮可能である。現在のインターネット等を用いる場合、約 5 メガノィ卜の情報では、そのデータ伝送は時間的な制限から不可能であるが、約 5 0 0 キロノ ' ィ卜のデータの伝送は実用的に可能である。また、時間的に変化する被写体の画像等は、同様に非可逆符号化である H 2 6 1 や M P E G 等の符号化を用いることで約 1 0 分の 1 カゝら 2 0 分の 1 程度まで圧縮可能である。インターネット等の細い線（情報伝送レートの低い線）で構造化された映像を送る場合、静止画像として J P E G 圧縮された背景画像と、同じく時間情報を空間に展開した静止画像（例えば、背景に被写体を展開したス卜ロボ画像等）として J P E G 圧縮された被写体情報等の、ユーザーの要求に答えるだけの最低限の情報を送ることで、ネットワーク使用，時間の効率化とインタラクションレスポンスの良さを実現可能としている。

次に、 1 1 0 1 の再合成部では、 1 1 2 のユーザ入力部からの要求に応じて、もしくは予め与えた条件に従つて、またはユーザの要求と予め与えた条件の両方に従つて、映像構造情報管理 · 蓄積部 1 0 9 に管理されている情報の再合成を行う。意味的な映像のフィルターリングを行うことも可能である。背景のみ、被写体のみの映像なども作成可能である。時間と空間の映像情報から情報情報を空間へ展開し空間のみの情報として表現した画像も作成可能である。この例として、前述のようなノ\° ノラマ展開された空間へ被写体をストロポ的に表現した映像がある。従来技術では、時間的にサンプリングされたストロポ表現しか実現できなかったことに加えて、空間的にサンプリングされたス卜ロボ表現も可能である。

図 1 3 に時間、空間サンプリングのストロボ表現の様子を示す。 1 3 0 1 が再合成されたパノラマ空間である 1 3 0 2 が被写体を表してレゝる。 1 3 0 3 が空間的サンプリングされたストロボ表現であり、 1 3 0 4 が時間的にサンプリングされたストロポ表現である。 1 3 0 4 は被写体の配置が被写体の速度も表現しており、一方、 1 3 0 3 は、被写体の空間における変化を表現している。ショット間関係情報を用いて、異なるショッ卜に存在する複数の被写体を一つの背景に合成することも可能である。例えば、ショット A に撮影されている被写体（選手 A ) をパノラマ空間上にストロボ表現し、ショット B に撮影されている被写体（選手 B ) をストロボ表現上へォ一バーラップして動画として表示することも可能であるここでのショット A とショッ卜 B は空間的に共通の空間を有する。この映像のェンノ、ンスメン卜は、旨い選出、下手な選手とのフォームの違いなどを視覚で直感的に把握することをュ一ザに容易にしてレる。

再合成部 1 1 0 では、ユーザ入力部 1 1 2 からのユーザの要求に応じてさまざまな表現が可能となる。 1 1 1 の表示部において表示された映像からユーザは、 1 1 2 のュ一ザ入力部を介してユーザの要求に対する表現のフイードバックが可能である。また、 1 1 3 の出力部においては、デジ夕ル , ァナログ出力が可能であり、デジ夕ル出力は、外部のプリン夕一やノ一ソナルコンピュータ等への出力であり、ァナログ出力は、モニタ等への映像信号出力である。なお、出力部 1 1 3 は必要に応じて設けるようにしても良い。

以上、本発明を一実施形態例に基づき具体的に説明したが、本発明は、前記実施形態例に限定されることはなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもなレゝ。

産業上の利用可能性

以上のように、本発明によれば、映像データを読み込み、保存された画像つ—夕列を読み出し、カメラオンォフ情報とカメラ操作情報を含む撮影状態情報を検出し、このカメラ才ンォフ情報に基づいて映像をショッ卜毎に分割し、カメラ操作情報と物理的な特徴量を用いてフレ — ム毎に被写体と背景を分離し、分離された被写体情報をフレーム間で対応付けを行って被写体動き情報を抽出し、カメラ操作情報とフレーム毎の背景から撮影空間を再合成し、複数のショッ卜から各々再合成された複数の撮影空間の間の空間的にショット間関係を算出し、以上で得られた情報を管理，蓄積するようにしたので、複数映像の時空間的なエンハンスメント、時空間的、統一的な管理，表現，操作を可能とする複数映像の時空間統合が実現可能となる。

また、上記管理 · 蓄積されている情報を基に、予め与えた条件やユーザからの要求に従って、一つ又は複数の撮影空間と一つ又は複数の被写体を再合成し、表示し又は外部へアナログ、デジ夕リレ形式で出力するようにしたの、同じ空間を撮影した複数の映像に対して、ユーザが興味や目的に応じて各自のスタイルで複数映像の情報を同時に直感的に効率よく取得することか可能である。

Claims

求の範囲

1 . 複数の映像を時空間統合、管理する装置であって映像データを読み込み、データ列として保存する画像データ列メモリ部と、

一-一青

前記画像データ列メモリ部からデータ列を読み出し、カメラオンオフ情報とカメラ操作情報を含む撮影状態情報を検出する撮影状態検出部と、前記カメラオンオフ情報に基づいて前記データ列の映像をショット毎に分割する映像分割部と、前記カメラ操作情報と物理的な特徴量を用いて前記映像のフレーム毎に被写体と背景を分離する被写体，背景分離部と、

前記フレーム毎に分離された被写体情報をフレーム間で対応付ける被写体動き情報抽出部と、前記カメラ操作情報と前記フレーム毎に分離された背景から前記映像が撮影された撮影空間を再合成する撮影空間再合成部と、前記分割された複数のショットから前記撮影空間再合成部で各々再合成された複数の撮影空間の間の空間的なショット間関係を算出するショット間関係算出部と、前記分離された被写体の情報、前記対応付けられた被写体の情報、前記撮影状態情報、前記背景の情報、前記ショット間関係の情報を管理 · 蓄積する映像構造情報管理 · 蓄積部と、を具備することを特徴とする複数映像の時空間統合、管理装置。

2 . 前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報及び映像デ一夕のすべて又はその一部を伝送又は受信する映像構造化情報伝送受信部を、更に具備することを特徴とする請求の範囲第 1 項に記載の複数映像の時空間統合、管理装置。

3 . 予め与えた条件とユーザからの要求のいずれか一方又は双方に従って前記映像構造情報管理 · 蓄積部に蓄積 · 管理されている情報を基に一つ又は複数の撮影空間と一つ又は複数の被写体を再合成する再合成部と、

前記再合成部で再合成された映像を表示する表示部と前記表示部で表示されている映像に基づいて再合成に関する前記ユーザの要求を入力するユーザ入力部と、具備するとともに、

必要に応じて前記表示部に表示された映像をデジタル又はアナログ形式で外部装置に出力する出力部を具備する、

ことを特徴とする請求の範囲第 1 項又は第 2 項に記載の複数映像の時空間統合、管理装置。

4 . 前記撮影状態検出部は、

画像データメモリ部カゝら読み出された画像フレームに対して水平、垂直方向の直線成分を各々算出する直線成分算出部と、

前記算出された水平、垂直直線成分を含む画像が有する時間空間配置の並べ替えを行う画像データ配置並べ替え部と、

前記並べ替えで得られた画像データにフィルター処理を施す映像情報フィルタ一部と、

前記フィルタ一処理の結果から特徴を抽出する特徴抽出部と、

前記抽出された特徴を統計的に解析してカメラオンォフ情報とカメラ操作情報を検出する特徴統計解析部と、を具備することを特徴とする請求の範囲第 1 項、第 2 項、又は第 3 項に記載の複数映像の時空間統合、管理装

5 . 前記画像デ一夕並べ替え部は、画像の法線と時間軸を含む複数枚の時空間断面画像に画像データ列を並べ替える画像データ列再配置手段を具備する、

ことを特徴とする請求の範囲第 4 項に記載の複数映像の時空間統合、管理装置。

6 . 前記映像情報フィルター処理部は、前記並べ替えられた画像データの映像情報のエツジまたは線を検出する線分検出手段を具備する、

7 . 前記特徴抽出部は、

前記検出されたエツジまたは線に関する情報を画像の法線方向に加算する積分手段を具備する、

ことを特徴とする請求の範囲第 6 項に記載の複数映像の時空間統合、管理装置。

8 . 前記特徴統計解析部は、時間軸と空間軸とを有する二次元画像に表現された抽出特徴の時間軸に垂直な直線を検出し、カメラオンオフ情報を算出するカメラオンオフ検出手段を具備する、

9 . 前記特徴統計解析部は、

時間軸と空間軸とを有する二次元画像に表現された抽出特徴の任意の 2 つの時間の空間分布を比較し、空間座標の対応付けを行う対応付け手段と、

前記対応付けられた空間座標を統計処理してカメラ操作パラメ一夕を算出するカメラ操作パラメ一夕算出手段と、

を具備すると特徴とする請求の範囲第 4 項に記載の複数映像の時空間統合、管理装置。

1 0 . 前記被写体，背景分離部は、

撮影状態検出部で検出されたカメラ操作情報に基づいて隣接する画像データ間からカメラ操作を相殺するカメラ操作相殺部と、

前記カメラ操作情報が相殺された画像データ間で比較を行う画像データ比較部と、

隣接する前記比較画像データ間で比較を行う比較画像デ一夕比較部と、

前記比較画像データ比較部から算出される比較データから被写体領域を抽出する領域抽出部と、

を具備することを特徴とする請求の範囲第 1 項、第 2 項、又は第 3 項に記載の複数映像の時空間統合、管理装

1 1 . 前記カメラ操作相殺部は、カメラ操作による変形 · 変位分を相殺するように前記カメラ操作情報に基づいて隣接する画像フレームを変形 · 変位させる映像フレ — ム変形手段を具備する、

ことを特徴とする請求の範囲第 1 0 項に記載の複数映像の時空間統合、管理装置。

1 2 . 前記画像データ比較部は、カメラ操作が相殺された隣接する画像デ一夕間で輝度、色情報の差分処理を行う差分処理手段を具備する、

1 3 . 前記抽出領域部は、

前記比較データに対して、二値化処理を行う二値化処理手段と、

前記二値化処理された二値化データに対してラベル付けをするラベル付け手段と、

前記ラベル付けされた領域の物理的な特徴を算出する物理的特徴算出手段と、

前記算出された物理的な特徴に対して予め与えた条件と照合して被写体領域を抽出する照合手段と、

を具備することを特徴とする請求の範囲第 1 0 項に記載の複数映像の時空間統合、管理装置。

1 4 . 前記被写体，背景分離部は、前記領域抽出部で抽出されたフレーム毎の被写体領域をフレーム画像から差し引いて背景を抽出する背景抽出手段を具備する、ことを特徴とする請求の範囲第 1 3 項に記載の複数映像の時空間統合、管理装置。

1 5 . 前記被写体動き情報抽出部は、前記領域抽出部で抽出されたフレーム毎の被写体領域の時間的に隣接する領域の物理的な特徴の比較量に対して予め与えた条件と照合してフレーム間の被写体情報を対応付ける照合手段を具備する、ことを特徴とする請求の範囲第 1 3 項に記載の複数映像の時空間統合、管理装置。

1 6 . 前記撮影空間再合成部は、前記撮影状態検出部で検出されたカメラ操作情報に基づいて隣接する画像フレームを変形 ' 変位させ、一つの連続する撮影空間として重ね合わせる空間重ね合わせ手段を具備する、

ことを特徴とする請求の範囲第 1 項、第 2 項、又は第 3 項に記載の複数映像の時空間統合、管理装置。

1 7 . 前記ショット間関係算出部は、撮影空間再合成部で作成された各ショット毎の撮影空間に対して、撮影空間の間でそれらの大きさと位置が等しくなるように撮影空間を変換する撮影空間変換手段を具備する、

1 8 . 前記映像構造情報管理 · 蓄積部は、前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報，映像データ、並びに撮影状態情報，背景情報ショット間関係情報，及び映像デ一夕を用いて再合成された複数映像の撮影空間のすべて又はその一部をデータ圧縮し、時間空間的に管理 · 蓄積する手段を具備することを特徴とする請求の範囲第 1 項に記載の複数映像の時空間統合、管理装置。

1 9 . 前記映像構造情報管理 · 蓄積部は、前記抽出された被写体情報を空間に展開し、静止画像としてデ一夕圧縮する手段と、再合成された複数映像の撮影空間を静止画像としてデータ圧縮する手段と、を具備することを特徴とする請求の範囲第 1 8 項に記載の複数映像の時空間統合、管理装置。

2 0 . 複数の映像を時空間統合、管理する方法であつて、

映像 7 夕をみ込み、データ列として保存する画像データ列保存過程と、

刖 ή画像デ一夕列メモリ部からデータ列を読み出し、カメラオンォフ情報と力メラ操作情報を含む撮影状態情報を検出する撮影状態検出過程と、

カメラオンオフ情報に基づいて前記データ列の映像をショッ卜毎に分割する映像分割過程と、

刖 §己カメラ操作情報と物理的な特徴量を用いて前記映像のフレーム毎に被写体と背景を分離する被写体，背景分離過程と、

フレーム毎に分離された被写体情報をフレーム間で対応付ける被写体動き情報抽出過程と、

刖 Bfi カメラ操作情報と前記フレーム毎に分離された背景から前記映像が撮影された撮影空間を再合成する撮影空間合成過程と、前記分割された複数にショッ卜から前記撮影空間再合成過程で各々再合成された複数の撮影空間の空間的なシヨット間関係を算出するショット間関係算出過程と、前記分離された被写体の情報、前記対応付けられた被写体の情報、前記撮影状態情報、前記背景の情報、前記ショット間関係の情報を管理 · 蓄積する映像構造情報管理 · 蓄積過程と、

を具備することを特徴とする複数映像の時空間統合、管理方法。

2 1 . 前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報及び映像データのすべて又はその一部を伝送又は受信する映像構造化情報伝送受信過程を、更に具備することを特徴とする請求の範囲第 2 0 項に記載の複数映像の時空間統合、管理方法。

2 2 . 前記映像構造情報管理 · 蓄積過程の後に、予め与えた条件とユーザからの要求のいずれか一方又は双方に従って前記蓄積 · 管理されている情報を元に一つ又は複数の撮影空間と一つ又は複数の被写体を再合成する再合成過程と、

前記再合成過程で再合成された映像を表示又は出力する表示又は出力過程と、

を具備することを特徴とする請求の範囲第 2 0 項又は第 2 1 項に記載の複数映像の時空間統合、管理方法。

2 3 . 前記撮影状態検出過程は、

画像データ列メモリ過程から読み出された画像フレームに対して水平、垂直方向の直線成分を各々算出する直線成分算出過程と、

前記水平、垂直直線成分を含む画像が有する時間空間配置の並べ替えを行う画像データ配置並べ替え過程と、前記並べ替えで得られた画像データにフィルター処理を施す映像情報フィル夕一処理過程と、

前記フィルター処理の結果から特徴を抽出する特徴抽出過程と、

前記抽出された特徴を統計的に解析してカメラオンォフ操作情報とカメラ操作情報を検出する特徴統計解析過程と、

を具備することを特徴とする請求の範囲第 2 0 項、第 2 1 項、又は第 2 2 項に記載の複数映像の時空間統合、管理方法。

2 4 . 前記画像データ配置並べ替え過程では、画像の法線と時間軸を含む複数枚の時空間断面画像に画像デ一夕列を並べ替えて再配置する、

ことを特徴とする請求の範囲第 2 3 項に記載の複数映像の時空間統合、管理方法。

2 5 . 前記映像情報フィルタ一処理過程では、前記並ベ替えで得られた画像データの映像情報のエッジまたは線を検出する

2 6 . 前記特徴抽出過程では、前記検出されたエッジまたは線に関する情報を画像の法線方向に加算して特徴を抽出する、

ことを特徴とする請求の範囲第 2 5 項に記載の複数映像の時空間統合、管理方法。

2 7 . 前記特徴統計解析過程では、時間軸と空間軸とを有する二次元画像に表現された抽出特徴の時間軸に垂直な直線を検出し、カメラオンオフ情報を算出する、ことを特徴とする請求の範囲第 2 3 項に記載の複数映像の時空間統合、管理方法。

2 8 . 前記特徴統計解析過程は、

時間軸と空間軸とを有する二次元画像に表現された抽出特徴の任意の 2 つの時間の空間分布を比較し、空間座標の対応付けを行う対応付け過程と、

前記対応付けられた空間座標を統計処理してカメラ操作パラメータを算出するカメラ操作パラメータ算出過程と、

を具備することを特徴とする請求の範囲第 2 3 項に記載の複数映像の時空間統合、管理方法。

2 9 . 前記被写体，背景分離過程は、

撮影状態検出過程で検出されたカメラ操作情報に基づいて隣接する画像データ間からカメラ操作を相殺する力メラ操作相殺過程と、

前記カメラ操作情報が相殺された画像データ間で比較を行う画像データ比較過程と、

隣接する前記比較画像データ間で比較を行う比較画像データ比較過程と、

前記比較画像データ比較過程から算出される比較デー夕から被写体領域を抽出する領域抽出過程と、

3 0 . 前記カメラ操作相殺過程では、カメラ操作による変形 · 変位分を相殺するように前記カメラ操作情報に基づいて隣接する画像フレームを変形 · 変位させる、ことを特徴とする請求の範囲第 2 9 項に記載の複数映像の時空間統合、管理方法。

3 1 . 前記画像データ比較過程では、カメラ操作が相殺された隣接する画像データ間で輝度、色情報の差分処理を行う、ことを特徴とする請求の範囲第 2 9 項に記載の複数映像の時空間統合、管理方法。

3 2 . 前記領域抽出過程は、

前記比較データに対して、二値化処理を行う二値化処理過程と、

前記二値化処理された二値化データに対してラベル付けをするラベル付け過程と、

前記ラベル付けされた領域の物理的な特徴を算出する物理的特徴算出過程と、

前記算出された物理的な特徴に対して予め与えた条件と照合して被写体領域を抽出する照合過程と、

を具備することを特徴とする請求の範囲第 2 9 項に記載の複数映像の時空間統合、管理方法。

3 3 . 前記被写体，背景分離過程では、前記領域抽出過程で抽出されたフレーム毎の被写体領域をフレーム画像から差し引いて背景を抽出する、

ことを特徴とする請求の範囲第 3 2 項に記載の複数映像の時空間統合、管理方法。

3 4 . 前記被写体動き情報抽出過程では、前記領域抽出過程で抽出されたフレーム毎の被写体領域の時間的に隣接する領域の物理的な特徴の比較量に対して予め与えた条件と照合してフレーム間の被写体情報を対応付けることを特徴とする請求の範囲第 3 2 項に記載の複数映像の時空間統合、管理方法。

3 5 . 前記撮影空間再合成過程では、前記撮影状態検出過程で検出されたカメラ操作情報に基づいて隣接する画像フレームを変形 ' 変位させ、一つの連続する撮影空間として重ね合わせる、

ことを特徴とする請求の範囲第 2 0 項、第 2 1 項、又は第 2 2 項に記載の複数映像の時空間統合、管理方法。

3 6 . 前記ショット間関係算出過程では、前記撮影空間再合成過程で作成された各ショット毎の撮影空間に対して、撮影空間の間でそれらの大きさと位置が等しくなるように撮影空間を変換する、

3 7 . 前記映像構造情報管理 · 蓄積過程は、前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報，映像データ、並びに撮影状態情報，背景情報，ショット間関係情報，及び映像データを用いて再合成された複数映像の撮影空間のすべて又はその一部をデ一夕圧縮し、時間空間的に管理 · 蓄積すること特徴とする請求の範囲第 2 0 項に記載の複数映像の時空間統合、管理方法。

3 8 . 前記映像構造情報管理 · 蓄積過程は、前記抽出された被写体情報を空間に展開し、静止画像としてデー夕圧縮し、再合成された複数映像の撮影空間を静止画像としてデータ圧縮することを特徴とする請求の範囲第 3 7 項に記載の複数映像の時空間統合、管理方法。

3 9 . 複数の映像を時空間統合、管理するプログラムを記録したコンピュータ読み取り可能な記録媒体であつて、

映像データを読み込み、デ一夕列として保存する画像デ一夕列保存過程と、

前記画像デ一夕列メモリ部からデータ列を読み出し、カメラオンオフ情報とカメラ操作情報を含む撮影状態情報を検出する撮影状態検出過程と、

前記力メラオンオフ情報に基づいて前記データ列の映像をショット毎に分割する映像分割過程と、

前記カメラ操作情報と物理的な特徴量を用いて前記映像のフレーム毎に被写体と背景を分離する被写体，背景分離過程と、

前記フレーム毎に分離された被写体情報をフレーム間で対応付ける被写体動き情報抽出過程と、

前記カメラ操作情報と前記フレーム毎に分離された背景から前記映像が撮影された撮影空間を再合成する撮影空間合成過程と、前記分割された複数にショッ卜から前記撮影空間再合成過程で各々再合成された複数の撮影空間の空間的なシヨット間関係を算出するショッ卜間関係算出過程と、前記分離された被写体の情報、前記対応付けられた被写体の情報、前記撮影状態情報、前記背景の情報、前記ショット間関係の情報を管理 · 蓄積する映像構造情報管理 · 蓄積過程と、

を具備することを特徴とする複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。

4 0 . 前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報及び映像データのすべて又はその一部を伝送又は受信する映像構造化情報伝送受信過程を、更に具備することを特徴とする請求の範囲第 3 9 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。

4 1 . 前記映像構造情報管理 · 蓄積過程の後に、

予め与えた条件とユーザからの要求のいずれか一方又は双方に従って前記蓄積 · 管理されている情報を元に一つ又は複数の撮影空間と一つ又は複数の被写体を再合成する再合成過程と、

前記再合成過程で再合成された映像を表示又は出力する表示又は出力過程と、を具備することを特徴とする請求の範囲第 3 9 項又は第 4 0 項に記載の複数映像の時空間統合、管理プロダラムを記録したコンピュータ読み取り可能な記録媒体。

4 2 . 前記撮影状態検出過程は、

前記水平、垂直直線成分を含む画像が有する時間空間配置の並べ替えを行う画像データ配置並べ替え過程と、前記並べ替えで得られた画像デーダにフィルター処理を施す映像情報フィルター処理過程と、

を具備することを特徴とする請求の範囲第 3 9 項、第 4 0 項、又は第 4 1 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。

4 3 . 前記画像デ一夕配置並べ替え過程では、画像の法線と時間軸を含む複数枚の時空間断面画像に画像デ一夕列を並べ替えて再配置する、ことを特徴とする請求の範囲第 4 2 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビユー夕読み取り可能な記録媒体。

4 4 . 前記映像情報フィルター処理過程では、前記並ベ替えで得られた画像データの映像情報のエツジまたは線を検出する

ことを特徴とする請求の範囲第 4 2 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビユー夕読み取り可能な記録媒体。

4 5 . 前記特徴抽出過程では、前記検出されたエッジまたは線に関する情報を画像の法線方向に加算して特徴を抽出する、

ことを特徴とする請求の範囲第 4 4 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビユー夕読み取り可能な記録媒体。

4 6 . 前記特徴統計解析過程では、時間軸と空間軸とを有する二次元画像に表現された抽出特徴の時間軸に垂直な直線を検出し、カメラオンオフ情報を算出する、ことを特徴とする請求の範囲第 4 2 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビュ一夕読み取り可能な記録媒体。

4 7 . 前記特徴統計解析過程は、

前記対応付けられた空間座標を統計処理してカメラ操作パラメ一夕を算出するカメラ操作ノラメ一夕算出過程と、

を具備することを特徴とする請求の範囲第 4 2 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビュ一夕読み取り可能な記録媒体。

4 8 . 前記被写体，背景分離過程は、

撮影状態検出過程で検出された力メラ操作情報に基づいて隣接する画像データ間からカメラ操作を相殺する力メラ操作相殺過程と、

隣接する前記比較画像データ間で比較を行う比較画像デ一夕比較過程と、

4 9 . 前記カメラ操作相殺過程では、カメラ操作による変形 · 変位分を相殺するように前記カメラ操作情報に基づいて隣接する画像フレームを変形 · 変位させる、ことを特徴とする請求の範囲第 4 8 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュー夕読み取り可能な記録媒体。

5 0 . 前記画像データ比較過程では、カメラ操作が相殺された隣接する画像データ間で輝度、色情報の差分処理を行う、

ことを特徴とする請求の範囲第 4 8 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビユー夕読み取り可能な記録媒体。

5 1 . 前記領域抽出過程は、

を具備することを特徴とする請求の範囲第 4 8 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。

5 2 . 前記被写体，背景分離過程では、前記領域抽出過程で抽出されたフレーム毎の被写体領域をフレーム画像から差し引いて背景を抽出する、

ことを特徴とする請求の範囲第 5 1 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュー夕読み取り可能な記録媒体。

5 3 . 前記被写体動き情報抽出過程では、前記領域抽出過程で抽出されたフレーム毎の被写体領域の時間的に隣接する領域の物理的な特徴の比較量に対して予め与えた条件と照合してフレーム間の被写体情報を対応付けることを特徴とする請求の範囲第 5 1 項に記載の複数映像の時空間統合、管理プログラムを記録したコンビユー夕読み取り可能な記録媒体。

5 4 . 前記撮影空間再合成過程では、前記撮影状態検出過程で検出されたカメラ操作情報に基づいて隣接する画像フレームを変形 ' 変位させ、一つの連続する撮影空間として重ね合わせる、

ことを特徴とする請求の範囲第 3 9 項、第 4 0 項、又は第 4 1 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。

5 5 . 前記ショッ卜間関係算出過程では、前記撮影空間再合成過程で作成された各ショット毎の撮影空間に対して、撮影空間の間でそれらの大きさと位置が等しくなるように撮影空間を変換する、

5 6 . 前記映像構造情報管理 · 蓄積過程は、前記抽出された被写体情報，撮影状態情報，背景情報，ショット間関係情報，映像データ、並びに撮影状態情報，背景情報，ショット間関係情報，及び映像デ一夕を用いて再合成された複数映像の撮影空間のすべて又はその一部をデ — 夕圧縮し、時間空間的に管理 · 蓄積すること特徴とする請求の範囲第 3 9 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。

5 7 . 前記映像構造情報管理 · 蓄積過程は、前記抽出された被写体情報を空間に展開し、静止画像としてデー夕圧縮し、再合成された複数映像の撮影空間を静止画像としてデ一夕圧縮することを特徴とする請求の範囲第 5 6 項に記載の複数映像の時空間統合、管理プログラムを記録したコンピュータ読み取り可能な記録媒体。