WO2001080553A1

WO2001080553A1 - Procede, systeme et appareil permettant d'acquerir des informations concernant des informations diffusees

Info

Publication number: WO2001080553A1
Application number: PCT/JP2001/003161
Authority: WO
Inventors: Kento Miyaoku; Akihito Akutsu; Yoshinobu Tonomura; Hiroki Shigeyoshi; Kiyoshi Tanaka
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2000-04-14
Filing date: 2001-04-12
Publication date: 2001-10-25
Also published as: CA2406253A1; CN1429452A; KR100549124B1; AU2001246910B2; EP1286541A4; EP1775943A2; CN1324895C; AU4691001A; KR100566794B1; KR20050049563A; CA2406253C; KR20020093910A; EP1775943A3; EP1286541A1; EP1286541B1

Description

明細書放送情報に関連した情報の取得方法及びシステム並びに装置技術分野

本発明は、放送情報又は記録情報に関連した情報をネットワークに接続されたサーバ等から視聴者が取得する技術に関する。背景技術

デジタル衛星放送、データ放送も始まり、それらは多彩な放送サ一ビスに加え新しいマスメディアとしての期待も大きい。通信の分野では、 I S D N、 D S L、 F T T L、 I M T— 2 0 0 0等の多くのアクセス系が整備され、それらを用いた I P定額常時接続サービスの開始、通信網のブロードバンド化で、今以上にインターネットの急激な普及が見込まれる。イン夕一ネットもマスメディアとして大きく発展する可能性を見せている。近い将来、デジタル放送とブロードバンド通信が密接に融合し、インタラクティブをキーワードに、より一層の多彩なサービスが開花することが予想される。

イン夕ラクティブがもたらす最大の視聴者にとっての恩恵は、パ —ソナライズな情報（その人に合った情報）のパ一ソナライズな享受（その人に合った受け取り方）である。情報を享受するための道具（端末）も、受け取る情報の種類やそのデータ量、使う人の使用目的や使用環境、情報への操作のしゃすさ等に適したものが多種多様化し普及し始めている。

このような背景の下、上記の技術分野に関する従来技術とその問題点について次の 3つの観点から説明する。

( 1 ) テレビ、ラジオ等の一方向から一方的に与えられる情報は、情報を得るための強いポジティブな操作が伴わないため、煩わしさを感じさせないが、テレビ、ラジオ等メディアは、物理的にそこに載せられる情報に限界がある。情報提供者により選別、演出され、与えられた情報に、視聴者が満足できれば問題はないが、個々の視聴者がそれぞれの嗜好からの情報量的な不満、放送時間や放送エリァ等の情報提供方法に対する不満を感じた場合、今までのアナログテレビ、アナログラジオ等のアナログメディアだけでは、その不満を解決することはできない。放送メディァをアナログからデジタル化し、物理的にそこに載せられる情報を増やすことや、カルーセル方式による情報配信で擬似的なィンタラクティブ性を視聴者に与えたとしても、その不満を本質的に解決したことになつていない。イン夕一ネットを用いて、放送メディアに載せきれなかった情報や関連する情報を配信するサービスも開始されているが、単に複数のメディア（マルチメディア）による情報提供をしているため、視聴者の利用シーンを考慮した、異なるメディア（マルチメディア）で配信された情報間の連動、連携をユーザィン夕フェースの観点から解決していない。

特開平 9 一 1 6 0 8 5 2、特開 2 0 0 0— 1 8 3 8 3 5の発明は. ラジオやテレビで放送された楽曲や映像をネットワークから容易に入手するための装置を提供している。これは、放送された楽曲や映像を視聴後に入手する際の煩わしさに関する課題を解決している。楽曲や映像と共にそれらを同定するための付加情報（関連情報）をメディアに載せて視聴者に配信し、視聴者が所望する楽曲や映像が配信されている時にその要求を受信装置に入力することで、付加情報が記録される。記録した付加情報をキーにネットワークを介して所望した楽曲や映像を同定しそれを得るしくみである。

しかしながら、現在の多種多様な通信アクセス系、端末を前提に放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンッを提供する多種多様なサービスに応えること、またそのサービスをコンテンツ提供者が公平に提供することは、上記発明では原理的に解決しきれていない。すなわち、従来技術では、以下のような課題が解決されていない, 多種多様なサービスを提供できる配信装置に構成上なつていない。視聴者の受信環境（端末スペック等）を考慮した関連コンテンツの配信ができない。配信する際のアクセス系の状態を把握できない。

また、従来技術では視聴者が所望する楽曲や映像が配信されている時に提供サ一ビスの要求（サービスを受けるのに必要な関連情報の記録）を入力した場合のみサービスを受けられる構成となっている。したがって、放送に連携、連動したサービスの予約やお知らせができない。視聴者が所望するサービスを捕り漏らしなく受けたいと思う場合、従来の装置構成であると視聴者に絶えず関連情報の記録を強いることになる。

( 2) —方、 B Sデジタル放送、 C Sデジタル放送等のデジタル放送では、映像音声とともに多様な関連情報が提供され、これらの関連情報は視聴者が映像を視聴しながら参照することが可能となつている。

しかし、ディジ夕ル放送受信装置として一般的であるテレビ受像機では、関連情報を閲覧する場合には、映像表示部の一部分に関連情報を表示したり、あるいは、映像表示部全体に関連情報を表示するため、関連情報を閲覧している時には、映像が縮小されたり、映像の一部が隠れたり、あるいは、映像の視聴を一時中断する必要がある。また、関連情報の情報量が多い場合、視聴者が映像を視聴しながら同時に関連情報の内容を十分に把握することは困難であり、関連情報だけを、番組終了後等視聴者が希望する時点でゆつくりと視聴できることが望ましい。また、従来のディジタル放送受信装置では、関連情報を閲覧する場合には、受信される関連情報が一様に画面に表示されるため、視聴者にとって興味のない関連情報まで表示されることになる。

また、ディジタル放送受信装置では、関連情報や E P G (E 1 e c t r i c P r o g r am Gu i d e) 情報を利用して視聴者の興味対象となる放送番組や関連情報を、視聴者がテレビ放送を視聴していない間に、自動的に選別して装置内に蓄積しておくことが検討されている。この際、視聴者の興味を示す情報を獲得することが課題となる。従来では、視聴者が興味のあるキーワードを直接に入力することにより興味情報を獲得する、あるいは視聴者が視聴した番組の関連情報から興味情報を推測する方法等が提案されている, ここで、視聴者の興味対象となる放送番組を自動的に選別する方法については、例えば、次の文献に記載されている。〔参考文献〕：矢川雄一、鵜飼ひろみ、田中哲雄、柴田正啓、金淵培、「個人の嗜好に合ったテレビ番組を自動編成するエージェントの検討」、信学技報、 A I 9 8 _ 5 5、 P P. 9 - 1 6 , 1 9 9 8年 1 2月。更に、視聴者が視聴した番組の関連情報から興味情報を推測する方法については、特開平 1 1一 1 34 3 4 5号公報「嗜好情報選択装置」に記載されている。

しかし、興味のあるキーワードを意識的に考えて入力することは視聴者にとって必ずしも容易ではない。また、番組の関連情報から興味情報を推測する方法は、前述の興味のない関連情報まで表示されることと本質的に同じ課題が残される。

( 3 ) 上記のように、デジタル放送においては、テレビ放送又はラジォ放送に任意の関連情報としてのデータ信号を多重して放送することが可能である。従って、デジタル放送受信装置において、又はその受信装置に接続された端末において、放送に多重されたデータ信号を利用することにより、放送コンテンッに同期した処理を行うことができる。例えば、放送されるテレビ番組やラジオ番組に関する関連情報を、当該番組と同時に配信することが可能である。

同様に、アナログテレビ放送においても、 AR I B S TD— B 5 「垂直帰線消去期間を使用する伝送方式の標準テレビジョン · デ —夕放送」により既定される方式により、テレビ映像信号に任意のデータ信号を多重することが可能である。特に、「B i t C a s t」（参考：日経マルチメディア、 N o. 2 8、 1 9 9 7. 1 0、 P. 5 2〜P. 5 7 ) と称されるシステム等では、アナログテレビ映像信号に多重されたデータ信号を利用して、放送コンテンツに同期した関連情報提示等の機能を実現している。

また、 WWW (Wo r l d W i d e We b) においては、所定のホームページのコンテンツを、テレビ、ラジオ等の放送コンテンッに同期して逐次更新することがなされている。インタ一ネットに接続されるクライアントが、その所定のホームページをアクセスすることで、放送コンテンッにある程度同期した情報提示等を享受することができる。

しかしながら、放送に多重されたデータ信号を利用して放送コンテンッに同期した処理を行うためには、その処理を行う端末が、放送に多重されたデータ信号を取得する必要がある。即ち、端末自身が放送を受信する機能を有するか、又は放送受信装置に接続され且っ該放送受信装置から放送に多重されたデ一夕信号を取得する機能を有しなければならないという課題がある。

また、そのような機能を有することなく、端末がネットワークを介して放送に多重されたデータ信号を取得する場合、イベント発生からそれに対応するァクションの実行までに、ネットワークにおけるデータ信号の遅延時間が生じるという課題がある。

更に、放送される映像音声に関連する情報を提供する場合、 UR L等を当該映像音声と同時に送信する方法等では、放送情報に UR L等の情報をそれぞれ付加して放送する必要がある。例えば、 CM 等繰り返し放送される放送情報等についても、逐次、その放送毎に対応した UR L等の情報を付加する処理を施す必要がある。

更には、放送映像音声を蓄積して利用する場合にも前記の方法では、何らかの手段を講じることにより、放送映像音声と同時に放送された UR L等の情報を関連付けて蓄積しておかなければ蓄積された映像音声の再生視聴時には、関連情報を取得できない問題がある, 同様に、特開平 9 - 1 6 0 8 5 2 「情報提供装置」のように、時刻と C H番号をキーとして関連情報を取得しょうとする方法でも、一度蓄積した放送情報を視聴する際には視聴時刻が放送時刻と異なるために関連情報と対応させることができなくなり、関連情報を取得できなくなる問題がある。

更に、従来技術においては、視聴されている放送番組映像の画像フレームの切り替わりを極めて正確に把握できないという問題がある。

上述したように、従来の技術においては、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを取得することは容易でないという問題がある。発明の開示

本発明は上記の点に鑑みてなされたものであり、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンッを容易に取得することができるようにすることを目的とする。より詳細には、本発明では次に示す第 1〜第 5の目的を達成することにより、上記の目的を達成している。

本発明の第 1の目的は、上記（ 1 ) の従来技術の問題点の解決を図るものであり、情報を一方向から一方的に与える放送メディァに載せきれなかった関連する情報を、多種多様な通信アクセス系、端末を前提に、放送コンテンツに連動、連携して、コンテンツ提供者が個々の視聴者に対して視聴者の希望に応じたスタイルで多種多様なサービスを公平に提供できるようにすること、また、視聴者が所望するサービスを捕り漏らしなく受けられる環境と、視聴中、視聴後に関連コンテンツを入手するサービスを受ける際の煩わしさに関する課題を解決した環境を提供することである。本発明の第 2の目的は、上記（ 2 ) の従来技術の問題点の解決を図るものであり、視聴者が映像情報を視聴しながら興味を持った被写体に関連した情報を時間の制約等を受けることなく容易に参照できるようにすること、また、視聴者の動的に変化する興味情報に適合する放送情報を自動選択し一視聴者が入手できるようにすること. また、多様かつ的確な関連情報を参照することを可能にし、きめ細かな映像情報の自動選択を可能にすることである。

本発明の第 3〜第 5の目的は、上記（ 3 ) の従来技術の問題点の解決を図るものであり、より詳細には、本発明の第 3の目的は、視聴者装置が放送に多重されたデータ信号を取得することなく、放送される所定チャネルの放送コンテンッに同期したイベントに対する処理を、素早く実行するための技術を提供することである。また、本発明の第 4の目的は、放送情報に対して関連情報を提供するために必要な情報を付加する等の特別な処理を行う必要がなく、かつ、放送情報を一時蓄積して再生視聴する際にもネットワークを介して該放送情報に関する関連情報提供サービスを可能とすることである < 更に、本発明の第 5の目的は、放送受信装置と独立な、すなわち、放送受信装置とデジタル信号通信を行うため通信回線等の通信手段を有さない視聴者装置が、利用者が視聴中の放送番組内容を、 1 3 0秒（テレビ放送映像の 1画像フレーム単位相当）以上の極めて短時間の時間分解能で、個々に識別可能とし、正確に放送内容に同期したサービスの提供を可能とすることである。

上記の第 1の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したサービスを提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記サービスの提供を受けるための方法であって、視聴者装置がサービス提供を要求する際に関連情報提供サーバに必要なサービス提供要求情報を送信して映像に関連する提供可能なサービスの情報を要求し、関連情報提供サーバが前記サービス提供要求情報に基づいて視聴者装置に前記提供可能なサービスの情報を送信し、視聴者装置が前記提供可能なサービスの情報を受信し、視聴者装置が前記提供可能なサービスの中から選択したサービスの提供をコンテンツ提供サーバに要求し、前記コンテンッ提供サーバからサービスの提供を受けるように構成される。前記方法において、視聴者装置が視聴者情報を記憶保持するステップを更に有し、前記サービス提供要求情報は該視聴者情報を含むようにしてもよい。

また、本発明は、放送を視聴する視聴者の視聴者装置と、放送に関連するコンテンツを提供するコンテンツ提供サーバとがネットヮークを介して接続されるシステムであって、前記視聴者装置は、放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンッに関連する提供可能なサービスの情報を要求する手段と、前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、可視化して表示されたサ一ビスの情報からサービスを選択して前記コンテンツ提供サ —バに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備え、前記コンテンツ提供サーバは、前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、前記視聴者装置からのサービスの要求を受信し、そのサービスを要求元の視聴者装置へ送信する手段とを備えるように構成する。

上記システムにおいて、前記視聴者装置はィベント情報を受信する手段を更に有し、前記視聴者装置におけるサービスの情報を要求する手段は、該イベント情報に基き視聴者が予め設定した夕イミングで自動的に要求を出すようにしてもよい。

また、前記コンテンツ提供サーバは、前記視聴者装置からサービスの要求を受信したときに、当該コンテンツ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と、推定又は検出したアクセス系の状態と前記視聴者装置の情報とをもとに、前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手段とを備えるようにしてもよい。

また、本発明は、ネットワークを介して放送に関連するコンテンッを提供する提供者のコンテンツ提供サーバに接続される、放送を視聴する視聴者の視聴者装置であって、放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を、視聴者からの入力により又は予め設定されたタイミングで自動的に要求する手段と、前記コンテンツ提供サ —バから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サ —バが提供するサービスを受信して利用する手段とを備えるように構成する。

また、本発明は、ネットワークを介して放送を視聴する視聴者の視聴者装置に接続される、放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバであって、前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、前記視聴者装置からサービスの要求を受信したときに、当該コンテンッ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と，推定又は検出したアクセス系の状態をもとに前記視聴者装置へ送信するサービスに係るコンテンッを変換して最適化する手段と、最適化したコンテンツを要求元の視聴者装置へ送信し、サービスを提供する手段とを備えるように構成する。

また、本発明の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンッ提供サーバから送信される前記コンテンツ情報を取得するように構成する。

特に、第 2の目的を達成するために、本発明は上記構成において，前記視聴者装置は、映像と共に放送される関連情報、あるいは映像と共に記録されている関連情報を、視聴者装置が前記映像から分離することによって前記関連情報を入手し、該関連情報は、映像中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報を含むように構成することができる。

また、第 2の目的を達成するために、本発明は次のように構成することができる。

本発明は、少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する視聴者装置であって、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含み、前記視聴者装置は、前記放送情報を受信する放送受信部と、映像表示部と、映像表示制御部と、第 1のポインティング手段と、被写体関連情報表示部と、関連情報表示制御部と、第 2のポインティング手段と、被写体属性情報蓄積部と、関連情報アクセス部と、関連情報蓄積部とを備え、前記映像表示制御部は、前記放送受信部が受信した前記放送情報の中の映像情報を前記映像表示部に表示し、前記映像表示部において表示された複数の被写体の中で前記第 1のポインティング手段によりポインティングされた被写体を識別し、前記関連情報表示制御部は、前記映像表示制御部が識別した被写体を代表する文字、記号又は図形を前記被写体関連情報表示部に表示するとともに、前記被写体関連情報表示部において前記第 2のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報を識別し、その情報資源識別情報を前記関連情報ァクセス部に送り、前記関連情報アクセス部は、前記情報資源識別情報に対応して前記関連情報蓄積部又は通信網に接続された情報源にァクセスしてコンテンツ情報を入手し、前記関連情報表示制御部は、前記関連情報アクセス部によって入手したコンテンツ情報を前記被写体関連情報表示部に表示するように構成する。

また、前記視聴者装置は更に興味情報抽出部を備え、前記関連情報表示制御部が、前記第 2のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と、前記情報源から入手したコンテンツ情報と、前記コンテンッ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを前記興味情報抽出部に送信し、前記興味情報抽出部は、前記情報資源識別情報、前記被写体属性情報、前記コンテンツ情報. 前記表示時間情報のうちいずれか複数もしくは全てを参照し興味情報を作成して保持するとともに、前記放送情報を受信した時刻とは異なる時刻に前記放送受信部から受信した放送情報を、当該興味情報に基づいて選択するようにしてもよい。

また、前記視聴者装置において、映像蓄積部を具備し、前記興味情報抽出部によって選択された放送情報を該映像蓄積部に蓄積するようにしてもよい。

また、前記視聴者装置において、前記関連情報表示制御部は、前記第 2のポインティング手段又は他の入力手段により前記被写体関連情報表示部に表示されている被写体を代表する文字、記号又は図形を移動又は削除する手段を持ち、前記被写体を代表する文字、記号又は図形の移動又は削除の操作が発生した場合に、当該操作の内容を示す操作情報を前記興味情報抽出部に送信し、前記興味情報抽出部は、前記操作情報に基づいて前記興味情報を更新するようにしてもよい。

更に、前記視聴者装置において、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応づけられ、前記映像表示部において表示される際の被写体座標値を含み、該被写体座標値の点を含む領域を前記第 1のボインティング手段がボインティングすることにより被写体を識別するようにしてもよい。

本発明の第 3の目的を達成するために、本発明は次のように構成することができる。

視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンッ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得する構成において、前記システムは関連情報提供サーバを含み、該関連情報提供サーバが映像の放送時間と同期して指定される有効期間毎に、有効なィべン卜を示すィベント識別子、及びそれに対応した動作を指定するァクションテーブルを構成し、関連情報提供サーバが視聴者装置ヘアクションテーブルを送信し、視聴者装置が関連情報提供サーバからァクションテーブルを受信し、視聴者装置が発生したィベン卜からィベント識別子を導出して、受信した前記ァクシヨンテーブルを用いて前記ィベント識別子に対応した動作を行うことによって、前記コンテンッ情報を取得するために必要な関連情報を入手するようにする。

また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有する放送コンテンツと同期するイベントを処理するシステムであって、前記サーバは、前記放送コンテンッの放送時間と同期して指定される有効期間毎に、有効なィベントを示すィベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを構成するァクションテーブル構成手段と、該ァクションテ一ブルを前記視聴者装置へ送信するァクションテーブル提供手段とを有し. 前記視聴者装置は、発生したイベントからイベント識別子を導出するイベント管理手段と、前記サーバから受信した前記ァクションテ一ブルをその有効期間だけ参照し、該テーブルを用いて前記ィベント識別子に対応するァクション内容情報を導出するァクションテーブル管理手段と、該ァクション内容情報を実行するァクション実行手段とを有するように構成する。

また、上記システムにおいて、前記視聴者装置の前記アクションテーブル管理手段は、前記ィベント管理手段で導出された前記ィべント識別子を前記サーバへ送信し、前記サーバは、前記視聴者装置から受信した前記ィベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、前記サーバの前記アクションテ一ブル構成手段は、前記視聴者装置毎に管理された前記ィベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成するようにしてもよい。これにより、同じイベントに対しても、クライアント毎に適切な異なるァクション内容が実行される。また、上記システムにおいて、前記視聴者装置の前記アクションテーブル管理手段は、現在参照しているァクションテーブルの有効期間が終了すると共に、次の有効期間に相当するァクションテープルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求するようにしてもよい。これにより、視聴者装置（クライアント）の都合で、アクションテーブルを必要とする時に、要求することが可能となり、無駄なアクションテープルの配信を防ぐことができる。

また、上記システムにおいて、前記サーバの前記アクションテ一ブル提供手段は、前記アクションテーブル構成手段が新しいァクションテーブルを構成すると直ぐに、複数の前記視聴者装置へ該新しぃァクションテーブルを能動的に配信するようにしてもよい。これにより、視聴者装置は、アクションテーブルを要求する必要がなく , その手順を単純化できる。

また、本発明は次のように構成することもできる。

本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集するサーバと、該サーバとネットヮークを介して通信する視聴者装置とを有するシステムで用いられる放送コンテンツと同期するィベントを処理する方法であって、前記サーバが、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを構成する第 1の段階と、前記サーバが、前記ァクションテーブルを前記視聴者装置へ送信する第 2の段階と、前記視聴者装置が、発生したイベントからイベント識別子を導出する第 3の段階と、前記視聴者装置が、前記サーバから受信した前記アクションテーブルを用いて前記ィベント識別子に対応するァクション内容情報を導出する第 4の段階と、前記視聴者装置が、前記アクション内容情報を実行する第 5の段階とを有し、前記視聴者装置は、前記サーバから受信した前記ァクションテーブルをその有効期間だけ参照するようにする。

上記方法において、前記第 3の段階は、前記視聴者装置が導出した前記イベント識別子を前記サーバへ送信し、前記サーバが、前記視聴者装置から受信した前記ィベント識別子を前記視聴者装置毎に管理する第 6の段階を更に有し、前記第 1の段階は、前記サーバが. 前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成するようにしてもよい。

また、上記方法において、前記視聴者装置は、現在参照しているァクションテーブルの有効期間が終了すると共に、次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求する段階を更に有するようにしてもよい。

また、上記方法において、前記サーバが、前記第 1の段階で新しぃァクションテーブルを構成すると直ぐに、複数の前記視聴者装置へ該新しいァクションテーブルを能動的に配信する段階を有するようにしてもよい。

また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバであり、前記放送コンテンッの放送時間と同期して指定される有効期間每に、有効なィベントを示すィベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを構成するァクションテープル構成手段と、該アクションテーブルを視聴者装置へ送信するァクションテーブル提供手段とを有するように構成する。

上記サーバにおいて、前記視聴者装置から受信したィベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、前記アクションテーブル構成手段は、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成するようにしてもよい。

また、上記サーバにおいて、前記アクションテーブル提供手段は. 前記ァクションテーブル構成手段が新しいァクションテーブルが構成されると直ぐに、複数の前記視聴者装置へ該新しいアクションテ —ブルを能動的に配信するようにしてもよい。

また、本発明は、放送局又は放送情報蓄積サーバから送信される放送コンテンツに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置であり、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを前記サーバから受信する手段と、発生したイベントからィベント識別子を導出するィベント管理手段と、前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応するァクション内容情報を導出するァクションテーブル管理手段と、該ァクション内容情報を実行するァクション実行手段と、前記イベント識別子を前記サーバへ送信する手段とを有するよう構成する。

上記視聴者装置において、前記アクションテ一ブル管理手段は、現在参照しているァクションテーブルの有効期間が終了すると共に，次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテ一ブルを前記サーバへ要求する手段を有するようにしてもよい。

本発明の第 4、第 5の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と、放送情報に関連する情報である関連情報を提供する関連情報提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記関連情報を取得するための方法であって、視聴者装置が、前記放送情報から抽出した所定の情報を関連情報提供サーバに送信し、関連情報提供サーバが、該所定の情報を用いて該放送情報に関連する関連情報を取得し、前記視聴者装置に送信するように構成する。

上記方法において、更に前記関連情報提供サーバは該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、視聴者装置は前記所定の情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。

特に、本発明の第 4の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンッ提供サーバから送信される前記コンテンツ情報を取得する構成において、前記システムは関連情報提供サーバを含み、該関連情報提供サーバのデータベースに映像とその関連情報を記録し、視聴者装置が映像又は該映像を変換して得られた特徴量情報である部分映像情報を関連情報提供サーバに送信し、関連情報提供サーバが受信した映像又は部分映像情報によって前記データベースを検索し、その結果取得された関連情報を視聴者装置に送信し、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手するよう構成する。上記方法において、更に前記関連情報のデータベースに該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を記録し、視聴者装置は前記部分映像情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。

また、本発明は、放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法であって、放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供するように構成することができる。

また、本発明は、蓄積された放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法において、放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、視聴者が再生視聴中の，放送情報蓄積装置に蓄積された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供するよう構成することもできる。

上記方法において、前記部分放送情報は、視聴者による関連情報取得指示が入力された時点を含む一定期間に視聴された放送情報又は該放送情報を変換して得られた特徴量情報であるとしてもよい。また、上記方法において、前記放送情報デ一夕ベースは各放送情報を、当該放送情報を識別するための情報である放送情報識別情報で管理し、前記関連情報データベースは前記放送識別情報と、当該放送情報に対応する関連情報を対応させて管理し、前記放送情報デ一夕ベースを検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定し、前記関連情報データベースを参照し前記放送情報識別情報に対応する関連情報を得、視聴者に提供するようにしてもよい。

また、上記方法において、前記関連情報データベースは、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理し、関連情報を特定した後、該視聴者固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供するようにしてもよい。

また、本発明は、映像音声を含む放送情報を受信し、視聴者に提供する手段と、視聴者の関連情報取得指示により該指示が入力された時点で前記視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を所定のネットワークを介して送信し、また前記ネットワークを介して送信されてきた関連情報を取得する手段を有する 1台以上の視聴者装置と、前記ネットヮークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データべースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報データベースと、前記視聴者装置が送信した前記部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を含む関連情報提供サーバとを有するシステムとして構成することができる。

また、本発明の視聴者装置は、放送情報を受信する放送受信手段と、前記放送受信手段で受信された放送情報を復調復号する放送情報復調復号手段と、関連情報取得指示を含む各種指示を視聴者が入力するための入力手段と、所定のネットワークを介して、各放送情報に対応する関連情報を蓄積している関連情報提供サーバと通信するためのネットワーク通信手段と、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で前記放送情報復調復号手段より出力された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信し、その後前記ネットワークを介して前記関連情報提供サーバから送信されてきた、前記部分放送情報に対応する関連情報を前記ネッ卜ワーク通信手段を介して受け取る関連情報取得手段と、前記放送情報復調復号手段から出力された放送情報および前記関連情報取得手段で受け取られた関連情報を表示再生する表示再生手段とを有するように構成できる。

上記視聴者装置において、前記放送情報復調復号手段から出力された放送情報を蓄積する放送情報蓄積手段を更に有し、前記関連情報取得手段は、視聴者が前記放送情報蓄積手段に蓄積されている放送情報を再生視聴中に、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で再生視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信するように構成してもよい。

また、上記視聴者装置はブックマーク用ポタンを更に有し、視聴者が前記ブックマーク用ポタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、前記関連情報取得手段は、視聴者が関連情報取得指示を入力した時点で前記関連情報提供サーバにアクセスし、前記メモリに蓄積された部分放送情報を前記関連情報提供サーバに通知するようにしてもよい。

また、本発明の関連情報提供サーバは、所定のネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報デ —夕ベースと、視聴者装置が前記ネットワークを介して送信した部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを参照し, 前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を有し、前記部分放送情報は、視聴者が任意の時点に視聴中の放送情報又は再生視聴中の、放送情報蓄積装置に蓄積された放送情報又はこれら放送情報を変換して得られた特徴量情報であるように構成することができる。

本発明の第 5の目的を達成するために、本発明は次のように構成することができる。

本発明は、視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンツ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手し、前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、前記コンテンッ提供サーバから送信される前記コンテンツ情報を取得する構成において、放送局又は放送情報蓄積サーバが、所定のデータ信号を音声に重畳して送信し、放送受信装置がスピー力より放送音声を出力し、視聴者装置が該放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次連続的に抽出して、該デ一夕信号を用いて関連情報を入手するようにする。

また、上記方法において、前記システムは関連情報提供サーバを含み、前記視聴者装置が前記データ信号を関連情報提供サーバに送信し、関連情報提供サーバが受信した該デ一夕信号を用いて関連情報を取得し、該関連情報を視聴者装置に送信し、視聴者装置が該関連情報を入手するようにしてもよい。

更に、上記方法において、更に前記関連情報提供サーバは前記関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、視聴者装置は前記データ信号に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を特定した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信するようにしてもよい。

また、本発明は、音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側が、音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレ —ムに対して一意に割り当てられた音声フレーム識別子とを含むデ一夕信号を重畳して送信し、受信側において、視聴者装置が、放送受信装置のスピー力より出力される放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次、連続的に抽出して、該デ一夕信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出し、これらのチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得することを特徴とする放送同期型サービス提供方法として構成することができる。上記方法において、放送局又は放送情報蓄積サーバ側が、画像フレーム識別子又は音声フレーム識別子を、時系列に連続する数字として送信し、視聴者装置が、放送受信装置のスピーカより出力された音声から該者声に重畳されているデ一夕信号を、逐次、運続的に抽出する際に、音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い、音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いるようにしてもよい。

また、上記方法において、視聴者装置がネットワークから取得する関連情報は、該ネットワークに接続されている関連情報提供サーバが管理する放送情報データベースに、チャネル識別子及び画像フレーム識別子又は音声フレーム識別子と対応付けて保持されている関連情報を、前記関連情報提供サーバを経由して得るようにしてもよい。 - また、本発明は、音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側に、音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレ —ムに対して一意に割り当てられた音声フレーム識別子とを含むデ一夕信号を重畳して送信する手段を設け、受信側の視聴者装置に、放送受信装置のスピーカより出力される放送音声を集音して電気信号に変換するマイクロホンと、該電気信号に重畳されている前記デ一夕信号を、逐次、連続的に抽出すると共に、該デ一夕信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けたことを特徴とする放送同期型サービス提供システムとして構成することができる。

また、本発明は、放送局又は放送情報蓄積サーバから送信される音声又は音声と映像を受信する放送受信装置より出力される音声を受信する視聴者装置であって、前記音声には、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデ一夕信号が重畳され、該視聴者装置は、放送受信装置のスピーカより出力される放送音声を集音して電気信号に変換するマイクロホンと、該電気信号に重畳されている前記データ信号を. 逐次、連続的に抽出すると共に、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデー夕信号抽出手段と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けて構成することができる。

上記視聴者装置において、前記視聴者装置が、前記ネットワークに接続されている関連情報提供サーバに前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を送信し、該関連情報提供サ一バが該視聴者装置固有の視聴者情報又は視聴者装置情報に適合した前記関連情報を選択し、視聴者装置は該関連情報を前記ネットヮ —クを介して取得するようにしてもよい。

本発明の他の目的、特徴、機能、利点は、後の詳細な説明を添付の図面を参照して読むことにより、より明確になる。図面の簡単な説明図 1は、本発明の第 1の実施の形態における基本的な構成例を示す図である。

図 2は、第 1の実施の形態におけるシステムの構成図である。図 3は、視聴者装置の構成例を示す図である。

図 4は、関連情報コンテンツ提供サーバの構成例を示す図である < 図 5は、視聴者装置と関連情報コンテンツ提供サーバ間の情報の流れを示す図である。

図 6は、イベント情報、放送情報とサービスの関連を表す概念図である。

図 7は、サービスと関連コンテンツを選択する手順を示す図である。

図 8は、サービス情報の表示画面の例を示す図である。

図 9は、お知らせ設定（条件設定）画面の例を示す図である。図 1 0は、本発明の第 2の実施の形態におけるシステム構成図である（実施例 2 _ 1 ) 。

図 1 1は、第 2の実施の形態における関連情報の例を示す図である。

図 1 2は、映像表示部の被写体と被写体関連情報表示部の被写体代表図形等の関係を説明するための図である。

図 1 3は、被写体関連情報表示部における表示例を示す図である ₍ 図 1 4は、本発明の第 2の実施の形態におけるシステム構成図である（実施例 2— 2 ) 。

図 1 5は、本発明の第 2の実施の形態におけるシステム構成図である（実施例 2— 3 ) 。

図 1 6は、実施例 2— 3における他の例を示す図である。

図 1 7は、本発明の第 2の実施の形態におけるシステム構成図である（実施例 2— 4 ) 。

図 1 8 ,は、本発明の第 3の実施の形態におけるシステム構成図である。図 1 9は、図 1 8の関連情報提供サーバ及び視聴者装置の構成図である。

図 2 0は、第 3の実施の形態における方法のシーケンス図である, 図 2 1は、第 3の実施の形態におけるァクションテーブルの一例である。

図 2 2は、第 3の実施の形態におけるクライアント発生イベントリス卜の一例である。

図 2 3は、実施例 3— 1における、最初に取得されたアクションテーブルの一例である。

図 2 4は、図 2 3の次に取得されたアクションテーブルの一例である。

図 2 5は、実施例 3 _ 1におけるァクションテ一ブルの一例である。

図 2 6は、図 2 5のァクションテーブルとァクション内容情報が異なるアクションテ一ブルの一例である。

図 2 7は、実施例 3 _ 2における、アクションテーブルである。図 2 8は、実施例 3— 3におけるシステム構成図である。

図 2 9は、放送映像を受信する放送受信装置と、視聴者装置の出力デバイスが一体になつている場合の情報表示領域の一例である。図 3 0は、実施例 3— 3におけるアクションテーブルの一例を示す図である。

図 3 1は、放送映像表示領域を示す図である。

図 3 2は、視聴者装置出力情報表示領域にアイコン Aが追加表示されることを説明するための図である。

図 3 3は、本発明の第 4の実施の形態におけるシステムの全体の構成の例を示す図である（実施例 4 一 1 ) 。

図 3 4は、関連情報データベース 4 0 2 2が有するテ一ブルの例を示す図である。

図 3 5は、実施例 4 - 1における視聴者装置の一構成例を示す図である。

図 3 6は、本発明の第 4の実施の形態におけるシステムの全体の構成の例を示す図である（実施例 4 一 2 ) 。

図 3 7は、実施例 4一 2における視聴者装置の一構成例 ¾示す図である。

図 3 8は、本発明の第 5の実施の形態における放送同期型サービス提供システムの全体の構成の例を示す図である。

図 3 9は、第 5の実施の形態における視聴者装置の構成の例を示す図である。

図 4 0は、本発明の第 5の実施の形態における放送同期型サービス提供システムの全体の構成の詳細例を示す図である。

図 4 1は、音声に重畳するデータ信号と音声データの構成の例を示す図である。

図 4 2は、音声から抽出したデ一夕信号から実際に用いるチャンネル I D及び画像フレーム I D決定までの処理を示す流れ図である, 図 4 3は、視聴者装置起動後におけるデータ信号抽出手段の結果によるチャネル I Dと画像フレーム I Dの確認結果例である。

図 4 4は、図 4 3のデータ信号抽出処理結果に対して得られた各変数の値である。発明を実施するための最良の形態

以下、第 1〜第 5の目的に対応した第 1〜第 5の実施の形態について説明する。なお、第 1〜第 5の実施の形態に係る各々の発明により、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようになり、本発明の目的が達成される。次に、各実施の形態の概要について説明する。

第 1の実施の形態では、放送局から配信される放送を視聴する放送受信装置と、放送に関連した関連情報を得る装置とがー体となつた視聴者装置が、関連情報とその関連情報に対応したコンテンツを提供する関連情報コンテンツ提供サーバにサービスを要求することにより、関連情報の取得等を行う。また、イベント情報を視聴者装置が取得し、そのィベント情報に基づき視聴者装置がサービスを要求する。

第 2の実施の形態では、上記関連情報コンテンツ提供サーバが提供する関連情報に相当する情報（U R L等）を含む放送情報を、放送局から視聴者装置に送るようにする。当該情報は被写体単位でフレーム毎に付加され、視聴者が興味を持った被写体をボインティング等することにより関連情報を取得する。また、視聴者のポインテイングに基づき、興味情報を取得し、視聴者の興味に合ったコンテンッを自動的に取得する。これにより、第 1の実施例と同様、放送情報等に関連した情報を容易に取得できるようになる。

第 3〜第 5の実施の形態に関しては、基本的な構成については第 1の実施の形態と同様であり、放送情報等に関連した情報を容易に取得できるようにすることを目的とするが、関連情報を取得するための構成に違いがある。

すなわち、第 3の実施の形態では、関連情報提供サーバが視聴者装置に、放送内容に関連したアクションテーブルを提供し、放送を視聴する視聴者がそのァクションテ一ブルに示されたイベントを発生させることにより、そのィベン卜に対応したァクションが実行され、関連情報の取得等を行う。

第 4の実施の形態では、視聴者装置が部分放送情報を関連情報提供サーバに送信し、関連情報提供サーバがその部分放送情報に基づき放送に関連する関連情報を視聴者装置に送信する。

第 5の実施の形態では、放送の中の音声にフレーム I D等が重畳され、視聴者装置で当該フレーム I D等を抽出し、当該フレーム I D等を用いて関連情報コンテンツ提供サーバに関連情報を要求する, また、上記の各実施の形態において、視聴者プロファイル等の視聴者情報や端末情報に関連した関連情報を視聴者装置が取得することが可能である。更に、各実施の形態において、放送局からの放送情報を受信しながら関連情報を取得するのみならず、例えば図 1 8 に示すように、放送情報を蓄積した放送情報蓄積サーバから、例えばィン夕一ネット等のネットワークを介して放送情報を受信しながら、その放送情報に関連する関連情報を視聴者装置が取得することが可能である。

以下、各実施の形態について詳細に説明する。

[第 1の実施の形態]

以下、第 1の目的に対応する第 1の実施の形態について詳細に説明する。

図 1は、本発明の第 1の実施の形態の基本的な構成例を示す図である。図中、 1 0 0 1は放送を視聴する視聴者の視聴者装置、 1 0 0 2は放送に関連する情報とその情報に対応するコンテンツを提供する提供者の関連情報コンテンツ提供サーバ、 1 0 0 3は一方向から一方的に放送コンテンツを送信する放送局、 1 0 0 4はイベント情報を提供するイベント情報提供サーバを表す。

視聴者装置 1 0 0 1の提供可能サービス要求手段 1 0 1 1は、視聴者が放送局 1 0 0 3からの放送を視聴しているとき、視聴者からの指示によって、関連情報コンテンツ提供サーバ 1 0 0 2に対し、サービス提供を要求する際に必要な視聴者情報や端末情報、又は視聴者装置 1 0 0 1の I Dを送信して放送コンテンツに関連する提供可能なサービスの情報を要求する。

関連情報コンテンツ提供サーバ 1 0 0 2の提供可能サービス選別手段 1 0 2 1は、視聴者装置 1 0 0 1から受信した提供可能なサービスの情報の要求に対し、視聴者装置 1 0 0 1の情報をもとに提供可能なサービスを選別する。提供可能サービス情報送信手段 1 0 2 2は、選別した提供可能なサービスの情報を視聴者装置 1 0 0 1へ送信する。視聴者装置 1 0 0 1の提供可能サービス情報可視化表示手段 1 0 1 2は、関連情報コンテンツ提供サーバ 1 0 0 2から受信した提供可能なサービスの情報をアイコン化して表示し、サービス選択 ·要求手段 1 0 1 3は、アイコンの一つがボインティングデバイスによつて選択されると、そのアイコンが示すサービスを関連情報コンテンッ提供サーバ 1 0 0 2へ要求する。

関連情報コンテンツ提供サーバ 1 0 0 2のサービス要求受信手段 1 0 2 3は、そのサービス要求を受信すると、アクセス系状態検出手段 1 0 2 4を起動する。アクセス系状態検出手段 1 0 24は、関連情報コンテンツ提供サーバ 1 0 0 2から視聴者装置 1 0 0 1へ予め定めた量の情報バケツトを流し、視聴者装置 1 0 0 1から返ってくるまでの時間を測定することにより、関連情報コンテンツ提供サーバ 1 0 0 2と視聴者装置 1 0 0 1間のアクセス系の状態を推定する。

サービスコンテンッ最適化手段 1 0 2 5は、視聴者装置 1 0 0 1 の情報とアクセス系の状態をもとに視聴者装置 1 0 0 1へ送信するサービスに係るコンテンッの画面サイズ、解像度等を変換して最適化する。サービス提供手段 1 0 2 6は、最適化したコンテンツを視聴者装置 1 0 0 1へ送り、要求されたサービスを提供する。

視聴者装置 1 0 0 1のサービス利用手段 1 0 1 4は、関連情報コンテンッ提供サーバ 1 0 0 2が提供するサービスのコンテンツを受信し、そのコンテンツを蓄積、表示、出力する等して、要求したサ一ビスの利用を図る。

図 2は、図 1に示す本発明の機能を実現するためのシステムの構成図である。

視聴者装置 1 0 0 1と関連情報コンテンツ提供サーバ 1 0 0 2とは. ネットワーク 1 0 0 5を介して接続される。視聴者装置 1 0 0 1は. 入力部 1 1 1 0、表示部 1 1 2 0、制御部 1 1 3 0、処理部 1 1 4 0、センサー部 1 1 5 0、蓄積 ·管理部 1 1 6 0、通信部 1 1.7 0 を備える。また、関連情報コンテンツ提供サーバ 1 0 0 2は、入力部 1 2 1 0、表示部 1 2 2 0、制御部 1 2 3 0、処理部 1 2 4 0、蓄積 · 管理部 1 2 5 0、通信部 1 2 6 0を備える。

図 3は、視聴者装置 1 0 0 1の構成例を示す図である。視聴者装置 1 0 0 1の入力部 1 1 1 0は、操作入力手段 1 1 1 1、音声入力手段 1 1 1 2、画像 · 映像入力手段 1 1 1 3、アイコン操作入力手段 1 1 1 4、設定操作入力手段 1 1 1 5、コンテンッ操作手段 1 1 1 6からなる。表示部 1 1 2 0は、受信情報可視化手段 1 1 2 1、サービス情報表示手段 1 1 2 2、ィベント情報表示手段 1 1 2 3、設定画面表示手段 1 1 2 4、コンテンッ表示手段 1 1 2 5からなる, 処理部 1 1 4 0は、音声情報認識手段 1 1 4 1、画像 · 映像認識手段 1 1 4 2、配信ィベント情報条件マッチ判断手段 1 1 4 3、ァィコン操作手段 1 1 44からなる。蓄積 ·管理部 1 1 6 0は、視聴者情報蓄積 · 管理手段 1 1 6 1、端末情報蓄積 · 管理手段 1 1 6 2 からなる。センサ一部 1 1 5 0は、ユーザ環境感知手段 1 1 5 1からなる。通信部 1 1 7 0は、情報送信手段 1 1 7 1、情報受信手段 1 1 7 2、イベント情報受信手段 1 1 7 3からなる。また、視聴者装置 1 0 0 1は、メモリ一部 1 1 8 0を持ち、メモリ一部 1 1 8 0 には、情報一時格納手段 1 1 8 1が設けられている。

図 4は、関連情報コンテンツ提供サーバ 1 0 0 2の構成例を示す, 関連情報コンテンツ提供サーバ 1 0 0 2の入力部 1 2 1 0は、情報入力手段 1 2 1 1からなり、表示部 1 2 2 0は、情報表示手段 1 2 2 1からなる。処理部 1 2 4 0は、提供可能サービス選別手段 1 2 4 1、コンテンツ間リンク手段 1 2 4 2、コンテンツ変換手段 1 2 4 3、アクセス系状態検出手段 1 2 44からなる。蓄積 ·管理部 1 2 5 0は、視聴者情報蓄積 · 管理手段 1 2 5 1、端末情報蓄積 · 管理手段 1 2 5 2、視聴者環境情報蓄積 · 管理手段 1 2 5 3、コンテンッイベント情報蓄積 · 管理手段 1 2 5 4、放送情報蓄積 · 管理手段 1 2 5 5、コンテンツ蓄積 · 管理手段 1 2 5 6からなる。通信部 1 2 6 0は、情報受信手段 1 2 6 1、放送情報受信手段 1 2 6 2、情報送信手段 1 2 6 3からなる。また、関連情報コンテンツ提供サ —バ 1 0 0 2は、メモリ一部 1 2 7 0を持ち、メモリ一部 1 2 7 0 には、情報一時格納手段 1 2 7 1が設けられている。

図 5は、視聴者装置 1 0 0 1と関連情報コンテンツ提供サーバ 1

0 0 2間の情報の流れを示す。以下、図 5に従って図 2〜図 4に示す装置の動作について詳細に説明する。なお、番組情報等の放送情報は、事前に放送業者から関連情報コンテンツ提供サーバ 1 0 0 2 へ送られ、イベント情報は、イベント情報提供者から事前に又は放送時に視聴者装置 1 0 0 1へ送られる。

( 1 ) サービス提供要求入力

まず、視聴者装置 1 0 0 1において、視聴者が一方向に配信された放送コンテンツを視聴していて、放送されているコンテンッに関連する関連コンテンッに関するサービスを受けたいと思った時、その要求を入力部 1 1 1 0で入力する。この視聴者の要求を入力する手段として、ボタン等による操作入力手段 1 1 1 1、マイク等による音声入力手段 1 1 1 2、カメラ等により撮影したジェスチャー等の画像 · 映像入力手段 1 1 1 3がある。

操作入力手段 1 1 1 1で入力された情報（オン/オフ情報）は、制御部 1 1 3 0を介してメモリ一部 1 1 8 0に格納される。音声入力手段 1 1 1 2により入力された音声情報、及び画像 · 映像入力手段 1 1 1 3により入力された画像 · 映像情報は、制御部 1 1 3 0を経由して、それぞれ処理部 1 1 40の音声情報認識手段 1 1 4 1、画像 · 映像認識手段 1 1 42に送られる。これらによって、視聴者が要求を入力したことを認識し、結果（オンオフ情報）を制御部 1 1 3 0を介してメモリー部 1 1 8 0に格納する。

( 2) サービス提供要求情報

制御部 1 1 3 0では、メモリー部 1 1 8 0に要求入力情報が格納された場合、蓄積 ·管理部 1 1 6 0の視聴者情報蓄積 ·管理手段 1 1 6 1で蓄積、管理されている視聴者情報（視聴者プロファイル）を蓄積 ·管理部 1 1 6 0へ要求し、取得した視聴者情報をメモリー部 1 1 8 0に格納する。同様に、蓄積 ·管理部 1 1 6 0の端末情報蓄積 ·管理手段 1 1 6 2で蓄積、管理されている端末情報（メーカ名、型番、スペック等）を蓄積 ·管理部 1 1 6 0へ要求し、取得した端末情報をメモリ一部 1 1 8 0に格納する。

また、制御部 1 1 3 0は、センサー部 1 1 5 0のユーザ環境感知手段 1 1 5 1で感知されている視聴者環境情報をセンサー部 1 1 5 0へ要求し、取得した視聴者環境情報をメモリー部 1 1 8 0に格納する。

上記の視聴者情報とは、視聴者に関する情報であり、例えば、名前、性別、年齢、職業、住所、郵便番号、家族構成、住居に関する情報（マンション、一戸建て、等）、趣味、興味を有する情報ジャンル（政治、経済、ニュース、コンピュータ、書籍、スポーツ、旅行、等）、年収、各種サービスの会員であるか否かという情報及び会員番号あるいはクレジットカード I D、各種資格（運転免許、等）保有の有無、体形に関する情報（体重、身長、衣類のサイズ等）、能力に関する情報（視力、聴力、等）、等のいずれか複数を含むものである。

端末情報とは、視聴者装置の表示装置の解像度、表示可能色数、 WWW情報閲覧手段の性能（ J a v a機能利用可否、映像音声コンテンッ再生機能の有無、映像音声コンテンツで再生できる符号化フォーマット情報、等）等の情報である。

また、視聴者環境情報は、視聴者が一方向に配信された放送コンテンッを視聴している時の環境状態、視聴者状態を表す情報であり視聴している時の環境状態の情報とは、どこで視聴しているか（G P S [G l o b a l P o s i t i o n i n g S y s t e m〕等で得られる場所情報）、いつ視聴しているか（装置内タイマーや G P S等で得られる時間情報）、何を視聴しているか（テレビ操作リモコン等の赤外線通信をモニタ一することで得られる放送チャンネルゃ番組等の情報）等の情報である。

視聴者状態を表す情報は、視聴者の視聴姿勢（座っているのか、立っているのか等）や、視聴時の精神状態（ドキドキしているのか. 冷静か、楽しい、悲しい等）の情報である。視聴姿勢は、端末の床からの高さ情報から判断できる。また、精神状態は、心拍数、発汗の様子、動き情報から判断できる。高さ情報、心拍数、発汗の様子. 動き情報等は、センサーで感知可能な情報である。視聴者情報、端末情報、視聴者環境情報に関して必ずしもすべての情報が揃わなくてもよいとする。

視聴者情報に関しては、既に情報が関連情報コンテンツ提供サ一ノ 1 0 0 2へ送られていて、関連情報コンテンッ提供サーバ 1 0 0 2の蓄積 ·管理部 1 2 5 0の視聴者情報蓄積 ·管理手段 1 2 5 1で蓄積、管理されている場合、関連情報コンテンツ提供サーバ 1 0 0 2側で視聴者情報を特定できる情報としてもよい。この情報は、事前に関連情報コンテンツ提供サーバ 1 0 0 2に視聴者プロファイルを登録し、関連情報コンテンツ提供サーバ 1 0 0 2から払い出された I D (識別子）等である。

すなわち、視聴者装置が提供可能サービスを要求するときの視聴者装置の情報等は、予め関連情報コンテンツ提供サーバ 1 0 0 2に登録しておき、視聴者装置の I Dのみを送る構成でもよいし、すべての情報を要求時に毎回送る構成でもよい。

制御部 1 1 3 0を介してメモリー部 1 1 8 0に格納された視聴者情報、端末情報、視聴者環境情報は、サービス提供要求情報として通信部 1 1 7 0の情報送信手段 1 1 7 1で関連情報コンテンツ提供サーバ 1 0 0 2へ送信される。制御部 1 1 3 0は、送信と同時に送信したことの情報を表示部 1 1 2 0へ送り、その情報を可視化する手段で表示することで、視聴者の入力操作（アクション）に対するリアクションを示す。 ( 3 ) 提供可能サービスの選別

関連情報コンテンツ提供サーバ 1 0 0 2は、視聴者装置 1 0 0 1 から送信された視聴者情報、端末情報、視聴者環境情報を、通信部 1 2 6 0の情報受信手段 1 2 6 1で受け取り、制御部 1 2 3 0を介してメモリー部 1 2 7 0に格納し、同時に視聴者情報を蓄積 ·管理部 1 2 5 0の視聴者情報蓄積 ·管理手段 1 2 5 1で蓄積、管理する < 同様に端末情報を端末情報蓄積 ·管理手段 1 2 5 2で、視聴者環境情報を視聴者環境情報蓄積 ·管理手段 1 2 5 3でそれぞれ蓄積、管理する。

制御部 1 2 3 0は、蓄積 ·管理部 1 2 5 0に要求を出し、コンテンツイベント情報蓄積 ·管理手段 1 2 5 4で管理されているィベント情報をメモリー部 1 2 7 0に格納する。同様に放送情報蓄積 ·管理手段 1 2 5 5で管理されている放送情報をメモリー部 1 2 7 0に格納する。一方向に配信された放送コンテンツ（映像、音声、デ一夕の少なくともどれか一つ）の関連コンテンツは、コンテンツ蓄積 ·管理手段 1 2 5 6で蓄積、管理されている。

イベント情報は、個々の関連コンテンツを特定するための情報（コンテンツ I D等）、関連コンテンツに関するサービスの種類情報、放送コンテンツとのリンク情報、コンテンッセキュリティ一情報等である。放送情報は、コンテンツの放送スケジュール情報、放送コンテンッに関するィベント情報である。この情報を取得する方法として、放送業者から提供されたものを直接受信する方法と、放送コンテンッに埋め込んである場合に放送コンテンッから抽出する方法とがある。

放送コンテンツ（映像、音声、データの少なくともどれか一つ）に放送情報を埋め込んである場合、放送情報受信手段 1 2 6 2により受け取り、制御部 1 2 3 0を経由して蓄積 ·管理部 1 2 5 0へ送り、放送情報蓄積 ·管理手段 1 2 5 5によってライブに管理される放送情報が放送コンテンツ（映像、音声、データの少なくともどれか一つ）に埋め込まれていない場合、放送の内容と蓄積 ·管理部 1 2 5 0で蓄積、管理している関連コンテンツとのリンク付けを行う, そのため、放送情報受信手段 1 2 6 2により放送コンテンツ（映像音声、データの少なくともどれか一つ）そのものを受け取り、制御部 1 2 3 0を介して、処理部 1 2 4 0へ送る。

処理部 1 2 4 0では、コンテンツ間リンク手段 1 2 4 2で自動又は半自動的に放送コンテンッと関連コンテンツのリンク付けを行い. 放送情報に相当する情報を算出し、制御部 1 2 3 0を介して、蓄積 •管理部 1 2 5 0へ送る。これにより、放送情報蓄積 ·管理手段 1 2 5 5によって管理される。

コンテンッ間リンク手段 1 2 4 2は、画像 · 映像認識技術、音声認識技術を用いて、物理量の距離を用いたリンクから意味量の距離を用いたリンクまで段階的に行う方法を用いる。メモリー部 1 2 7 0に格納した視聴者情報、端末情報、視聴者環境情報、コンテンツイベント情報、放送情報を処理部 1 2 4 0に転送する。転送された情報に基づき処理部 1 2 4 0の提供可能サービス選別手段 1 2 4 1 で視聴者に適応した提供可能サービスの選択を行う。

図 6に、イベント情報、放送情報とサービスの関連を表す概念図を示す。例えば、コンテンツ Aに対しては、視聴者情報、端末情報. 視聴者環境情報に応じて、サービス A、 D、 F 、 Iの中からの選別が行われ、コンテンツ Bに対しては、サービス A、 C , Fの中からの選別が行われる。提供可能なサービスは、同じコンテンツであつても、放送時間によって違ってくることがある。

受信した視聴者情報、端末情報、視聴者環境情報に応じて、どのようにサービスと関連コンテンッが選択されるかをその手順に沿つて説明する。図 7に、その手順を示す。視聴者情報、端末情報、視聴者環境情報を入力すると、まずステップ S 1では、視聴者環境情報に含まれる放送時間、放送局情報で放送コンテンツ（映像、音声. データの少なくともどれか一つ）に関連付けられている関連コンテンッを、放送情報に基づき検索する。関連コンテンツが検索されなかった場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。

関連コンテンツが検索された場合、ステップ S 2へ進み、視聴者情報、視聴者環境情報に基づき視聴者に提供できるコンテンツかどうかを判断する。ここでの判断では、例えば、視聴者が未成年であつた場合や地域限定であった場合、検索された関連コンテンッに年齢制限の規定はあるのかどうかを見て提供できるかどうかを判断する。また、視聴者が台所等の場所にいて関連コンテンツの提供を希望する場合、検索された関連コンテンツに視聴者の場所に応じた制限やお勧めがあるのかどうかを判断する。提供可能なコンテンツがないと判断された場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。

提供可能なコンテンツと判断された関連コンテンッがあった場合ステップ S 3へ進み、コンテンツイベント情報に基づき関連コンテンッにリンクされたサービスを検索する。サービスが検索されなかつた場合、提供できる関連コンテンツもサービスもないという情報を戻して、選別処理は終了する。

サービスが検索された場合、ステップ S 4へ進み、端末情報に基づき提供可能なサービスかどうかを判断する。端末のスペックによつては、受けられないサービスもあるための判断である。提供可能なサービスと判断された場合、その関連コンテンツとサービスに関する情報を戻して、選別処理は終了する。

( 4 ) 提供可能サービス情報

制御部 1 2 3 0を介して、選択された関連コンテンツとサービスに関する情報をメモリー部 1 2 7 0に格納する。関連コンテンツとサービスに関する情報とは、関連コンテンツ、サービスの名前、関連コンテンツの存在場所、サービスに必要なツールの存在場所、使用期限、関連コンテンツとサービスを表すアイコン等の情報である, メモリー部 1 2 7 0に格納された情報は、提供可能サービス情報として、通信部 1 2 6 0の情報送信手段 1 2 6 3で視聴者装置 1 0 0 1へ送信される。

( 5 ) 提供可能サービスの表示

視聴者装置 1 0 0 1では、関連情報コンテンツ提供サーバ 1 0 0 2から送信された情報が、制御部 1 1 3 0を介してメモリー部 1 1 8 0に格納されると共に、表示部 1 1 2 0へ送られる。送られてきた情報は、サービス情報表示手段 1 1 2 2によって可視化される。この表示の例を図 8に示す。図 8において、 1 0 5 0は番組ォブジェクト、 1 0 5 1は番組アイコン画像、 1 0 5 2はサービスアイコン画像、 1 0 5 3はサ一ビスオブジェクト、 1 0 5 4はアプリケーシヨンアイコン、 1 0 5 5はお知らせ設定等の条件設定画面、 1 0 5 6はゴミ箱のアイコンである。なお、アプリケーションアイコン 1 0 5 4、条件設定画面 1 0 5 5については後述する。

送られてきたアイコン情報には、番組オブジェクト 1 0 5 0のような放送コンテンツに関するものと、サービスオブジェクト 1 0 5 3のようなサービスに関するものからなる。これらは予め定めた大きさの画像アイコンとしてそれぞれ表示（番組アイコン画像 1 0 5 1、サービスアイコン画像 1 0 5 2 ) される。番組アイコンは、サ —ビスアイコンを子供にもつ構造であり、サービスアイコンの持つ機能として、アイコン情報以外の情報を手がかりにサービスツールを起動する機能がある。サービスとして、例えばコンテンツの購入コンテンツの視聴、コンテンツの加工等があり、サービスツールはこれらを実行するアプリケーションプログラムである。

サービスアイコンの選択によりサービスツールが起動し、視聴者は、所望のサービスの提供を受けることになる。サービスアイコンに画像として表現されるものは、関連コンテンツの中身と共にサービスの内容である。視聴者は、アイコンを一目見ただけで、どのようなコンテンツをどのようなサービスで受けられるかを理解できるように表現されている。また、アイコンは、それ自身一つの単位のオブジェクトとしてメモリ一部 1 1 8 0で管理されているため、入力部 1 1 1 0のアイコン操作入力手段 1 1 1 4で入力された情報を制御部 1 1 3 0へ送り、処理部 1 1 4 0のアイコン操作手段 1 1 4 4により、ディスプレイの画面上を視聴者の所望する位置へ移動することも可能であり、加えて消去すること（ゴミ箱 1 0 5 6への移動）も可能である。

アイコン位置を変更することは、表示部 1 1 2 0へ送るアイコン表示位置パラメ一夕一を変更することであり、アイコンを消去することは、メモリ一部 1 1 8 0内の対象オブジェクトデータを消去することである。視聴者の必要に応じてサービスアイコンを非表示にすることも可能である。当然、アイコンオブジェクトが持つ情報をインデクスとして、キ一を与えることで、アイコンを検索することも可能である。例えば、番組名で検索することもできるし、サービス名で検索することも可能である。

以上の説明では、視聴者が一方向に配信された放送コンテンツを視聴していて、放送されているコンテンツに関連する関連コンテンッに関するサービスを受けたいと思った時、その要求を視聴者がポジティブに装置に入力した場合の例を説明した。

その要求を視聴者がポジティブに装置に入力しなくても、視聴者が予め設定したタイミングでアプリケ一シヨンにより自動的に要求が出されるようにすることもできる。次に、その例について説明する。すなわち、一方向に配信された放送コンテンツを視聴している時に、放送されているコンテンツに関連する関連コンテンツに関するサービスを事前に装置に設定し、サービスを予約することゃサ一ビスが受けられるタイミングになったら通知してくれる機能を実現する手順について説明する。

まず、視聴者装置 1 0 0 1において、放送コンテンツのイベント情報を表示する機能、サービスを予約したり、サービスが受けられる夕イミングになったら視聴者に通知してくれる機能を持つアプリケ一シヨンを動作させる。このアプリケーションは、視聴者が事前に予約等を行いたいときに起動してもよいし、放送のチャネルに応じて自動的に視聴者装置 1 0 0 1が起動するようにしてもよい。このアプリケーションは、関連情報コンテンツ提供サーバ 1 0 0 2から視聴者装置 1 0 0 1へ送信され、視聴者装置 1 0 0 1がそれを受信し起動する。

視聴者装置 1 0 0 1においてこのアプリケ一ションが動作すると. 図 8のアプリケ一ションアイコン 1 0 5 4が画面に表示され、視聴者にアプリケーションが動作していることを知らせる。アプリケ一ションアイコン 1 0 5 4は、受信した放送コンテンッのィベント情報を可視化してアイコン中に表示するための機能と、予約画面やお知らせ設定画面等の条件設定画面 1 0 5 5を呼び出すための機能を持つ。

図 9に、条件設定画面 1 0 5 5の一つであるお知らせ設定画面の例を示す。アプリケーションアイコン 1 0 5 4中の「お知らせ設定」のポタンをクリックすることにより、図 9の条件設定画面 1 0 5 5を表示させることができる。この画面は、放送視聴中にイベント情報と設定された条件とがー致したときに、その旨を視聴者に通知することを設定する画面である。

お知らせの夕イミングになったときの視聴者への通知方法として, 表示画面の点滅や音を選択することができる。また、映像を自動的に表示するように起動設定することもできる。図 9の例は、野球中継に関するお知らせ設定の画面であり、例えば得点が入ったとき、 3回になったとき、打順がある打者になったとき等に視聴者に通知することを、この画面であらかじめ設定することができる。

予約の設定画面でも、お知らせ設定画面と同様に、ある設定した予約時間になったときとか、例えばある特定の夕レントが画面に現れたときというように、要求を出すタイミングを設定し、設定した夕イミングで自動的にサービス提供要求が出されるようにすることができる。

アプリケーションは、ィベント情報提供者から配信される放送コンテンッのイベント情報を表示部 1 1 2 0でアプリケーションアイコン 1 0 5 4に表示し、予約の設定画面、お知らせ設定画面等の条件設定画面で設定した夕イミングで自動的に視聴者の要求を装置に入力する。なお、予約の場合には、設定したタイミングになったときに、視聴者に確認することなくサービス提供要求を出すが、お知らせ設定の場合には視聴者にアイコンの点滅や音で設定したタイミングを知らせ、事前の指定に応じて視聴者に確認をとつた後にサービス提供要求を出す。

次にこの予約やお知らせ設定等の一連の手順を詳細に説明する。ィベント情報提供者から放送コンテンツのィベント情報が配信されてきているとする。このィベント情報を通信部 1 1 7 0のイベント情報受信手段 1 1 7 3で受け取り、制御部 1 1 3 0を介して送られてくる順にメモリー部 1 1 8 0に逐次格納する。それと同時に、その情報を処理部 1 1 4 0と表示部 1 1 2 0へ送り、イベント情報表示手段 1 1 2 3でアイコン（アプリケーションアイコン 1 0 5 4 ) として放送コンテンツのィベント情報を表示する。このアイコンの機能としては、前述のように視聴者が所望するサービスの条件を設定できる機能がある。

設定画面の表示は、入力部 1 1 1 0の設定操作入力手段 1 1 1 5 で表示要求を入力し、入力情報を制御部 1 1 3 0へ送り、これをもとに表示部 1 1 2 0の設定画面表示手段 1 1 2 4が行う。条件設定の入力では、入力部 1 1 1 0の設定操作入力手段 1 1 1 5で設定情報を入力し、制御部 1 1 3 0を介してメモリー部 1 1 8 0に格納する。

その後、メモリ一部 1 1 8 0に格納された条件を処理部 1 1 4 0 へ送り、配信イベント情報条件マッチ判断手段 1 1 4 3は、その条件と配信されたィベント情報とのマッチングを行う。配信ィベント情報条件マッチ判断手段 1 1 4 3では、条件とィベント情報の意味的な距離を算出し、それを類似度とし、予め与えた閾値と比べて近いものを条件が一致したと判断する。条件が一致したと判断された場合、一致したことを制御部 1 1 3 0へ伝える。一致情報が制御部 1 1 3 0を介してメモリー部 1 1 8 0に格納され、それ以降の流れは、一方向に配信された放送コンテンツを視聴していて、放送されているコンテンッに関連する関連コンテンッに関するサービスを受けたいと思った時、その要求をポジティブに入力し、メモリー部 1 1 8 0に要求入力情報が格納された場合にそれ以降行う流れと同様である。

ここで、視聴者の放送コンテンツを受ける際のチャンネリングとサービス要求を出した際の各操作に関して表示部 1 1 2 0で表示される情報の遷移について説明しておく。

ある放送コンテンツを視聴していてサービス要求を出した場合、図 8で示したアイコンが表示される。チャンネルを変更し、異なる放送コンテンッを視聴していてサービス要求を出した場合、先の放送コンテンツに関連するサービスアイコンは非表示となり、番組ァィコンのみの表示となる。続いて関連情報コンテンッ提供サーバ 1 0 0 2から新たに送信された情報を.受け取り、新たな番組アイコンとサービスアイコンが表示される。続いて先に視聴していた放送コンテンッにチャンネルを変更し、サービス要求を出した場合、非表示になっていたサービスアイコンが表示されると共に、新たに要求したサービスアイコンが追加表示される。

( 6 ) サービスの選択、（ 7 ) サービスの要求

次に、表示部 1 1 2 0で表示されているサービスアイコンを選択し、サービスの提供を受ける手順に関して説明する。視聴者装置 1 0 0 1の入力部 1 1 1 0のアイコン操作入力手段 1 1 1 4によりサ —ビスアイコンの選択入力を行う。この選択入力情報に基づき、制御部 1 1 3 0を介してメモリー部 1 1 8 0に格納されている選択されたアイコンに対応する提供可能サービス情報（関連コンテンツの存在場所、サービスに必要なツールの存在場所、使用期限等）を、通信部 1 1 7 0の情報送信手段 1 1 7 1により関連情報コンテンツ提供サーバ 1 0 0 2に送信する。

( 8 ) サービスコンテンツの最適化

関連情報コンテンツ提供サーバ 1 0 0 2では、視聴者装置 1 0 0 1から送られてくるサービス、コンテンッに関する情報を通信部 1 2 6 0の情報受信手段 1 2 6 1により受信し、制御部 1 2 3 0を介してメモリ一部 1 2 7 0に格納する。情報受信手段 1 2 6 1では、どこの視聴者装置 1 0 0 1からの送信情報を受信したかを判断し、先の情報と共に判断した視聴者装置情報を制御部 1 2 3 0へ送る。サービス、コンテンッに関する情報と視聴者装置情報が制御部 1 2 3 0を介してメモリ一部 1 2 7 0に格納されると、制御部 1 2 3 0は、処理部 1 2 4 0内のアクセス系状態検出手段 1 2 4 4によつてアクセス系状態を検出する。ここで検出するアクセス系状態とは，ネットワークの状態であり、例えば通信速度である。通信速度は、ネットワークの混み具合（流れているデータの量）に応じてダイナミックに変化している。アクセス系状態検出手段 1 2 4 4では、視聴者装置情報に基づき視聴者装置 1 0 0 1へ予め定めた量の情報パケットを流し、視聴者装置 1 0 0 1から返ってくるまでの時間でァクセス系の状態を推定する。視聴者装置 1 0 0 1の通信部 1 1 7 0 では、この情報パケットを受信した場合、それを情報受信手段 1 1 7 2から情報送信手段 1 1 7 1へ直接転送し、情報バケツトを送信した関連情報コンテンツ提供サーバ 1 0 0 2へ送り返してやることを行う。推定したアクセス系の状態情報は、制御部 1 2 3 0を介してメモリ一部 1 2 7 0に格納する。

制御部 1 2 3 0を介してメモリー部 1 2 7 0に格納されているサ一ビス、コンテンッに関する情報に基づき、蓄積 ·管理部 1 2 5 0 のコンテンツ蓄積 ·管理手段 1 2 5 6で蓄積、管理されている関連コンテンッとサービスツールを検索し、関連コンテンツとサービスツールをメモリ一部 1 2 7 0に格納する。同時に蓄積 ·管理部 1 2 5 0で管理されている端末情報も視聴者装置情報に基づき検索し、制御部 1 2 3 0を介してメモリー部 1 2 7 0に格納する。メモリー部 1 2 7 0に格納されている関連コンテンッとアクセス系の状態情報、端末情報を処理部 1 2 4 0へ転送する。

コンテンツ変換手段 1 2 4 3では、関連コ

の状態情報、端末情報（端末スペック）に基づき最適なコ

に変換する。この変換は、次のような場合に行う。

1 ) 関連コンテンツがハイスペックな端末、ハイリッチなァクセス系の状態用に作成されている場合で、端末スペックとアクセス系の状態がそれに合わないとき、最適のコンテンツに変換することを行う。

2 ) また、一つのコンテンツで複数のサービスに用いる場合にもサービスに応じた最適のコンテンツに変換することを行う。

上記 1 ) の場合のコンテンツ変換手段 1 2 4 3では、データ量の削減を行う。デ一夕圧縮技術を用いた物理的なデータ量の削減から. 要約等の意味を考慮したデータ量の削減まで行う。テキスト情報は. 形態素解析や辞書、コーパスを用いて意味レベルの要約を行う。画像や M P E G 1 、 M P E G 2等の映像は、圧縮率を変えたり、 M P E G 4でォブジェクト符号化された映像は、オブジェクト単位での選択的な符号化を行ったりする。 M P E G 7で記述された映像は、テキスト記述を処理することで意味レベルの要約を行う。ハイパーリンクが張られたコンテンツに等に関しては、リンクにぶら下る情報に視聴者プロファイルに基づく重みを付け、その重みに従って選択的にリンク情報を削減することを行う。

上記 2 ) の場合のコンテンツ変換手段 1 2 4 3では、視聴者が所望する言語に翻訳することを行う。画像からテキストへの変換、映像から画像への変換、音声からテキストへの変換、画像から音声への変換、映像から音声への変換等、表現メディア間の変換処理も行う。

( 9 ) サービス提供

コンテンッ変換手段 1 2 4 3により最適に変換されたコンテンツは、メモリー部 1 2 7 0に格納され、既に格納されているサービスツールと共に通信部 1 2 6 0の情報送信手段 1 2 6 3により、視聴者装置 1 0 0 1へ送信される。視聴者装置 1 0 0 1では、関連情報コンテンツ提供サーバ 1 0 0 2から送信されるサービスツールと関連コンテンツをメモリー部 1 1 8 0に格納する。サービスツールは. 入力部 1 1 1 0のコンテンツ操作入力手段 1 1 1 6と表示部 1 1 2 0のコンテンッ表示手段 1 1 2 5を用いて、関連コンテンツに関するサービスを視聴者装置 1 0 0 1上で提供する。関連コンテンツの購入サービス等は、購入に関する視聴者のトランザクションを通信部 1 1 7 0の情報送信手段 1 1 7 1により、トランザクション処理センター（図示省略）に送信することで行う。

(効果）

以上説明したように、本実施の形態によれば、多種多様な通信ァクセス系、端末を前提に、一方向に配信された放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンッを提供する多種多様なサービスに応えること、またそのサ —ビスを公平に提供することができるようになる。また、視聴者が所望するサービスを捕り漏らしなく受けられる環境と、視聴中、視聴後に関連コンテンッを入手するサービスを受ける際の煩わしさに関する課題を解決した環境を提供することができるようになる。

このため、視聴者にとっては、一方向に配信された放送コンテンッに連動、連携して、多種多様なサービスを自分の端末に最適なコンテンッで受けることができ、しかもサービスを捕り漏らしなく受けられること、関連コンテンツを入手するサービスを受ける際の煩わしさがないことのメリットある。コンテンツ提供者にとっては、一方向に配信された放送コンテンツに連動、連携して、個々の視聴者がそれぞれの嗜好から希望する関連コンテンツを提供する多種多様なサービスに応えることができるというメリッ卜がある。

[第 2の実施の形態]

次に、第 2の実施の形態について実施例 2 一 1〜実施例 2— 4を用いて説明する。第 2の実施の形態では、映像情報の中で視聴者が関心を持つ被写体に対してボインティング操作を行った場合に、被写体に関連して付加されている情報に基づいて、前記ボインティング操作が行われた被写体に関連した関連情報を入手して視聴者が参照することを可能にし、更には視聴者が関心を持つ被写体に関する情報を蓄積しておき、この蓄積された情報に基づいて受信した放送情報を選別し、選別した放送情報を蓄積する。

〔実施例 2— 1〕

図 1 0は本発明の第 2の実施の形態による視聴者装置の実施例 2 - 1を示すシステム構成図である。図 1 0において、 2 0 1 0は映像情報 2 0 1 1 とこれに付加された関連情報 2 0 1 2とを含む放送情報である。映像情報 2 0 1 1は少なくとも映像を含んでおり、映像の他に音声をも含んだ通常の意味での映像番組の場合も該当する < ディジタル放送においては、映像の放送チャネル内において番組配列情報として映像に関する付加的な情報を放送できる。あるいは, テキストゃ静止画像等のデ一夕のみを放送するデータチャネルにおいて他の放送チャネルで放送される映像の関連情報を放送できる。付加的な情報としては、例えば映像中の番組のタイトルやジャンル，放送日時等が考えられている。

本発明では、付加的な情報には少なくとも映像情報 2 0 1 1に登場する表示単位としての被写体に関する情報を含めるものとし、被写体に関する付加的な情報（以下では関連情報と呼ぶ）は少なくとも、被写体を説明する被写体属性情報と、その被写体座標値と、その被写体に対応した関連情報のァドレス識別情報として少なくとも一つの R F C 2 3 9 6等で規定される U R I (Un i f o r m R e s o u r c e I d e n t i f i e r ) 情報とを含んでいる。この場合、 UR Iは、通信網 2 0 0 3に接続された情報提供装置の I Pアドレスや U R Lを含んでいる。

また、被写体座標値は、表示画面における被写体の存在領域を表す座標値である。被写体は時刻とともに登場し、あるいは退場し、また登場している最中にも画面内を移動する。このために被写体座標値は、映像情報 2 0 1 1のフレーム毎に定義するか、又は時刻単位で定義することが必要である。

また、関連情報 2 0 1 2は、 1個以上の被写体の各々について定義される。図 1 1は本発明における関連情報の例を示す。関連情報 2 0 1 2は、フレーム番号 2 1 2 1、被写体座標値 2 1 2 2、被写体属性情報 2 1 2 3、及び UR I情報 2 1 24を含んでいる。図 1 1に示す関連情報 2 0 1 2では、フレーム番号 2 1 2 1が Nの場合には、被写体属性情報 2 1 2 3が OB _A、 OB— B等の被写体が. それぞれ被写体座標値 2 1 2 2である（XA、 Y A) 、（XB、 Y Β ) 等に表示されること、それらに対しては UR I — A、 UR I — B等の UR I情報 2 1 24が対応して定義されていることを示している。このような情報は、 N以外のフレーム番号のフレームについても付加されており、フレームによって定義される被写体は異なり . また同一の被写体であっても異なる UR Iが定義され得る。また、一つの被写体について複数の U R Iが定義されてもよい。

上述の関連情報及び映像情報を含む放送情報の構成について以下に述べる。

第一の構成方法として、映像情報中の各映像フレーム情報の先頭に、ヘッダー情報として図 1 1に示すような関連情報を挿入する場合がある。例えば、 M P E G 2映像ストリームの場合であれば、ピクチャ階層のへッダすなわちピクチャヘッダのユーザデータ領域に関連情報を挿入することが考えられる。

また、第 2の構成方法として、映像情報と、関連情報を別々に構成し、関連情報には図 1 1に示すように対応する映像フレームを識別するためのフレーム番号を含むように構成する場合がある。

第 2の構成方法の場合、映像情報は映像の放送チャネルで送信し. 関連情報はデータチャネルで送信することができる。あるいは、 B Sデジタル放送や C Sデジタル放送等のシステムにおいては、 AR I B S TD— B 1 0 「デジタル放送に使用する番組配列情報」で規定される番組配列情報の一部として、 MP E G 2 S y s t e m ( I TU-T H. 2 2 2. 0， I S 0/ I E C 1 3 8 1 8— 1 ) で規定されるセクション形式のデータ構造を用いて関連情報を伝送する場合もある。

なお、第 2の構成方法の場合、関連情報は、対応する映像フレームと同時かそれ以前に視聴者装置に入力されるように、放送情報を構成する。

図 1 0において、 2 0 0 2は本実施の形態に係る視聴者装置であつて、以下に述べる要素から構成されている。

放送受信部 2 2 0 1は、前記した映像情報 2 0 1 1及び関連情報 2 0 1 2を含む放送情報 2 0 1 0を受信して映像表示制御部 2 2 0 2に送信する。

映像表示制御部 2 2 0 2は、放送受信部 2 2 0 1より受信した映像情報 2 0 1 1を表示するための表示制御信号を映像表示部 2 2 0 3に送信する。また映像表示制御部 2 2 0 2は、映像表示部 2 2 0 3において視聴者がボインティングを行った画面内の座標値を受信して、これを関連情報 2 0 1 2の中の被写体座標値 2 1 2 2と照合し、ポインティングを行った画面内座標値と一致する被写体座標値 2 1 2 2を有する被写体に対応した UR I情報 2 1 2 4と被写体属性情報 2 1 2 3とを関連情報表示制御部 2 2 0 5に送信する。

映像表示部 2 2 0 3は、映像表示制御部 2 2 0 2から受信した表示制御信号に基づいて表示画面に映像を表示する。図 1 0に示す場合では被写体として自動車が登場している。また第 1のポインティングデバイス 2 2 0 4によりボインティングされた座標値を検出してその値を映像表示制御部 2 2 0 2に送信する。

第 1のポインティングデバイス 2 2 0 4は、例えば映像表示制御部 2 2 0 2に接続されており、映像表示部 2 2 0 3の画面内で表示したカーソルを移動させ、所望のカーソル位置でボインティング操作を行うためのもので、いわゆるマウス等の汎用デバイスを使用することができる。

関連情報表示制御部 2 2 0 5は、映像表示制御部 2 2 0 2から受信した被写体属性情報 2 1 2 3を代表するものとしての文字、記号又は図形等（以下では被写体代表図形等と呼ぶ）を後述する被写体関連情報表示部 2 2 0 6に表示するための制御信号を被写体関連情報表示部 2 2 0 6に送信し、また被写体属性情報 2 1 2 3を被写体属性情報蓄積部 2 2 0 9に送信する。関連情報表示制御部 2 2 0 5 はまた、被写体関連情報表示部 2 2 0 6において第 2のボインティングデバイス 2 2 0 7によりポインティングされた被写体代表図形等を受信し、これにより代表されている被写体に対応する U R I情報 2 1 2 4を後述する関連情報アクセス部 2 2 1 0に送信し、これに基づいて関連情報アクセス部 2 2 1 0が後述する関連情報蓄積部 2 2 1 1又は通信網 2 0 0 3にアクセスして、入手した関連情報を被写体関連情報表示部 2 2 0 6に表示する。

関連情報アクセス部 2 2 1 0は、関連情報表示制御部 2 2 0 5から受信した U R I情報 2 1 2 4が後述する関連情報蓄積部 2 2 1 1 に対応したものであれば関連情報蓄積部 2 2 1 1にアクセスし、またィンターネット等の通信網 2 0 0 3に接続された情報源に対応したものであれば通信網 2 0 0 3を介して当該情報源にアクセスし、それぞれ関連情報を入手して関連情報表示制御部 2 2 0 5に返送する。被写体関連情報表示部 2 2 0 6は、関連情報表示制御部 2 2 0 5 から上記の被写体代表図形等、又は被写体の関連情報を表示するための制御信号を受信してそれらを表示する。また被写体関連情報表示部 2 2 0 6は、前述のように第 2のボインティングデバイス 2 2 0 7を具備しているが、その動作は第 1のポインティングデバイス 2 2 0 4と同様にして、例えば関連情報表示制御部 2 2 0 5に接続されており、映像表示部 2 2 0 3の画面内で表示したカーソルを移動させ、所望のカーソル位置でボインティング操作を行うためのもので、いわゆる夕ツチパネルやマウス等の汎用デバイスを使用することができる。

入力デバィス 2 2 0 8は、本システムを操作するためのキーボードその他の入力装置である。被写体属性情報蓄積部 2 2 0 9は、関連情報表示制御部 2 2 0 5から送信された被写体属性情報 2 1 2 3 を受信し、蓄積する。

関連情報蓄積部 2 2 1 1は、被写体に関連した情報を蓄積し、この情報は関連情報アクセス部 2 2 1 0がアクセスして入手することが可能である。また、蓄積する情報は、図示しない装置を用いて必要に応じて追加、更新あるいは削除を行うことができる。

以上の構成の実施例 2— 1に係る本システムの動作を以下に説明する。映像情報 2 0 1 1と図 1 1に示した関連情報 2 0 1 2とを含む放送情報 2 0 1 0は、放送局より放送されて放送受信部 2 2 0 1 により受信され、復調された後、映像表示制御部 2 2 0 2に送られる。映像表示制御部 2 2 0 2においては、放送受信部 2 2 0 1から受信した映像情報 2 0 1 1と関連情報 2 0 1 2のうち、映像情報 2 0 1 1を表示するための制御信号が生成され、これは映像表示部 2 2 0 3に送られる。関連情報 2 0 1 2は映像表示制御部 2 2 0 2において一時的に保存される。

映像表示部 2 2 0 3において被写体がボインティングされた場合には、映像表示制御部 2 2 0 2はボインティングの座標値を映像表示部 2 2 0 3から受け取るとともに、受け取った座標値と図 1 1に示す被写体座標値 2 1 2 2との照合を行い、ポインティングの座標値に一致する被写体座標値 2 1 2 2が定義された被写体を見出す。そして、このようにして見出された被写体に対応した被写体属性情報 2 1 2 3及び U R I情報 2 1 2 4は、関連情報表示制御部 2 2 0 5に送られる。

関連情報表示制御部 2 2 0 5では、映像表示制御部 2 2 0 2から受信した被写体属性情報 2 1 2 3及び U R I情報 2 1 2 4に基づいた処理が行われる。まず被写体属性情報 2 1 2 3は、被写体属性情報蓄積部 2 2 0 9に送信されて蓄積される。また関連情報表示制御部 2 2 0 5では、受信した被写体属性情報 2 1 2 3を代表する被写体代表図形等を表示するための制御信号が生成されて被写体関連情報表示部 2 2 0 6に送られる。

図 1 2は、映像表示部 2 2 0 3において第 1のボインティングデバイス 2 2 0 4によりボインティングされた被写体 2 0 4 1に対応して被写体関連情報表示部 2 2 0 6に、その被写体 2 0 4 1の被写体代表図形等 2 0 4 2が表示される例を表している。

なお、映像表示部 2 2 0 3と被写体関連情報表示部 2 2 0 6とは. 異なるディスプレイ装置を用いるほうが望ましい。例えば、映像表示部 2 2 0 3を C R Tディスプレイ装置、被写体関連情報表示部 2 2 0 6を液晶ディスプレイ装置を用いて構成することが考えられる, この場合、第 1のポインティングデバイス 2 2 0 4としてマウス、第 2のポィンティングデバイス 2 2 0 7として夕ツチパネル等の利用も考えられる。しかし、映像表示部 2 2 .0 3と被写体関連情報表示部 2 2 0 6とを、 1台のディスプレイ装置を用いて構成することも可能であり、 1台のディスプレイ装置を共用する場合には、異なるウィンドウ又は画面分割した表示領域のそれぞれに映像表示部 2 2 0 3と被写体関連情報表示部 2 2 0 6とを設ける。この場合、第 1のポィンティングデバイス 2 2 0 4及び第 2のボインティングデバイス 2 2 0 7についても、同じハードウエアで実現することができ、 1個のマウス等を共用することができる。

図 1 3は、被写体関連情報表示部 2 2 0 6に関するより詳細な例を示しており、この例では、被写体関連情報表示部 2 2 0 6は、被写体代表図形等 2 0 4 2を表示するための被写体表示領域 2 2 6 1 と、被写体関連情報を表示するための関連情報表示領域 2 2 6 2と操作パネル部 2 2 6 3とを有する。操作パネル部 2 2 6 3は、例えば夕ツチパネルを利用する場合に入力デバイス 2 2 0 8の代わりに用いることができる。

また、被写体表示領域 2 2 6 1には、被写体代表図形等 2 0 4 2 が複数個表示されている。この例では、〇B _ A、〇B _ B 、 O B 一 C及び O B— D等の文字がそれぞれの被写体代表図形等 2 0 4 2 である。これらは映像の進行とともに、被写体 2 0 4 1が次々とポインティングされた場合に、それらの被写体 2 0 4 1に対応した被写体属性情報 2 1 2 3及び U R I情報 2 1 2 4が順次関連情報表示制御部 2 2 0 5に送り込まれてきた結果を示している。

次に、視聴者が被写体関連情報表示部 2 2 0 6に表示された被写体代表図形等 2 0 4 2を第 2のボインティングデバイス 2 2 0 7でポインティングすると、ポインティングされた被写体代表図形等 2 0 4 2を識別する情報が被写体関連情報表示部 2 2 0 6から関連情報表示制御部 2 2 0 5に送り込まれ、これに対応して関連情報表示制御部 2 2 0 5では、被写体代表図形等 2 0 4 2を識別する情報が示す被写体 2 0 4 1に対応した U R I情報 2 1 2 4が抽出される。抽出された U R I情報 2 1 2 4は、関連情報アクセス部 2 2 1 0に送信され、関連情報アクセス部 2 2 1 0は、送信された U R I情報 2 1 2 4が、関連情報蓄積部 2 2 1 1に対応していれば関連情報蓄積部 2 2 1 1にアクセスして関連情報を入手して、これを関連情報表示制御部 2 2 0 5に返送する。

また、送信された U R I情報 2 1 2 4が通信網 2 0 0 3に接続された情報源のものであれば、関連情報アクセス部 2 2 1 0は、通信網 2 0 0 3を通じて当該情報源から関連情報を入手し、これを関連情報表示制御部 2 2 0 5に返送する。

関連情報表示制御部 2 2 0 5では返送された情報を受信した後にこれらを被写体関連情報表示部 2 2 0 6の関連情報表示領域 2 2 6 2に表示する。

以上の動作において、視聴者が被写体代表図形等 2 0 4 2をボインティングするタイミングは、放送受信中と放送受信後とのどちらでも任意である。したがって参照する情報が多い場合には、放送受信後の都合の良いときに順次関連情報を参照することもできる。

〔実施例 2 - 2〕

次に、実施例 2 _ 2として映像のフィルタリング蓄積機能を有する視聴者装置について説明する。図 1 4は、実施例 2— 2を示すシステム構成図である。実施例 2— 2に係るシステムの構成は、図 1 0に示す実施例 2— 1のシステムの構成に興味情報抽出部 2 2 1 2 を加えるとともに、その機能を利用して放送情報 2 0 1 0を自動的に選別して蓄積する機能を備えたものであり、以下に詳しく説明する。

図 1 4において、関連情報表示制御部 2 2 0 5は、実施例 2 - 1 で述べた機能に加えて、視聴者が被写体関連情報表示部 2 2 0 6において、被写体代表図形等 2 0 4 2をポインティングした被写体について、少なくともその被写体に関する U R I情報 2 1 2 4と、被写体属性情報 2 1 2 3と、情報源から入手された関連情報と、この関連情報が被写体関連情報表示部 2 2 0 6に表示された時間に関する表示時間情報のうちのいずれか複数を興味情報抽出部 2 2 1 2に送信する機能を有する。

また、興味情報抽出部 2 2 1 2は、 U R I情報 2 1 2 4、被写体属性情報 2 1 2 3、前記関連情報、前記表示時間情報のうちいずれか複数もしくは全てを参照して、関連情報に対する視聴者の興味を示す情報としての興味情報を抽出し、これを蓄積する。更に、興味情報抽出部 2 2 1 2は、放送受信部 2 2 0 1から映像情報 2 0 1 1 と関連情報 2 0 1 2とを含む放送情報 2 0 1 0を受信して、関連情報 2 0 1 2の中の少なくともその被写体属性情報 2 1 2 3又は U R I情報 2 1 2 4を、蓄積した興味情報に照らし合わせて、視聴者の興味情報に適合していると判断された放送情報 2 0 1 0を優先的に選択する。選択された放送情報 2 0 1 0は必要に応じて放送情報蓄積部 2 2 1 3に蓄積することができる。

なお、本発明では、特に被写体関連情報表示部 2 2 0 6において視聴者が表示されている被写体代表図形等 2 0 4 2を移動又は削除できる機能を具備し、これらの操作があった場合に、興味情報抽出部 2 2 1 2に蓄積しておいた興味情報を減ずるようにすることができる。これによつて、例えば削除した被写体代表図形等 2 0 4 2により代表される被写体属性情報 2 1 2 3、又はこれに対応した U R I情報 2 1 2 4に対する視聴者の関心度が低くなつたことが興味情報の抽出に反映される。

次に、実施例 2— 2における本システムの動作を説明する。放送局より放送された映像情報 2 0 1 1 とその関連情報 2 0 1 2とを含む放送情報 2 0 1 0は、放送受信部 2 2 0 1により受信され、復調された後、映像表示制御部 2 2 0 2に送られる。関連情報 2 0 1 2 は、実施例 2 — 1 と同様にして例えば図 1 1に示すように構成されている。図 1 1については実施例 2— 1について説明したので、ここでの説明は省略する。

映像表示制御部 2 2 0 2においては、放送受信部 2 2 0 1から受信した映像情報 2 0 1 1と関連情報 2 0 1 2のうち、映像情報 2 0 1 1を表示するための制御信号が生成され、これは映像表示部 2 2 0 3に送られる。関連情報 2 0 1 2は、映像表示制御部 2 2 0 2において一時的に保存される。

映像表示部 2 2 0 3において、被写体 2 0 4 1がボインティングされた場合に、映像表示制御部 2 2 0 2はボインティングの座標値を映像表示部 2 2 0 3から受け取るとともに、受け取った座標値と図 1 1に示す被写体座標値 2 1 2 2との照合を行い、ボインティングの座標値に一致する被写体座標値 2 1 2 2が定義された被写体を見出す。そして、このようにして見出された被写体 2 0 4 1の被写体属性情報 2 1 2 3及び U R I情報 2 1 2 4は、関連情報表示制御部 2 2 0 5に送られる。

関連情報表示制御部 2 2 0 5では、映像表示制御部 2 2 0 2から受信した被写体属性情報 2 1 2 3及び U R I情報 2 1 2 4に基づいた処理が行われる。まず、被写体属性情報 2 1 2 3が被写体属性情報蓄積部 2 2 0 9に送られ、ここに蓄積される。また受信した被写体属性情報 2 1 2 3については、これを代表する被写体代表図形等 2 0 4 2を表示するための制御信号が生成されて被写体関連情報表示部 2 2 0 6に送られる。この場合の被写体関連情報表示部 2 2 0 6の表示は前述した図 1 2又は図 1 3を用いて説明したとおりである。

視聴者が被写体関連情報表示部 2 2 0 6に表示された被写体代表図形等 2 0 4 2を第 2のポインティングデバイス 2 2 0 7でポインティングすると、ポインティングされた被写体代表図形等 2 0 4 2 に代表される被写体属性情報 2 1 2 3に対応した関連情報が入手され、入手された関連情報は被写体関連情報表示部 2 2 0 6の関連情報表示領域 2 2 6 2に表示される。この点ついては実施例 2 - 1 と同様であるので、これ以上の説明は省略する。

以下に、実施例 2— 2における本システムの動作が実施例 2— 1 のそれと異なっている点を中心に説明する。

実施例 2— 2においては、関連情報表示制御部 2 2 0 5は、実施例 2 - 1で述べた機能に加えて、視聴者が被写体関連情報表示部 2 2 0 6において、被写体代表図形等 2 0 4 2をポインティングした被写体について、少なくともその被写体 2 0 4 1に関する U R I情報 2 1 2 4と、被写体属性情報 2 1 2 3と、情報源から入手された関連情報と、この関連情報が被写体関連情報表示部 2 2 0 6に表示された時間に関する表示時間情報のうちのいずれか複数を興味情報抽出部 2 2 1 2に送信する。

表示された時間は、関連情報が被写体関連情報表示部 2 2 0 6に表示された際の表示の開始時刻及び終了時刻に基づくものであり、これらは被写体関連情報表示部 2 2 0 6を参照する視聴者による第 2のボインティングデバイス 2 2 0 7の操作時刻情報にも関係しており、開始時刻としては被写体代表図形等 2 0 4 2のポインティングされた時刻や、その後入手された関連情報が被写体関連情報表示部 2 2 0 6に表示されたその開始時刻としてもよく、また終了時刻としては視聴者により表示を終了するための操作がなされた時刻、又は次の被写体代表図形等 2 0 4 2がポインティングされた時刻とすることができる。

興味情報抽出部 2 2 1 2は、関連情報表示制御部 2 2 0 5から受信した U R I情報 2 1 2 4、被写体属性情報 2 1 2 3、関連情報、表示時間情報のうちいずれか複数もしくは全てを参照し、興味情報を抽出し、これを蓄積する。興味情報は、どのような情報に視聴者が興味を示しているかを表す情報であって、一般には表示時間情報ゃポインティングの回数を統計的に処理して生成することができる < 例えば、被写体属性情報別又は U R I情報別のボインティング回数であり、あるいは、被写体属性情報別、 U R I情報別、又は関連情報別の表示時間もしくはその積算値である。また、被写体属性情報 2 1 2 3と、 U R I情報 2 1 2 4と、関連情報との少なくとも二つの組み合わせ別の、ポインティング回数あるいは表示時間又はその積算値とすることもできる。

更には、被写体属性情報 2 1 2 3、関連情報に含まれるテキストをキーワードに分解し、各キーワードについて当該キーワードを含む被写体属性情報 2 1 2 3、関連情報の視聴回数が多い場合や表示時間が長い場合に、前記キーワードが興味を示すと仮定し、興味を示すキ一ヮ一ドの群を抽出し、これを興味情報とすることもできる < また、被写体関連情報表示部 2 2 0 6に表示されている被写体代表図形等 2 0 4 2に対して視聴者が移動又は削除した場合についても、その情報が関連情報表示制御部 2 2 0 5から興味情報抽出部 2 2 1 2に送られるようにし、興味情報抽出処理に反映することができる。例えば、視聴者が被写体代表図形等 2 0 4 2を削除した場合. 削除された被写体代表図形等 2 0 4 2により代表される被写体属性情報 2 1 2 3又はこれに対応した U R I情報 2 1 2 4に対する視聴者の関心度が低くなつたものとして、興味情報から減じる等の処理を行って興味情報抽出処理に反映する。

更に興味情報抽出部 2 2 1 2は、放送受信部 2 2 0 1から関連情報 2 0 1 2を含む放送情報 2 0 1 0を受信し、関連情報 2 0 1 2の中の U R I情報 2 1 2 4を上記の興味情報と照合し、視聴者の興味に適合している放送情報 2 0 1 0を選択するフィル夕リング処理を行う。このようにしてフィル夕リングされた放送情報 2 0 1 0は、必要に応じて放送情報蓄積部 2 2 1 3に蓄積される。この場合の適合の有無は、ポインティングの回数、あるいは表示時間又はその積算値が大きい値を示した、被写体属性情報 2 1 2 3、又は U R I情報 2 1 2 4、又は関連情報、又はそれらの組み合わせを関連情報が含んでいるか否かにより決められる。被写体属性情報 2 1 2 3や U R I情報 2 1 2 4そのものを使用する代わりに、それらを予めジャンル別に分類しておくことによってジャンル別の回数又は参照時間に変換したものを使用してもよい。

次に、興味情報抽出部の具体的な一例について説明する。

以下の説明にあたり、本実施例における関連情報には、 U R Iおよび、当該 U R Iのコンテンツ内容を示すキーワード群を含むものとする。例えば、被写体として映像中に登場する自動車に関連付けられた関連情報には、その自動車の映像中の出現位置と、その自動車の仕様情報ホームページの UR Lアドレスと、キーワードとして、 {自動車 } が付与されている。このような関連情報の具体的な記載例を以下に示す。

ぐ frame no= N" >

ぐ object〉

〈location>(XA, YA)-(XB, YBX/1 ocat i on>

ぐ keyword〉自動車ぐ/ keyword〉

</obj ec t>

</frame>

上記の例はフレーム番号" N"の映像フレーム内に被写体として自動車のみが存在する場合に対応する。く frame no-"N">... </ frame) 間には、フレーム番号" N"の映像フレームに関する情報を記載する。 <object>...く/ object)間には、一つの被写体に関する情報を記載する。この場合、その自動車の映像中の出現位置と、その自動車の仕様情報ホームページの UR Lアドレスと、キーワードとして、 {自動車 } が記載されている。被写体が複数存在すれば、く frame no="N ">...〈/frame^には、複数のく object>...く/ ob j ec t>が存在することになる。なお、関連情報は、上述したように XML形式である必要はなく、図 1 1に示したようなテーブル型の構成でも良い。

この例における興味情報抽出部は、視聴者の興味情報としてキーワード群と各キーヮードの重みを含む利用者プロファイルを保持する。利用者プロファイルの一例を以下に示す。

{自動車： 1、' パンダ： 2、ステテコ： 1、なまこ： 1 } 上述の例は、 "キーワード：そのキ一ワードの重み" の組みを複数持つ集合として、利用者プロファイルを記述している。

ここで、視聴者が、視聴中の映像の被写体として登場した自動車をポインティングした場合には、興味情報抽出部は、キーワード "自動車" の重みを 1増加する。もし、自動車をポインティングした時点でキーワード "自動車" が利用者プロファイル中に存在しない場合には、キーワード "自動車" を利用者プロファイルに追加し，重みを 1 とする。

従って、視聴中の映像の被写体として 1 0回それぞれ自動車が登場した場合に、視聴者が全ての自動者に対してポインティングした場合には、利用者プロファイルは上述の状態から、

{自動車： 1 1、パンダ： 2、ステテコ： 1、なまこ： 1 } になる。

また、視聴者が、被写体関連情報表示部 2 2 0 6に表示されている被写体代表図形等 2 0 4 2を削除した場合には、該被写体に対応する関連情報に含まれるキーヮ一ドの重みを 1減らし、利用者プロファイルを更新する。例えば、利用者プロファイルが、

{自動車： 1 1、パンダ： 2、ステテコ： 1、なまこ： 1 } であった時に、視聴者が、キーワード {自動者} を含む関連情報が対応付けられた被写体の被写体代表図形等 2 0 4 2を一つ被写体関連情報表示部 2 2 0 6より削除した場合、利用者プロファイルは、 {自動車： 1 0、パンダ： 2、ステテコ： 1、なまこ： 1 } に更新される。

また、視聴者が、被写体関連情報表示部 2 2 0 6に表示されている被写体代表図形等 2 0 4 2をポインティングして、関連情報を参照した場合、その関連情報の参照時間に応じて、該被写体代表図形等 2 0 4 2に対応する関連情報に含まれるキーヮ一ドの重みを増加し、利用者プロファイルを更新する。例えば、関連情報を 1分参照するごとに対応する被写体の関連情報に含まれるキーヮ一ドの重みを 1増加するものとする。利用者プロファイルが、

{自動車： 1 0、パンダ： 2、ステテコ： 1、なまこ： 1 } であった時に、視聴者が、キーワード {自動車 } を含む関連情報が対応付けられた被写体の被写体代表図形等 2 0 4 2をボインティングし、当該関連情報を 1 0分間参照した場合、利用者プロファイルは、

{自動車： 2 0、パンダ： 2、ステテコ： 1、なまこ： 1 } に更新される。

更に、興味情報抽出部は、放送情報をフィル夕リングする際に、以下の規則に従って処理を行う。

受信された映像中に被写体に関連付けられた関連情報に含まれるキーワードが、利用者プロファイルに含まれる場合、そのキーヮ一ドの重みをその被写体への興味度とする。利用者プロファイルに含まれるキ一ヮ一ドが複数ある場合には、それぞれのキーヮードの重みの和をその被写体への興味度とする。そして、興味度が一定値 K 以上である場合、該被写体に視聴者が興味を持つもとみなし、自動的に該被写体をボインティングしたのと同等の処理を実施する。例えば、 K = 1 0で、利用者プロファイルは

{自動車： 2 0、パンダ： 2、ステテコ： 1、なまこ： 1 } である場合に、キーワード {自動車 } を含む関連情報が受信された場合には、対応する被写体への興味度は 2 0であり Κ = 1 0以上を満たすので、自動的に視聴者が対応する被写体をボインティングしたのと同等の処理を実行する。つまり、被写体関連情報表示部に、該被写体に対応する被写体代表図形を表示する等の処理を行う。なお、上述したものは、興味情報抽出部の処理の一例であり、上記以外に種々のキーヮードの重み付け等の規則、キーワードの利用の規則等を使用することが可能である。

〔実施例 2 - 3〕

次に、実施例 2— 3について説明する。

図 1 5は、本発明の実施例 2— 3を示すシステム構成図である。実施例 2— 3は、以上までに説明した視聴者装置 2 0 0 2に、放送局 2 0 0 4を加えた放送情報送受信システムであって、放送局 2 0 0 4は、図 1 1に示したような関連情報 2 0 1 2を含む放送情報 2 0 1 0を放送する機能を有している。なお、前記放送局は、 B Sデジタル放送、 C Sデジタル放送、地上波デジタル放送等、衛星放送システムや地上波放送システムに接続され、前記放送インフラを介した放送を行うための放送局である場合や、図 1 6に示すように、インターネットや放送用ケーブル等の所定のネットワークに接続されるサーバを用い、前記所定のネットワークを介して、いわゆるインターネット放送やケーブルテレビ放送といったネットワーク放送を行う放送局である場合がある。

〔実施例 2— 4〕

次に、実施例 2 _ 4について説明する。

図 1 7は、本発明の実施例 2 _ 4を示すシステム構成図である。実施例 2— 4は、以上までに説明した視聴者装置に、映像蓄積媒体再生装置 2 0 0 6を加えた放送情報送受信システムである。映像蓄積媒体とは、 D V Dや D— V H Sビデオテープ等であり、図 1 1に示した関連情報を含む放送情報 2 0 1 0が記録された媒体である。映像蓄積媒体再生装置 2 0 0 6とは、 D V Dプレーヤーや、 V C R 等であり、一般に、放送により受信された映像を主とする放送情報を前記映像蓄積媒体に記録蓄積する機能を有する。更に、記録した放送情報を再生する機能を有する。利用される映像蓄積媒体は、事前に放送インフラより取得される放送情報を記録したものである場合や、映画やドラマ等の映像情報を含む放送情報が事前に記録された状態で、該映像蓄積媒体の小売店やレンタルショップ等から利用者が入手するものである場合がある。

実施例 2 - 4では、所定の映像蓄積媒体を再生する映像蓄積媒体再生装置 2 0 0 6より、図 1 1に示した関連情報を含む放送情報 2 0 1 0が、視聴者装置 2 0 0 2に入力される。

なお、第 2の実施例においても、視聴者情報及び端末情報に関連した関連情報を取得することが可能である。例えば、映像情報とともに、視聴者情報や端末情報に対応した複数の U R I を関連情報として視聴者装置に送信し、視聴者装置では、当該視聴者装置に予め入力等しておいた視聴者情報や端末情報に適合した U R I を選択するようにする。付加する関連情報としては、例えば、後述する第 4 の実施例における関連情報例 1〜 5のような形式を用いることができる。

(効果）

本実施の形態による視聴者装置及び放送情報送受信システムでは映像に登場する表示単位としての被写体毎に、その関連情報の所在を示す U R I情報が定義された関連情報を付加された放送情報を受信し、視聴者が映像表示画面に表示されている被写体をボインティングした場合に、その被写体を代表する文字、図形等を画面に表示し、次にこれら文字、図形等に対するポインティング操作に対応して、関連する情報が対応する U R I情報から読み出されて画面に表示されるようにした。これによつて、視聴者は映像情報を視聴しながら興味を持った被写体に関連した情報を放送情報以外の情報源から入手して参照することができる。

また、視聴者が複数の被写体を次々にボインティングした場合には、それぞれを代表する文字、図形等が順次画面に追加して表示されるようにした。これによつて視聴者が参照したいと感じた関連情報が多い場合でも、放送情報視聴の後に時間の制約を受けることなく参照することができる。

更に、視聴者がボインティングした被写体のボインティング回数や、それに関連して参照した関連情報の表示時間情報を考慮した興味情報が抽出 ·保持され、利用者が視聴していない時間に放送されている放送情報から、興味情報に適合する放送情報を自動選択し、これを蓄積できるようにした。これによつて視聴者は自分が過去に参照した関連情報のジャンルに適合する放送情報を時間の制約なく入手することができる。

特に、本発明では表示されている被写体代表図形等を視聴者が削除した場合には、当該 U R I情報に対する興味が失われたものとし. 蓄積した興味情報を減ずるようにして、興味情報抽出処理に反映されるようにしたので、視聴者が十分に関連情報を参照した時点以後. 視聴者の動的な興味の変化に従って、そのジャンルの情報の入手を停止することができる。

また、被写体の単位で関連情報を入手することができるので、様々な場面で登場する被写体に対して関連情報を定義することができ、その結果、従来の映像番組を単位とするよりも、きめ細かな関連情報の参照が可能となる。例えば、同一の被写体であっても、それが登場する場面によりその意味合いは一般には変わると考えられるが、関連情報をフレーム別に定義することによって、多様かつ的確な関連情報を参照することが可能となり、また、よりきめ細かな映像情報の自動選択が可能となる。

例えば、同一の被写体であっても、それが登場する場面によりその意味合いは一般には変わると考えられるが、関連情報をフレーム別に定義することによって、多様かつ的確な関連情報を参照することが可能となり、また、よりきめ細かな映像情報の自動選択が可能となる。また、ポインティングされた被写体に対する文字 · 図形は画面に追加して表示されるために、視聴者は時間的制約を受けることなく関連情報を参照することができる。

更に、視聴者が関心ある被写体をポインティングすることによつて関心のある関連情報のみを的確に閲覧できる仕組みにしたことにより、前記視聴者の被写体のポインティング操作等から、視聴者がどのような情報に関心があるのかを示唆する情報を入手することが可能となる。

[第 3の実施の形態]

次に、本発明の第 3の実施の形態について説明する。本実施の形態では、テレビ、ラジオ等の放送コンテンツと同期して、パーソナルコンピュータ等の端末からのィベントを処理することにより関連情報を取得する。ここで、放送コンテンツに同期したイベントの処理とは、視聴者装置において、ボタンの押下操作等のイベントが発生した時に、これに対応して実行されるァクションの内容を放送コンテンッに対応して随時変化させる処理のことである。具体的な例としては、テレビ放送の所定チャネルにおいて、 C M 1 、 C M 2及び C M 3が連続的に放映される場合に、 C M 1が放映されている時点で、視聴者装置のボタンを使用者が押下すると、 C M 1に関する情報へのリンクが視聴者装置に接続された表示装置に提示されるという処理がある。同様に、 C M 2が放映されている時点で、視聴者装置のポタンを使用者が押下すると、 C M 2に関する情報へのリンクが提示され、 C M 3が放映されている時点で、視聴者装置のポ夕ンを使用者が押下すると、 C M 3に関する情報へのリンクが提示される。

図 1 8は、本発明の第 3の実施の形態におけるシステムの構成図である。図 1 8のシステムは、関連情報提供サーバ 3 0 0 1 (以下「サーバ 3 0 0 1」という）と、該サーバ 3 0 0 1 とネットワーク 3 0 0 6を介して通信する視聴者装置 3 0 0 2 (クライアント）と. 放送コンテンツを放送する放送局 3 0 0 3と、視聴者装置 3 0 0 2 に接続された入出力装置 3 0 0 4とを有する。放送局 3 0 0 3から放送される放送コンテンツは、放送受信装置 3 0 0 5で受信できる, その放送コンテンツに同期して各種のアクションが、視聴者装置 3 0 0 2で実行される。また、視聴者装置 3 0 0 2で発生するィベントに応答して実行されるァクションの内容が、放送コンテンツに同期して変化する。

なお、放送受信装置 3 0 0 5が放送局 3 0 0 3からの放送コンテンッを受信する他、インターネット等のネットワークに接続された放送情報蓄積サーバ 3 0 0 3 'から放送受信装置 3 0 0 5が放送コンテンッを受信する場合でも、本実施の形態における同期処理を実現することが可能である。

ここで、視聴者装置 3 0 0 2で発生するイベントとは、入出力装置 4に対するユーザの各種の操作である。例えば、視聴者装置 3 0 0 2がキーポードを有する場合、該キーポード上の所定のポタンが押されたという信号である。また、視聴者装置 3 0 0 2がマウス等のポインティングデバイスを有する場合、該ポインティングデバイスによって、視聴者装置 3 0 0 2に接続される表示装置に表示された画面上の所定の位置がクリックされたという信号である。更に、イベントとは、あるアクションが発生してから、所定の時間が経過したということ、又は時刻が所定の時刻になったというタイムァゥ卜の事象でもある。

どのような操作又は事象の発生をイベントとするかは、本発明のシステムを用いてどのようなアプリケーションを実現するかによつて異なる。例えば、テレビでドラマ映像を視聴中に、ドラマ映像中の被写体又は B G M等に視聴者が興味を持った場合、視聴者装置 3 0 0 2のいわゆるブックマークのためのポタンを押すと、当該関連情報へアクセスするためのアイコンが、表示装置上の画面に追加されるというようなアプリケーションでは、イベントとは、視聴者（使用者）がブックマークポタンを押したということであり、ブックマークポタンが押された時点で、アイコンを追加するといぅァクシヨンが実行される。また、例えば、テレビで教育番組を視聴中に、視聴者装置 3 0 0 2の表示装置画面上に番組の進行に合わせて、教育番組の内容に関連する情報ページが表示されるというようなアブリケ一シヨンでは、イベントとは、所定の時刻、即ち番組内容が切り替わる時刻になったということに対応し、当該ィベン卜が発生した時点で、新しい情報ページに更新するといぅァクションを実行する。

視聴者装置 3 0 0 2で実行されるァクションとは、視聴者装置 3 0 0 2で実行され得るアプリケーションプログラムによる各種処理であり.、本発明のシステムを用いて実現するサービスアプリケ一シヨンにより様々である。前述した例では、「関連情報にアクセスするためのアイコンを追加する」とか、「新しい情報ページに更新する」等という処理がこれに該当する。

また、本発明のシステムの視聴者装置 3 0 0 2が、 M S— W i n d o w sの〇 Sを搭載するパーソナルコンピュータ上に実装されている場合、アクションとは、 W i n d o w s上で実行し得るソフトウェアプログラムによる処理である。

また、サーバ 3 0 0 1は、放送コンテンツを管理する機関、例えば放送局から、ァクションテーブルを構成する場合に参照する情報であるァクションテ一ブルリソースデータを取得する。

図 1 9は、本発明によるサーバ 3 0 0 1と視聴者装置 3 0 0 2の構成図である。

サーバ 3 0 0 1は、ネットワーク 3 0 0 6を介して複数の視聴者装置 3 0 0 2と通信する通信手段 3 0 1 3と、サーバ 3 0 0 1にァクセスする視聴者装置 3 0 0 2を識別するクライアント識別手段 3 0 1 4と、視聴者装置 3 0 0 2毎に既に発生したイベントのィベント識別子のリストであるクライアント発生イベントリストを保持するクライアント情報管理手段 3 0 1 5と、アクションテーブルを構成する際に参照されるァクションテーブルリソースデ一夕 3 0 1 2 と、ァクションテーブルを同期対象となる事象に同期して逐次構成更新するとともに、構成するそれぞれのアクションテーブルの有効期間を決定しァクションテ一ブルに付与するァクションテーブル構成手段 3 0 1 1と、ネットワーク 3 0 0 6を介してアクションテーブルを提供するァクションテーブル提供手段 3 0 1 0とを有する。視聴者装置 3 0 0 2は、サーバ 3 0 0 1と通信する通信手段 3 0 2 4と、サーバ 3 0 0 1からアクションテーブルを取得しこれを保持するァクションテーブル管理手段 3 0 2 2と、イベントの発生を監視し、発生したイベントのィベント識別子をァクションテーブル管理手段 3 0 2 2に通知するイベント管理手段 3 0 2 1と、ァクションテ一ブル管理手段 3 0 2 2から通知されたァクション内容情報に記載されているァクションを即座に実行するァクション実行手段

3 0 2 3と、入力インタフェース 3 0 2 6と、出力イン夕フェース 3 0 2 5とを有する。

図 2 0は、本実施の形態による方法のシーケンス図である。サーバのァクションテーブルリソースデータ 3 0 1 2は、放送局 3 0 0 3が放送する放送情報を収集している。最初に、サーバ 3 0 0 1が. 放送コンテンツの放送時間と同期して指定される有効期間 X X〜X X毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報とを指定するァクションテ一ブルを構成する（ステップ S 1 ) 。次に、サーバ 3 0 0 1が. そのァクションテーブルを視聴者装置 3 0 0 2へ送信する（ステツプ S 2 ) 。次に、視聴者装置 3 0 0 2は、受信したァクションテ一ブルを保持し、発生したイベント、例えば使用者によって押下ボタンが押下されたことのィベント識別子 Y Yを導出する（ステップ S 3 ) 。次に、視聴者装置 3 0 0 2が、サーバ 3 0 0 1から受信したァクションテーブルを用いてィベント識別子 Y Yに対応するァクシヨン内容情報 Z Zを導出する（ステップ S 4 ) 。最後に、視聴者装置 3 0 0 2が、アクション内容情報 Z Zを実行する（ステップ S 5 ) 。このとき、視聴者装置 3 0 0 2が、イベント識別子 Y Yをサ —バ 3 0 0 1へ送信するものであってもよい（ステップ S 6 ) 。これにより、サーバ 3 0 0 1は、クライアント情報管理手段 3 0 1 5 において、発生イベントリストを作成し、当該視聴者装置 3 0 0 2 に適したァクションテ一ブルを構成することが可能となる。

図 2 1は、本発明によるアクションテーブルの一例を示し、図 2 2は、本発明によるクライアント発生イベントリストの一例を示している。

以下に、本実施形態による具体的な動作について説明する。

視聴者装置 3 0 0 2が起動する際に、ァクションテーブル管理手段 3 0 2 2が、サーバ 3 0 0 1から、ァクションテーブルを取得する。アクションテーブル管理手段 3 0 2 2は、取得されたァクションテーブルに記載されている有効期間を確認し、有効期間内である間、当該取得されたァクションテーブルを参照対象とする。

アクションテーブル管理手段 3 0 2 2は、現在、参照対象となつているアクションテーブルの有効期間が終了する前に、サーバ 3 0 0 1から新しいァクションテ一ブルを取得する。参照対象となっているァクションテ一ブルの有効期間終了と同時に、その新しいァクシヨンテーブルを参照対象とする。

以降、アクションテーブル管理手段 3 0 2 2は、現在、参照対象となっているアクションテーブルの有効期間を確認しつつ、前述した操作を繰り返し、逐次、アクションテーブルを更新する。

更に、クライアント操作又はアクション実行に伴って、イベントが発生した場合、ィベント管理手段 3 0 2 1は、発生したイベントのィベント識別子をァクションテーブル管理手段 3 0 2 2へ送信する。アクションテーブル管理手段 3 0 2 2は、現在参照対象となつているァクションテーブルを参照して、そのィベント識別子に対応するァクション内容情報をァクション実行手段 3 0 2 3へ送信する更に、アクション実行手段 3 0 2 3は、そのアクション内容情報に従ってアクションを実行する。

更に、視聴者装置 3 0 0 2のアクションテーブル管理手段 3 0 2 2は、ィベント管理手段 3 0 2 1から受信したィベント識別子を、サ一バ 3 0 0 1へ送信する。サーバ 3 0 0 1は、視聴者装置 3 0 0 2からイベント識別子を受信した場合、先ず、クライアント識別手段 3 0 1 4が視聴者装置 3 0 0 2を識別し、次に、クライアント情報管理手段 3 0 1 5が、そのクライアント（視聴者装置）に対応するクライアント発生イベントリストに当該ィベント識別子を追加する。

更に、サーバ 3 0 0 1は、視聴者装置 3 0 0 2からアクションテ一ブルの要求がされた場合、クライアント識別手段 3 0 1 4が視聴者装置 3 0 0 2を識別し、ァクションテーブル構成手段 3 0 1 1が. 識別された視聴者装置 3 0 0 2に対応するクライアント発生ィベントリストを参照してァクションテーブルを構成し、アクションテーブル提供手段 3 0 1 0が、当該視聴者装置 3 0 0 2へそのァクションテーブルを送信する。

更に、サーバ 3 0 0 1は、ァクションテーブル構成手段 3 0 1 1 が新しいァクションテーブルを構成した時点で、ァクションテープル提供手段 3 0 1 0によって、視聴者装置 3 0 0 2へ該新しいァクションテーブルを能動的に配信する。

視聴者装置 3 0 0 2は、アクションテーブル管理手段 3 0 2 2によって、受信された新しいアクションテーブルを保持し、現在参照しているァクションテーブルの有効期間が終了する時点で、現在参照しているァクションテーブルを新しいァクションテーブルへ変更する。

(実施例 3— 1 )

次に、本発明によるシステムをテレビ放送に適用した、具体例を実施例 3— 1 として説明する。

実施例 3— 1は、テレビでドラマ映像を視聴中に、ドラマ映像音声中の被写体、背景又は B G M等に視聴者が興味を持った場合に、視聴者装置 3 0 0 2のいわゆるブックマークのためのポタンを押すと、当該関連情報へアクセスするためのアイコン（又は U R L等）が、表示装置上の画面に追加されるというようなアプリケーションである。視聴者装置 3 0 0 2に、入力デバイスとして 3つのブックマークポタンがあるものとする。それぞれのボタンのシステム内での識別子は、（ 0 、 0 ) 、（ 1 、 0 ) 及び（ 2 、 0 ) であるとする < これら 3つのブックマークボタンは、例えば、第 1のポタンは被写体に関して興味を有したことを示し、第 2のポタンは背景について興味を有したことを示し、第 3のポタンは B G Mについて興味を有したことを示す等の機能分担を有すること等が考えられる。更に、場合によっては、それぞれのブックマークボタンが映像中の何に興味を有したことを示すかは動的に変化するものであってもよい。即ち、ある時点においては、ボタン（ 1、 0 ) が被写体に関して興味を有したことを示し、ボタン（ 2、 0) が背景について興味を有したことを示し、更にポタン（ 3、 0) が B GMについて興味を有したことを示しているが、別の時点においては、映像中に 2つの被写体（例えばタレント）等が存在するので、ポタン（ 1、 0 ) が第 1 の被写体に関して興味を有したことを示し、ポタン（ 2、 0 ) が第

2の被写体について興味を有したことを示し、更にボタン（ 3、 0 ) が B GMについて興味を有したことを示す等ということである。また、各視聴者装置 3 0 0 2において、ポタン操作の意味が異なる. 即ち、ボタン操作に応じて発生するアクションが異なるものであつてもよい。

図 2 3は、本発明によるアクションテーブルの一例である。このアクションテーブルは、有効期間が時刻 0から時刻 9 9 9までである。入力デバイスは、 3つのボタンから構成され、それぞれのポ夕ンのシステム内での識別子は（ 0、 0) 、（ 1、 0) 及び（ 2、 0 ) である。イベント識別子は、時刻情報及びボタン識別子から構成される。ィベン卜識別子 [ ( 0、 4 9 9 ) 、（ 0、 0 ) ] は、時刻 0から時刻 4 9 9の間に、識別子（ 0、 0) のポタンが押されたというイベントを意味する。当該イベント識別子に対応して、アイコン Aを画面に追加表示するといぅァクション「 a d d i c o n— A」が記述されている。

図 2 3のァクションテ一ブルによれば、時刻 0から時刻 4 9 9の間に識別子（0、 0 ) のポタンが押下されれば「 a d d i c o n — A」を実行する。以下同様に、時刻 0から時刻 4 9 9の間に識別子（ 1、 0 ) のポタンが押下されれば、「a d d i c o n— B」を実行し、時刻 0から時刻 4 9 9の間に識別子（2、 0) のポタンが押下されれば「a d d i c o n C」を実行し、時刻 5 0 0から時刻 9 9 9の間に識別子（ 0、 0) のポタンが押下されれば「 a d d i c o n— D」を実行し、時刻 5 0 0から時刻 9 9 9の間に識別子（ 1、 0 ) のポタンが押下されれば「 a d d i c o n— E」を実行し、時刻 5 0 0から時刻 9 9 9の間に識別子（ 2、 0 ) のポタンが押下されれば「 a d d i c o n— F」を実行する。視聴者装置 3 0 0 2は、時刻 0から時刻 9 9 9までの間、図 2 3 のアクションテーブルを参照対象とする。そして、時刻 0から時刻 9 9 9までの間に視聴者装置 3 0 0 2のいずれかのポタンが押されてィベン小が発生すると、即座に、アクションテーブルに基づいて決定されるアクションを実行する。

図 24は、次に取得されたアクションテーブルの一例である。次の有効期間のァクションテーブルを取得するために、視聴者装置 3 0 0 2は、時刻 0から時刻 9 9 9までの間に、サーバ 3 0 0 1ヘアクセスする。有効期間 1 0 0 0〜 1 9 9 9は、図 2 3のアクションテーブルを参照対象として処理を行う。有効期間 0〜 9 9 9に、どのイベントが発生しても発生しなくても、次にサーバ 3 0 0 1から取得されるァクションテーブルは全ての視聴者装置 3 0 0 2において同じである。

各クライアント（視聴者装置）において、有効期間 0〜 9 9 9に発生したイベントの種類及び、イベント発生の有無により、取得される有効期間 1 0 0 0〜 1 9 9 9のァクションテーブルの内容が異なることも特徴である。

図 2 5及び図 2 6は、内容が異なるァクションテーブルの一例である。本発明によるシステムの中に複数の視聴者装置 3 0 0 2が存在する場合、第 1の視聴者装置においては、時刻 0〜 9 9 9の間に全くイベントが発生せず、視聴者装置 Bにおいては、時刻 0〜4 9 9の間に識別子（ 0、 0 ) のポ夕ンが押され「 a d d i c o n— A」が実行されたとする。この場合、第 1の視聴者装置は、新しいァクションテ一ブルとして図 2 5のテーブルをサーバ 3 0 0 1から取得する。一方、時刻 0〜4 9 9の間に識別子（ 0、 0) のポタンが押されなかった場合、第 1の視聴者装置は、新しいアクションテ一ブルとして図 2 6のテーブルをサーバ 3 0 0 1から取得する。

このように、各視聴者装置 3 0 0 2におけるィベント発生の有無又は発生したイベント種別によって、取得されるアクションテープルの内容が異なる。この結果、ポタン操作に伴って実行されるァクシヨンを、以前に行ったボタン操作に依存して、各視聴者装置において変化させることができる。

(実施例 3 - 2)

次に、本発明によるシステムをテレビ放送に適用した、実施例 3 - 2について説明する。

この実施例 3— 2は、テレビで教育番組等を視聴中に、視聴者装置 3 0 0 2の表示装置 3 0 04の画面上に番組に進行に合わせて、番組の内容に関連する所定の情報ページ、即ちイン夕一ネット上の所定のホームページが表示されるというようなアプリケーションである。このアプリケーションにおいて、イベントとは、所定の時刻. 即ち番組内容が切り替わる時刻になったということに対応し、当該ィベン卜が発生した時点で、新しい情報ページに更新するといぅァクションを実行する。

図 2 7は、実施例 3 _ 2におけるアクションテーブルの一例である。図 2 7によれば、 URLが h t t p ZZp a g e lであるホ —ムページを画面に追加表示するといぅァクションを「o p e n h t t p ： / / p a g e 1」と記述している。視聴者装置が、 M S - W i n d ow sの〇 Sを搭載するパーソナルコンピュー夕上に実装されている場合、「o p e n h t t p .' ZZp a g e l J というアクションの実行は、 MS— W i n d ow s上のインターネットブラウザプログラム「 i e x p l o r e . e x e」等の機能を利用して、当該 UR Lで指定されるホームページを開くことである。この動作は、先ず、視聴者装置 3 0 0 2が、同期処理の対象となる番組の放送に先立ち起動され、図 2 7に示すアクションテーブルをサーバ 3 0 0 1から取得する。次に、視聴者装置 3 0 0 2において、時刻が、 0 0 Z 0 9 /04/ 1 9 ： 0 0 ： 0 0になった時点でイベント識別子 [ 0 0/0 9Z04Z 1 9 ： 0 0 ： 0 0 ] のィベン卜が発生したとみなされ、対応するアクション「o p e n h t t p ： / / p a g e 1」が実行され、 h t t p ： / / p a g e 1で示されるホームページが表示される。次に、時刻が、 0 0 / 0 9ノ 0 4 / 1 9 : 04 : 0 0になった時点で、ィベント識別子 [ 0 0 0 9 y 04 / 1 9 ： 0 4 ： 0 0 ] のィベン卜が発生したとみなされ、対応するァクシヨン " o p e n h t t p ： / / p a g e 2 " が実行される。次に、時刻が、 0 0/ 0 9/ 04Z 1 9 ： 0 9 ： 1 5になった時点で、イベント識別子 [ 0 0 0 9 04ノ 1 9 ： 0 9 ： 1 5 ] のィベン卜が発生したとみなされ、対応するァクション「o e n h t t p Z/p a g e S j が実行される。以降同様に、イベント識別子で指定される時刻になった時点で、当該イベントが発生したとみなして、対応するァクションを実行して行く。

更に、図 2 7に示すァクションテーブルの有効期限は 0 0 0 9 04 1 9 ： 1 5 ： 0 0までなので、 0 0 /0 9 0 4/ 1 9 ： 1 5 : 0 0になった時点で、現在参照している図 2 7に示すァクシヨンテーブルは、新しく取得されたアクションテーブルに更新され、その後、更新されたァクションテーブルのィベント識別子で指定される時刻おきにアクションを実行していく。

(実施例 3 - 3)

次に、本発明によるシステムをテレビ映像放送に適用した、実施例 3— 3について説明する。

この実施例 3— 3では、図 2 8に示すように、視聴者装置 3 0 0 2の出力装置 3 0 0 6は、放送映像を受像する放送受信装置と一体になっている。あるいは、両者が接続されている。視聴者装置 3 0 0 2には、入力デバィスとしてマウス等のポインティングデバイスが具備される。ポインティングデバイスとして、夕ツチパネルディスプレイを用いても良い。この場合、出力デバイスである放送受信装置に表示される放送映像の各映像フレーム中の被写体を、前記ポインティングデバイスを用いてボインティングすることが可能である。

放送映像を受信する放送受信装置と、視聴者装置の出力デバイスが一体になつている場合、前記放送受信装置および出力デバイス一体化装置の情報表示領域（ディスプレイ画面）は、図 2 9に示すような構成をとることができる。

本実施例では、上述の環境において、視聴者が、視聴者装置に接続されるポインティングデバイスにより、放送映像の各映像フレーム中の被写体をボインティングした際に、ポインティングされた被写体に対応するァクションを実行するものである。実行されるァクシヨンとしては、ポインティングされた被写体に関連するホームべージを提示する、ポインティングされた被写体に関連するホームべージをブックマークに追加する、等、様々な処理が考えられる。本実施例では、ポインティングされた被写体に対応するアイコンィメージを画面上に追加表示するァクションを実行する場合について説明する。

この場合に、関連情報提供サーバ 3 0 0 1より提供されるァクションテ一ブルの一例を図 3 0に示す。図 3 0に示すァクションテ一ブルは、有効時間が時刻 0から時刻 9 9 9までである。イベント識別子は、時刻情報（ t 1， t 2) および当該時刻に放送映像表示領域中の被写体存在領域に対応する長方形領域の左上隅の座標（X a_; y a) 、および、右上隅の座標（x b, y b) から構成されており .

[ ( t 1 , t 2 ) , ( χ a , y a ) - (x b， y ) ] というように記述されている。放送映像表示領域が図 3 1に示すように、 6 4 0 x 4 8 0 (VGA) の解像度であるとした場合、イベント識別子 [ (0 , 2 9 9 ) , ( 1 0 0， 1 0 0 ) — （2 0 0 , 2 0 0) ] は. 時刻 0から時刻 2 9 9の間に左上隅座標を（ 0， 0 ) として座標（ 1 0 0 , 1 0 0 ) 、（ 2 0 0 , 2 0 0 ) を対角線とする長方形領域内がポインティングされたというイベントを意味する。ここで、通常、前記長方形領域内には、時刻 0から時刻 2 9 9の間、ポインテイングの対象となる被写体 Aが存在する。図 3 0に示したァクションテ一ブルでは、当該ィベント識別子 [ (0， 2 9 9) ， ( 1 0 0 , 1 0 0 ) - ( 2 0 0 , 2 0 0 ) ] に対応して、アイコン Aを画面に追加表示するというァグシヨン「 a d d i c o n— A」が記載されている。

図 3 0のアクションテーブルによれば、時刻 0から時刻 2 9 9の間に、座標（ 1 0 0， 1 0 0) 、（ 2 0 0， 2 0 0 ) を対角線とする長方形領域内がポインティングされた場合、「 a d d i c o n — A」が実行される。以下同様に、時刻 0から時刻 2 9 9の間に、座標（ 3 0 0， 3 0 0) 、 ( 4 0 0 , 4 0 0 ) を対角線とする長方形領域内がポインティングされた場合、アイコン Bを画面に追加表示するといぅァクション「& 1 i c o n— B」が実行される。時刻 3 0 0から時刻 5 9 9の間に、座標（ 2 0 0， 1 0 0) 、（ 3 0 0， 2 0 0 ) を対角線とする長方形領域内がポインティングされた場合、「a d d i c o n— A」が実行される。時刻 3 0 0から時刻 5 9 9の間に、座標（ 2 0 0 , 3 0 0) 、（ 3 0 0， 4 0 0 ) を対角線とする長方形領域内がボインティングされた場合、「 a d d i c o n— B」が実行される。時刻 6 0 0から時刻 9 9 9の間に、座標（ 3 0 0 , 1 0 0) 、 (4 0 0 , 2 0 0 ) を対角線とする長方形領域内がポインティングされた場合、「 a d d i c o n— A」が実行される。時刻 6 0 0から時刻 9 9 9の間に、座標（ 1 0 0 , 3 0 0 ) 、 ( 2 0 0 , 4 0 0 ) を対角線とする長方形領域内がポインティングされた場合、「a d d i c o n— B」が実行される。

通常、放送映像表示領域のポインティング対象となる長方形領域内にはポインティングの対象となる被写体が存在する。例えば、時刻 0から時刻 2 9 9の時点では、放送映像領域内には、図 3 1に示すように被写体 Aおよび被写体 Bが存在する。したがって、上述の例では、視聴者が放送映像視聴中、時刻 0から時刻 2 9 9までに間に被写体 Aをポインティングすると、図 3 2に示すように被写体 A に対応するアイコン Aが視聴者装置出力情報表示領域に追加表示される。

なお、以上まで各実施例の説明において、 " a d d i c o n— X "で記述されるアクションは、更に拡張して、 " a d d i c o n— X U R L ' ' と記述できる。具体的には、「 a d d i c o n — A www. n t t . c o. j p」という記述である。この例では、該アクションは、アイコン Aを追加表示し、かつ、以後、任意時点で、アイコン Aが視聴者により選択された場合には、 UR Lァドレス " www. n t t . c o. j p " の情報を提示するといぅ処理に対応する。

前述したように、本実施の形態によれば、視聴者装置におけるィベントを様々な形態で定義することが可能である。例えば、各種ポタン操作発生時、マウス等のポインティングデバイスによる操作発生時、又は視聴者装置に接続されたマイクからの音声入力時がある < また、視聴者装置が音声認識のためのシステムを具備する場合には, マイクから所定の単語が入力された時がある。更に、絶対時刻が所定の時刻になった時、任意のイベント発生後、所定の時間が経過した時、又はこれらの複数が同時に発生した時、等がある。

また、本実施の形態によれば、前述したようなイベントを識別するためのイベント識別子を、事前に定義しておく。イベント識別子は、適用するサービス毎に定義が異なる場合もある。これにより、具体的な実施形態として前述したように、テレビ放送に連動した情報提供サービスを様々な形で提供できる。

なお、本実施の形態においても、視聴者情報及び端末情報に関連した関連情報を取得することが可能である。例えば、視聴者装置から関連情報提供サーバに予め視聴者情報及び端末情報を送信しておき、関連情報提供サーバが各視聴者装置毎のァクションテーブルを作成する際に、当該視聴者情報や端末情報を考慮するようにする。

(効果）

以上、本実施の形態によるシステム、方法及び制御プログラムを記録した記録媒体によれば、視聴者装置が、放送に多重されたデー夕信号を取得することなく、放送される所定チャネルの放送コンテンッに同期したイベントに対する処理を、素早く実行することができる。従って、視聴者装置が、放送受信装置から放送に多重されたデータ信号を取得する機能を有する必要もない。また、視聴者装置がポタン操作等を行った際に、既にァクションテーブル管理手段に保持されているァクションテーブルを参照して、即座に発生したィベントに対応するァクションが実行されるので、遅延時間が極めて短くなり、クライアント操作に対するレスポンスが遅いことによる操作性の低下を防ぐことができる。更に、本発明では、イベント識別子とァクションとの対応関係を記述したテーブル毎に有効期間が明示されているので、同期対象となる放送コンテンッの放送時刻や番組構成の動的な変化に対応できる。例えば、番組構成が常に変化するライブ番組等にも適用できる。アクションテーブルの有効期間は、同期対象となる放送コンテンッの提供者の意図により設定できる。有効期間を効果的に用いることにより、ライブ放送番組等と同期したィベント処理もある程度実現可能と考えられる。

また、本実施の形態によれば、サーバに視聴者装置毎のイベント識別子が管理されるので、同じイベントに対しても、視聴者装置毎に適切な異なるァクション内容が実行される。

[第 4の実施の形態]

次に、本発明の第 4の実施の形態について実施例 4 - 1及び実施例 4一 2を用いて説明する。本実施の形態では、視聴者装置から関連情報提供サーバに部分放送情報を送信し、関連情報提供サーバは当該部分放送情報に基づき関連情報を検索し、視聴者装置に送信する。

(実施例 4 一 1 )

図 3 3を参照すると、本発明の第 4の実施の形態における関連情報提供機能付放送受信システムは、放送局 4 0 0 6より映像音声を含む放送情報を受信するとともに、入力部 4 0 1 2からの視聴者の関連情報取得指示により、視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を送信し、関連情報を取得、視聴者に提供する関連情報取得部 4 0 1 1を有する視聴者装置 4 0 0 1 と、インターネット等のネットワーク 4 0 0 5 に接続され、放送情報と、放送情報の関連情報を蓄積し、視聴者装置 4 0 0 1からの部分放送情報に対応する関連情報を視聴者装置 4 0 0 1に送信する関連情報提供サーバ 4 0 0 2と、視聴者装置 4 0 0 1で受信された放送情報を蓄積する、 V T R等の放送情報蓄積装置 4 0 0 3と、視聴者装置 4 0 0 1からのアクセスに対して関連情報ホームページを視聴者装置 4 0 0 1に送信するコンテンツ提供サーバ 4 0 0 4で構成されている。なお、視聴者装置 4 0 0 1は便宜上 1台しか図示されていないが、実際には多数存在する。

視聴者装置 4 0 0 1は、 B Sデジタル放送、 C Sデジタル放送、地上波デジタル放送、ケーブルテレビ放送、 I Pネットワーク（ィンターネット）を介したネットワーク放送等の放送信号を受信し、音声映像等の放送情報を復号、再生し、視聴者に提示する機能を有する装置であり、テレビ放送であれば、放送受信アンテナ装置、チユーナ一装置あるいは S T B ( S e t T o B o x ) 、テレビ等から構成される装置である。図 3 3では、視聴者装置 4 0 0 1は. 上述の機器が一体化された装置として図示しているが、視聴者装置 4 0 0 1は、放送受信アンテナ、放送信号から映像音声等の放送情報を復号する処理等を行う装置、映像音声等を表示再生する装置等が分離されており、必要な装置間が有線通信路もしくは無線通信路により接続されている構成でもよい。また、更に、視聴者装置 4 0 0 1は、 I S DNやアナログ電話、その他の通信回線を介してイン夕ーネット等に接続し通信を行うためモデム等の通信装置を含んで構成される。更には、視聴者装置 4 0 0 1は、図 3 3に示したように、 VTR等の、受信される放送情報を蓄積するための放送情報蓄積装置 4 0 0 3を具備し、蓄積された放送情報を適時再生視聴するための機能を有する。なお、視聴者装置 4 0 0 1の内部構成は後で説明する。

関連情報とは、特定の放送情報に関連する情報であって、テキスト、画像、音声、音楽、映像等から構成されるマルチメディア情報である。放送情報として、例えば、映画が提供された場合には、関連情報とは、 HTMLで記述されたその映画中の登場人物のプロフィ一ル情報、 B GMのタイトル、作曲者の情報等で、放送情報が C M映像である場合には、その CMの宣伝する商品の詳細情報、 CM の B GMの情報等である。あるいは、関連情報とは前記のマルチメディァ情報コンテンツへアクセスするためのァドレス情報、すなわち、当該コンテンツへの UR L (Un i f o r m R e s o u r c e L o c a t o r s ) である場合もある。

関連情報が、任意の放送情報に関連するマルチメディア情報コンテンッへの UR Lである場合、視聴者装置 40 0 1は、関連情報提供サーバ 40 0 2にアクセスし、通知した放送情報識別情報に対応する関連情報である UR Lを取得した後、ィンターネット 4 0 0 5 を介して当該 U R Lにアクセスし、コンテンツ提供サーバ 4 0 0 4 よりホームページ等の情報コンテンツを取得し、これを視聴者に提示する。視聴者装置 40 0 1は、この処理を実施するための手段として、コンテンツ情報閲覧部 40 1 3を備えている。

関連情報提供サーバ 40 0 2は放送情報データベース 40 2 1 と関連情報データベース 40 2 2と放送情報マッチング部 40 2 3と関連情報提供部 4 0 2 4を有している。なお、関連情報提供サーバ 4 0 0 2は、インターネット 4 0 0 5に接続される WWWサーバとして実現される場合がある。

放送情報データベース 4 0 2 1は、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理している。すなわち、図 3 3に示したように、蓄積される放送情報である放送番組映像音声群を、例えば、それぞれ V i d e 0 0 1 、 V i d e o 0 2、 V i d e o 0 3、 · · · という名前のファイルとして管理する。この場合、ファイル名が放送情報識別情報に相当する。更に、各映像音声ファイル中の映像フレーム番号を指定することで各映像音声フアイル中の一映像フレームまで特定することができる。この場合には、ファイル名及び映像フレーム番号が放送情報識別情報に相当する。更に、放送情報データベース 4 0 2 1内には、放送情報マッチング部 4 0 2 3が放送情報をマッチング検索する際の処理の高速化のために、検索処理に必要なメディア変換、あるいは特徴量抽出処理を施すことにより得られる情報（例えば、音声信号より抽出される特徴べクトル情報等）が保持される場合がある。関連情報データベース 4 0 2 2は、放送情報データベース 4 0 2 1に蓄積された放送情報識別情報と当該放送情報に対応する関連情報とを対応させた、図 3 4に示すようなテーブルを含む。図 3 4 に示した例において、関連情報は、関連する情報を含むホームべ一ジの U R Lとなっている。

放送情報マッチング部 4 0 2 3は、視聴者装置 4 0 0 1より受信した部分放送情報と対応する放送情報を放送情報データベース 4 0 2 1中より検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定する。関連情報提供部 4 0 2 4は関連情報データベース 4 0 2 2を参照し、特定された放送情報識別情報に対応する関連情報を取得し、視聴者装置 4 0 0 1に送信する。

図 3 5に示すように、視聴者装置 4 0 0 1は関連情報取得部 4 0 1 1 と入力部 4 0 1 2とコンテンツ情報閲覧部 4 0 1 3と放送受信部 4 0 1 4と放送情報復調複号部 4 0 1 5と表示再生部 4 0 1 6とネットワーク通信部 4 0 1 7と部分放送情報バッファ 4 0 1 9で構成されている。

放送受信部 4 0 1 4はアンテナで、放送局 4 0 0 6からの放送情報を受信する。放送情報復調復号部 4 0 1 5は放送受信部 4 0 1 4 で受信された放送情報を復調復号し、表示再生部 4 0 1 6と、関連情報取得部 4 0 1 1 と、放送情報を蓄積する場合には更に放送情報蓄積装置 4 0 0 3に出力し、また放送情報蓄積装置 4 0 0 3から蓄積された放送情報を入力し、再生する。入力部 4 0 1 2は関連情報取得指示ポタン 1 8及びその他不図示の各種ポタンを有している。関連情報取得部 4 0 1 1は、前述したように、視聴者が関連情報取得指示ボタン 4 0 1 8を操作すると、視聴者が視聴している放送情報より部分放送情報を生成し、ネットワーク通信部 4 0 1 7よりネットワーク 4 0 0 5を経て関連情報提供サーバ 4 0 0 2に送信し、関連情報提供サーバ 4 0 0 2から送信されネットワーク 4 0 0 5を経てネットワーク通信部 4 0 1 7で受信された関連情報を取得し、それに含まれる U R Lをコンテンツ情報閲覧部 4 0 1 3に出力する < コンテンッ情報閲覧部 4 0 1 3は U R Lによりネットワーク通信部 4 0 1 7、ネットワーク 4 0 0 5を経てコンテンッ提供サーバ 4 0 0 4にアクセスし、コンテンツ提供サーバ 4 0 0 4から送信されてきた関連情報ホームページをネットワーク通信部 4 0 1 7を介して受け取り、表示再生部 4 0 1 6に出力する。表示再生部 4 0 1 6は C R T , L C D等の表示手段と、表示回路からなり、放送情報である映像音声や関連情報ホームページ等を表示する。部分放送情報バッファ 4 0 1 9は視聴された映像音声を一時的に記憶する。

次に、本実施形態の関連情報提供機能付放送受信システムの動作を説明する。

視聴者が放送情報を視聴中に関連情報取得指示ポタン 4 0 1 8を操作すると、関連情報取得部 4 0 1 1は視聴中の放送情報、又は該放送情報を変換して得られた特徴量情報を部分放送情報として関連情報提供サーバ 4 0 0 2に送信する。なお、視聴者が任意の時点に再生視聴中の、放送情報蓄積装置 4 0 0 3に蓄積された放送情報に対応する関連情報を取得する場合は、前記任意の時点に再生視聴中の、放送情報蓄積装置 4 0 0 3に蓄積された放送情報、もしくは前記任意の時点に再生視聴中の放送情報蓄積装置 4 0 0 3に蓄積された放送情報を変換して得られる特徴量情報を部分放送情報として関連情報提供サーバ 4 0 0 2に送信する。ここで、関連情報は、実際に放送情報に関連した情報を提供するホームページ等への U Rしであるものとしている。関連情報提供サーバ 4 0 0 2では、部分放送情報が視聴者装置 4 0 0 1から通知されると、放送情報マッチング部 4 0 2 3が放送情報データベース 4 0 2 1を検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定し、関連情報提供部 4 0 2 4が、図 3 4に示すようなテーブルを参照して該放送情報識別情報に対応付けられた関連情報（すなわち U R L ) 群を取得し、これを視聴者装置 4 0 0 1へ通知する。視聴者装置 4 0 0 1の関連情報取得部 4 0 1 1は取得された関連情報を視聴者に提示する。

ここで、関連情報取得部 4 0 1 1の実現例として、視聴者装置 4 0 0 1に具備される関連情報取得指示ポタン 4 0 1 8等の入力手段が視聴者によって操作され、関連情報取得が指示された時点で関連情報提供サーバ 4 0 0 2にアクセスし、部分放送情報を関連情報提供サーバ 4 0 0 2に通知し、関連情報データベース 4 0 2 2から該部分放送情報に対応する放送情報識別情報に関連付けられた関連情報を取得し、視聴者に提示する以外に、（ 1 ) 逐次連続的に関連情報提供サーバ 4 0 0 2にアクセスし、視聴者が視聴中又は再生視聴中の放送情報に関する全ての関連情報を逐次関連情報管理データべース 4 0 2 2より取得し、視聴者に提示する、（ 2 ) 視聴者装置 4 0 0 1がいわゆるブックマーク用ボタンと、関連情報取得指示ボタン 40 1 8、及びメモリ（記憶装置）を具備し、視聴者がブックマーク用ボタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、視聴者が、関連情報取得指示ポタン 40 1 8を操作し関連情報取得が指示された時点で関連情報提供サーバ 40 0 2にアクセスし、メモリに蓄積された部分放送情報を関連情報提供サーバ 4 0 0 2に通知し、関連情報データベース 40 2 2から該部分情報に対応する放送情報識別情報群に関連付けられた関連情報群を取得し、視聴者に提示する等が考えられる。

また、放送情報マッチング部 40 2 3が、視聴者装置 40 0 1より受信した部分放送情報と対応する放送情報を放送情報データべ一ス 40 2 1中より検索することにより該部分放送情報に対応する放送情報の放送情報識別情報を特定する際には、 K · K a s h i n o . G . Sm i t h a n d H . M u r a s e ： T i me— S e r i e s a c t i v e s e a r c h f o r q u i c k r e t r i e v a l o f a u d i o a n d v i d e o 、 P r o c . o f I CA S S P— 9 9、 V o l . 6、 PP. 2 9 9 3— 2 9 9 6、 M a r . 1 9 9 9、もしくは、柏野邦夫、村瀬洋、 "音や映像を瞬時に探す時系列アクティブ探索法" 、 NTTR&D、 V o 1. 4 9、 N o . 7、 2 0 0 0、 P P. 40 7— 4 1 3に記載の手法を使用するものとしている。前記の手法は、放送等の長時間の音声もしくは放送中から、特定の番組タイトルや CM等、目的とする音や映像の有無及び対応位置を高速に検出する手法で、音声を検索する場合、検索対象となる音声全体、及び検索する音声の特徴べクトルのヒストグラムに基づいて検索を行うものである。これらの手法を用いる場合には、部分放送情報は、関連情報の取得の対象となる時点を含む一定時間に視聴された映像音声中の音声データあるいは、該音声信号から抽出される特徴ベクトルに相当する。視聴者装置 4 0 0 1に具備される関連情報取得部 4 0 1 1が特徴べクトルを部分放送情報として関連情報提供サーバ 4 0 0 2に送信する場合には、関連情報取得部 4 0 1 1は、音声信号から特徴ベクトルを抽出する機能をも有する。

部分放送情報としては、上述した音声信号もしくは音声信号から抽出される特徴ベクトル以外に、映像フレームデータ、映像シーケンスデータ（一連の連続するフレームデータ）、色ヒストグラム等の映像信号より抽出される各種特徴量が考えられる。

次に、本実施形態において、視聴者が視聴中に放送に関連する情報を取得する際のシステムの具体的動作について説明する。

まず、視聴者装置 4 0 0 1を用いて視聴者が、放送中の放送映像音声、もしくは、放送情報蓄積装置 4 0 0 3に蓄積された放送映像音声を再生視聴中に、関連情報取得部 4 0 1 1は常に、部分放送情報バッファ 4 0 1 9に a時間前までの視聴された映像音声をバッファリングしている。ここで、視聴者が視聴中の映像音声の内容に興味をもち関連情報取得指示ポタン 4 0 1 8を操作したとする。この結果、関連情報取得部 4 0 1 1は、関連情報取得指示ポタン 4 0 1 8が操作された時点 tより a時間前から時刻 tまでの期間、すなわち、時刻 t 一 aから時刻 tまでの時間に視聴された放送映像音声の音声信号を部分放送情報として、ネットワーク通信部 4 0 1 7を介して関連情報管理サーバ 4 0 0 2に送信する。

関連情報提供サーバ 4 0 0 2の関連情報提供部 4 0 2 4は、受信された部分放送情報を放送情報マッチング部 4 0 2 3に送信する。放送情報マッチング部 4 0 2 3は、受信された部分放送情報、すなわち音声信号を利用して、放送情報データベース 4 0 2 1から該部分放送情報に対応する放送情報を検索する。検索の結果、例えば、映像ファイル V i d e o 0 1のフレーム 1番からフレーム 3番までの映像シーケンスが受信された部分放送情報に適合したとする。ここで、受信された部分放送情報は、視聴者が関連情報取得指示ポタン 4 0 1 8を操作した時点 tより a時間前から時刻 tまでの期間. すなわち、時刻 t一 aから時刻 tまでの時間に視聴された放送映像音声の音声信号に相当するので、適合した映像シーケンス中の最後の時刻に相当する映像フレームが、視聴者が関連情報取得指示ボタン 40 1 8を操作した時点 tに視聴中の映像フレームに相当する。放送情報マッチング部 40 2 3は、前述のような判断を行い、結果として、放送情報識別情報として "ファイル名： V i d e o 0 1. フレーム番号： 0 0 2 " という情報を関連情報提供部 4 0 2 4に通知する。関連情報提供部 40 24は、図 34に示す関連情報データベース 4 0 2 2を参照し、受信された放送情報識別情報 "ファイル名： V i d e o 0 1、フレーム番号： 0 0 2 " に対応する関連情報として、 h t t p ： //www. a a a . c o . j p . / p r o g r am i n f o r ma t i o n, h t m l という URLを関連情報として視聴者装置 40 0 1へ返信する。

視聴者装置 4 0 0 1では、受信された UR Lをコンテンツ情報閲覧部 4 0 1 3に送り、コンテンッ情報閲覧部 40 1 3は、該 UR L ァドレスで指定されるコンテンツ提供サーバ 40 04にアクセスし. 関連情報ホームページを取得し、これを表示再生部 4 0 1 6により視聴者へ提供する。

(実施例 4一 2)

以上までに述べた例においては、基本的に、視聴者が任意の放送情報を指定した場合に提供される関連情報は、視聴者の属性によらず、同一の放送情報に対応しては、全視聴者に同一の関連情報が提供されるものであった。

本実施の形態においても、上述した各実施の形態と同様に、視聴者情報や、視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供することが可能である。本実施の形態では、視聴者及び視聴者装置毎に異なる関連情報を提供する構成について、実施例 4一 2として詳細に説明する。

第 1の実施の形態と同様、視聴者情報とは、視聴者に関する情報であり、名前、性別、年齢、職業、住所、郵便番号、家族構成、住居に関する情報（マンション、一戸建て、等）、趣味、興味を有する情報ジャンル（政治、経済、ニュース、コンピュータ、書籍、スポーッ、旅行、等）、年収、各種サービスの会員であるか否かという情報及び会員番号あるいはクレジットカード I D、各種資格（運転免許、等）保有の有無、体形に関する情報（体重、身長、衣類のサイズ等）、能力に関する情報（視力、聴力、等）、等のいずれか複数を含むものである。

端末情報（視聴者装置情報）とは、視聴者装置の表示装置の解像度、表示可能色数、 WWW情報閲覧手段の性能（ J a v a機能利用可否、映像音声コンテンツ再生機能の有無、映像音声コンテンツで再生できる符号化フォーマット情報、等）等の情報である。

以下に、視聴者情報や、視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供する場合について、実施例 4— 1 と異なる点について、図 3 6、図 3 7を参照して説明する。

本実施例においては、図 3 7に示すように、視聴者情報及び端末情報を記憶保持するための記憶部 4 0 3 0が、視聴者装置に具備されている。また、入力部 4 0 1 2は、視聴者情報を入力するための機能を視聴者に提供する。視聴者は、事前に、入力部 4 0 1 2を介して、各種視聴者情報を入力し、入力された視聴者情報が、記憶部 4 0 3 0に保持される。

また、端末情報は、端末製造時に記憶部 4 0 3 0に保持されるか. 表示再生部 4 0 1 6が接続された時点で、表示再生部 4 0 1 6より記憶部 4 0 3 0に通知され保持される。

また、本実施例において、関連情報データベース 4 0 2 2に保持される関連情報は、 U R L等の関連情報本体とその属性情報から構成される。属性情報とは、当該関連情報の提供対象となり得る視聴者の特性、すなわち、性別、年齢、体形特性、能力特性、職業、地区、郵便番号群、家族構成特性、住居特性、年収、及び、当該関連情報の属する情報ジャンル、当該関連情報を利用するのに必要なサ一ビス利用権利及び資格に関する情報と、提供対象となる端末の特性、すなわち、表示装置の解像度特性、表示可能色数、コ

情報閲覧部 4 0 1 3の性能、等である。

関連情報本体が U R Lであった場合の関連情報は、例えば、関連情報例 1 : 「URL 1 , (女性用），（対象年齢 2 0以上），（ 1 0 24 X 8 0 0以上），（ 2 5 6色以上）」

関連情報例 2 「UR L 2，（衣類サイズ M) ，（ J a v a機能必要）」

関連情報例 3 「UR L 3，（職業：主婦），（東京都）」関連情報例 4 「UR L 4，（女性用），（視力 0. 8以下）」関連情報例 5 「UR L 5 , (ジャンル：スポーツ）」

というようなものになる。

この例において実際の関連情報は、関連情報例 1では女性向けのタバコの広告情報であり、 2 0歳未満、もしくは、男性には不向きなコンテンツである場合等に当たる。関連情報例 2は衣類の広告情報、また、関連情報例 3は東京都内のスーパーマーケットの商品情報、関連情報例 4は、女性用眼鏡の広告情報、等である場合が考えられる。また、関連情報 5はスポーツ用品の広告等である場合が考えられる。

視聴者装置 4 0 0 1の関連情報取得部 40 1 1は、図 3 6に示すように、関連情報提供サーバ 40 0 2にこれまでに述べた実施例において、部分放送情報を送信する際に、視聴者情報及び端末情報、もしくは、前記いずれかの情報を、部分放送情報とともに送信する, 関連情報提供サーバ 40 0 2の関連情報提供部 40 24は、前述の実施例において述べた手順に従って部分放送情報から放送情報識別情報を特定し、更に対応する関連情報を特定する。その後、対応する関連情報に付与された、視聴者情報及び端末情報を参照し、これらに基づいて関連情報を選別し、視聴者装置に送信する。

具体的には、視聴者装置 4 0 0 1より、関連情報提供サーバ 40 0 2に受信された部分放送情報から特定された放送情報識別情報に対応付けられた関連情報が上記の関連情報例 1〜4に示したものであり、視聴者情報が（女性）であり、端末情報が、（解像度 8 0 0 X 6 0 0 ) 、 ( J a V a利用不可）であった場合には、関連情報提供部 4 0 24は、解像度が 1 0 24 x 8 0 0以上必要ということが条件である関連情報例 1と、 J a V a機能必要が条件である関連情報例 2を除外し、残りの UR L 3、 UR L 4、 UR L 5を視聴者装置 4 0 0 1に送信する。

また、前記視聴者情報が、（女性）、（京都府）、（視力 1. 5 ) (興味ジャンル：書籍）であり、前記端末情報は、（解像度 1 0 24 x 8 0 0) 、 ( J a V a利用可）であった場合には、関連情報提供部 4 0 24は、対象地区が東京都である関連情報例 3と、対象視聴者の視力が 0. 8以下である関連情報例 4と、ジャンルが指定してあってかつそのジャンルが書籍以外である関連情報例 5を除外し、残りの UR L 1、 UR L 2を視聴者装置 40 0 1に送信する。上述の例以外に、属性情報として、（Aサービス会員のみ利用可 ) という情報が関連情報に付与されており、視聴者情報として Aサ —ビス会員番号が含まれる場合に、該関連情報を視聴者装置 4 0 0 1に送信する場合がある。また、属性情報として、（自動車免許必要）という情報が関連情報に付与されており、視聴者情報として（自動車免許有）が含まれる場合に、該関連情報を視聴者装置 4 0 0 1に送信する場合等がある。

また、属性情報として、（mp e g 2形式）という情報が関連情報に付与されており、端末情報として（再生可能符号化方式： mp e g 2) が含まれる場合に、該関連情報を視聴者装置に送信する場合等がある。

このように上記の実施例 4 _ 2においては、視聴者情報、端末情報を利用することにより、視聴者にとって必要性のない関連情報、及び、視聴者の利用する視聴者装置において利用できない関連情報は送信されず、視聴者にとって必要と考えられる情報、あるいは、利用可能な情報のみを視聴者に提供する。

(効果）

以上説明したように、本実施の形態によれば、放送映像音声に対して関連情報を提供するために必要な情報を付加する等の特別な処理を行う必要がなく、かつ、放送映像音声を一時蓄積して再生視聴する際にも、ネットワークを介して放送映像音声に関する関連情報の提供サービスが可能となる。

[第 5の実施の形態]

次に、本発明の第 5の実施の形態について説明する。本実施の形態では、放送音声に重畳されたフレーム I D等を利用することにより、放送画像フレームに正確に同期したサービスを実現する。

そのようなサービスとしては、例えば、テレビ放送を視聴中に、利用者が手元の視聴者装置上のポタンを押しておくと、ポタンが押された時点でテレビに映し出されていた映像の内容に関連する関連情報がネットワークを介して取得され、視聴者装置において利用できるといったサービスがある。

また、教育番組等の視聴中において、視聴者装置の表示装置には. 当該教育香組において説明に用いられるテキストブック等が表示され、番組の進行に合わせてページが捲られる、下線がひかれる、解説の対象となっている箇所を示すボイン夕一が表示される、等のァクションが発生するというようなサービスも可能である。

上述したようなサービスを実現するためには、視聴者装置が、任意の時点で、利用者が視聴している放送の内容を把握できる必要がある。すなわち、本実施の形態では、視聴者装置は、常に、利用者がテレビのどのチャンネルを視聴中であるか、現在、テレビにはどの映像が映っているか等の情報を、音声に重畳されたフレーム I D 等を利用して把握する。従って、例えば、視聴者装置においてボタンが押された時点で、視聴中の映像に関連する関連情報を取得するサービスにおいて、テレビに映っている映像シーンが切り替わってその内容が変わった時点で、瞬時に、取得対象となる関連情報を切り替えることができる。

なお、本実施の形態における "関連情報" の用語は、放送情報に関連するコンテンッを取得するための情報を指す場合に使用する他. 放送情報に関連するコンテンツ自身を指す場合についても使用する, 図 3 8は本発明の第 5の実施の形態における放送同期型サービス提供システム全体の構成の例を示す図であって、数字符号 5 0 0 1 は放送局、 5 0 0 2は送信手段、 5 0 0 3は信号付加手段、 5 0 0 4は映像、 5 0 0 5は音声、 5 0 0 6は放送、 5 0 0 7は放送受信装置、 5 0 0 8は映像 ·音声記録装置、 5 0 0 9は視聴者装置、 5 0 1 0はマイクロホン（M I C) 、 5 0 1 1はデータ信号抽出手段. 5 0 1 2は出力手段、 5 0 1 3は入力手段、 5 0 1 4はネットヮークへの接続線を表している。

同図に示す放送同期型サービス提供システムは、音声や映像を放送する放送局側において、少なくともチャネル I Dと、画像フレーム I D又は音声フレーム I Dの両者を含むデジタルデータ信号を放送波のアナログ音声波に重畳する信号付加手段 5 0 0 3を具備している。

音声波へのデータ信号の重畳は、例えば放送する映像のフレームレートが 3 0フレーム秒の場合、 1 / 3 0秒毎に逐次デ一夕信号を重畳する等の方法を採ることができる。このような、信号付加手段が音声にデータ信号を重畳する方法としては、例えば、データ八ィディング技術（日経エレクトロ二クス、 N o. 6 8 3 ( 1 9 9 7 ) 、 p p. 9 9〜： L 2 5、 1 4 9〜 1 6 2参照）を用いることができる。

音声信号にデータ信号を重畳する方法の例として、送信側で、 2 値化したデータ信号の " 0 " 、 " 1 " に対応させて音声信号の特定の周波数成分（帯域）を削除して送信し、受信側では、該音声信号から削除されている周波数成分を検出して 2値データ列を再生する方法や、送信側で、 2値化したデータ信号の " 0 " 、 " 1 " に対応させた特定の周波数成分を音声信号の帯域外で送信し、受信側では. 該音声信号の帯域外に付加されている周波数成分を検出して 2値デ —夕列を再生する方法等がある。

図 3 8において、放送受信側は、放送された音声及び映像を再生する放送受信装置と、前記放送受信装置 5 0 0 7と通信回線等の通信手段を有さない視聴者装置 5 0 0 9から構成されている。

図 3 9は視聴者装置の構成の例を示す図である。視聴者装置 5 0

0 9は、放送受信装置のスピーカより再生される放送情報の音声を集音するためのマイクロホン 5 0 1 0と、該マイクロホンより入力された音声から重畳されている信号を抽出し、チャネル I Dと画像フレーム I Dを確認するデ一夕信号抽出手段 5 0 1 1 と、ネットヮーク上の関連情報コンテンツ提供サーバと通信するための通信手段 5 0 1 5とを有する。

また、各処理に必要なデ一夕を記憶しておくための記憶手段 5 0 1 6と、利用時にネットワーク上のサーバから提供された関連情報等をユーザに表示するためのディスプレイ等の出力手段 5 0 1 2と, ユーザが端末の操作に必要な情報を入力するためのマウスやキーポ ―ドといった入力手段 5 0 1 3と、それらを制御するための制御手段 5 0 1 7とを有する。

本実施の形態における放送同期型サービス提供システムでは、図 3 9に示すように放送局側において、放送情報の音声に前述のようにデータ信号を重畳し、放送情報の映像とともに放送する。一方、視聴者装置は、図 3 9の中に示したデータ信号抽出手段（チャネル

1 Dと画像フレームの識別手段）により、放送情報のアナログ音声波に重畳されたデータ信号を抽出することによって、現在、ユーザが視聴している放送情報の状態、つまり、どの放送チャネルのどのような場面を見ているかを正確に把握することができる。

従って、前記視聴者装置は、ネットワーク上等に存在する前記放送情報に関連する関連情報を提供するサーバと通信することで、ュ —ザに対して放送同期型サービスを提供することができる。ここで. 前述したように、放送同期型サービスとは、例えば、視聴中の番組進行（実際には、音声や画像フレームの変化）に同期して変化する関連情報を逐次ユーザに提供する、あるいは、ユーザが興味を持つたシーンにおいてボタン等を押すことで前記シーンにおける関連情報をマークし、後で閲覧する、といったようなサービスをあげることができる。

更に、上述のシステムのうち放送受信装置に、放送情報が記録及び再生できる手段を接続し利用することによって、ユーザは今現在放送されている放送番組だけでなく、一度記録した放送番組に対して、いつでも自由に前述のようなサービスを利用することができる _t 以下に、本放送同期型サービス提供システムの動作について説明する。

図 4 0に第 5の実施の形態における実施例の構成図を示す。同図において数字符号 5 0 0 1は放送局、 5 0 0 7は放送受信装置、 5 0 0 8は映像 ·音声記録装置、 5 0 0 9は視聴者装置、 5 0 1 0はマイクロホン（M I C ) 、 5 0 1 1はデ一夕信号抽出手段、 5 0 1 8は出力デバイス、 5 0 1 9は入力デバイス、 5 0 1 4はネットヮ —クへの接続線、 5 0 2 0は放送情報デ一夕ベース、 5 0 2 1は放送情報関連情報付与装置、 5 0 2 2は放送情報データベース構築装置、 5 0 2 3 a〜 5 0 2 3 dは関連情報コンテンツ提供サーバ

( a ) 〜（ d ) を表している。

本発明の放送同期型サービス提供システムでは、製作された放送情報は番組として、一般ユーザに向け放送局側の放送手段により放送される。この際、前記放送情報のうち音声には、放送チャネルが一意に識別可能なチャネル I Dと画像フレームが一意に識別可能な画像フレーム I Dを含むデ一夕信号を信号付加手段により重畳する, 以上の処理を放送同期型サービスの対象とするすべての放送情報に対して行う。これによつて、前記サービスの対象となるすべての放送情報は重畳されたデータ信号を抽出することによって、現在、視聴している放送チャネルと画像フレームを一意に識別することができる。

一方、放送受信側においては、テレビ等の放送受信装置 5 0 0 7 を利用することで放送された放送情報を従来どおり視聴することができる。そして、ユーザは視聴者装置 5 0 0 9を起動させることによって放送同期型サービスを受けることができる。該視聴者装置 5 0 0 9は起動すると、放送受信装置 5 0 0 7のスピーカより出力される音声をマイクロホン 1 0で集音する。

集音した音声からデータ信号抽出手段によりチャネル I Dと画像フレーム I Dを確認する。このとき、確認されたチャネル I Dに基づき視聴者装置はネットワーク上に点在する各放送チャネルの放送情報毎に関連する関連情報コンテンツ提供サーバから、現在、視聴している放送チャネルの放送情報に関連する関連情報コンテンツ提供サーバを特定した後、ネットワークを介し前記関連情報コンテンッ提供サーバにアクセスし画像フレーム I Dを送信する。

関連情報コンテンツ提供サーバは、放送情報のデータベース構築装置 5 0 2 2や関連情報付加装置 5 0 2 1等によって構築された放送情報データベースを管理している。該放送情報データベースには. 各画像フレーム I Dに音声や映像や文字ゃサービス端末への実行命令といった各種の関連情報が関連付けられたテーブルが用意されており、画像フレーム I Dを指定することによって容易に関連する関連情報のセットを指定できる。

従って、関連情報コンテンツ提供サーバは、クライアントに当たるユーザ側の視聴者装置より送信された画像フレーム I Dの情報を受信することによって、今現在ユーザが視聴しているシーンを正確に把握できるので、シーンに応じた関連情報を前記視聴者装置に送信することができる。上述の操作を逐次繰り返すことによって、ュ一ザは現在視聴している放送情報に正確に同期した関連情報の提供を受けることができる。これによつて、放送同期型サービスを実現することができる。

また、本発明の放送同期型サービス提供方法では、上述の放送同期型サービス提供システムの動作を基本とし、更に、画像フレーム I Dの形式を指定することでユーザが、現在、視聴している放送情報を視聴者装置が把握する際の信頼性を向上させる。

図 4 1にはチャネル I Dと画像フレーム I Dを含むデ一夕構造を示す。チャネル I Dと画像フレーム I Dは上述したように放送チヤネルと画像フレームが一意に識別可能なものとするが、中でも画像フレ一ム I Dは時系列的に連続な数字とする。視聴者装置では前述のように放送受信装置のスピー力から再生された音声をマイクにより集音しデータ信号抽出手段によりチャネル I Dと画像フレーム I Dを逐次識別する。

図 4 2は前記二つの I Dを確認する際の実際の処理フローを示す, 視聴者装置は、起動されると "最後のチャネル I D " と "最後の画像フレーム I D " の二つの値を初期値にセットする。このときセッ卜する初期値は、例えば、 "最後のチャネル I D " の値であれば、前回、視聴し終了させる直前にみていたチャネル I D、もしくは、予め定めたチャネル I D等が考えられ、 "最後の画像フレーム I D " の値であれば、 " 0 " 等の値が考えられる。

前記視聴者装置は、音声から逐次データ信号を抽出しチャネル I Dと画像フレーム I Dの識別（ステップ S 1 ) を行うが、正確に前記二つの I Dが確認されたかどうかに基づき以下のような処理に従う。まず、チャネル I Dが正確に確認された場合は、前記チャネル I Dを現在再生されている放送チャネルのチャネル I Dとして利用し（ステップ S 2 ) 、音声からデータ信号が正しく抽出されず、チャネル I Dが確認されなかった場合には、 "最後のチャネル I D " の値を現在再生されている放送チャネルのチャネル I Dと見なし利用する（ステップ S 3 ) 。そして、現在のチャネルフレーム I Dを記録する（ステップ S 4 ) 。

一方、画像フレーム I Dの認識（ステップ S 5 ) については、正確に画像フレーム I Dが確認された場合は、チャネル I Dと同様に前記画像フレーム I Dを現在再生されている画像の画像フレーム I Dとして利用する（ステップ S 6 ) 。一方、確認されなかった場合には、前述したように画像フレーム I Dが時系列的に連続な数字であることから、 "最後の画像フレーム I D " の値に 1を加算した値を現在再生している画像の画像フレーム I Dと見なし利用する（ステツプ S 7 ) 。そして規在の画像フレーム I Dを記録する（ステツプ S 8 ) 。

チャネル I D、画像フレーム I Dともに現在の値として利用した後は、それぞれ、 "最後のチャネル I D " の値、 "最後の画像フレーム I D " の値にセットする（ステップ S 9 ) 。そして、次の区間の音声からデータ信号を抽出する（ステップ S 1 0 ) 。このようにして逐次行われる処理の流れにおいて常に最新に利用した値を保持し利用することができる。上記のように画像フレーム I Dを決定し. 処理フローに従うことによって、同一番組視聴中において音声からデ一夕信号が正しく抽出されなかった場合においても画像フレーム I Dを補間することができるからサービスの提供を維持できる。本放送同期型サービス提供方法をテレビ放送に適用した場合の具体的な実施例として、あるテレビ番組を例にとり説明する。このテレビ番組を放送する放送局にはあらかじめ音声にデータ信号を重畳する手段が具備されているものとし、前記放送局のチャンネル I D として " a " が与えられているものとし、画像フレーム Dは " 1 " から始まるものとする。また、ここでは視聴者装置起動後におけるデータ信号抽出手段の結果によるチャネル I Dと画像フレーム I Dの確認結果を図 4 3のように想定し、 "最後のチャネル I D" の値を格納する変数を "L A S T- CH- I D" 、 "最後の画像フレーム I D" の値を格納する変数を " L A S T— F R AME— I D" 、 "現在のチャネル I D" の値を格納する変数を "CH— I D" 、 "現在の画像フレーム I D" を格納する変数を "F RAME— I D" とする。

まず、このテレビ番組を視聴している際、視聴者装置を起動させると、初期値として例えば、 " L A S T— C H _ I D " には " z " . "LAS T- F RAME - I D" には " 0 " がセットされたとする < 次に、初めて前記サービス端末がデータ信号抽出手段を用いて識別を行った結果は図 4 3から、チャネル I Dは " a " 、画像フレーム I Dは " 1 0 0 0 " と正確に確認された（ s t e p l ) ことにより " C H— I D " に " a " 、 "F RAME - I D " に " 1 0 0 0 " がセットされ、更に、 " L A S T _ C H— I D " に " a " 、 "LAS T- F RAME - I D" に " 1 0 0 0 " がセットされる。

しかし、更に次のデータ信号抽出手段による結果では図 4 3から. チャネル I Dと画像フレーム I Dともに "不明" となっている（ s t e p 2 ) 。従って、前述した図 4 2の処理フローに従い、 "CH 一 I D" は " L A S T— C H— I D" を参照することで " a " を、 "F RAME— I D" は " LAS T— F RAME— I D" を参照し 1を足すことで " 1 0 0 1 " をセットし、それぞれの値を新しい " LAS T— CH— I D" 、 "LAS T— F RAME— I Dの値とする。

このような手順に従い図 4 3のデ一夕信号抽出処理結果に対して得られた各変数の値を図 44に示す。一方で、視聴者装置は処理フローの結果得られた "CH— I D" の値に基づき放送内容に関連する関連情報コンテンツ提供サーバにネットワークを介してアクセスし、逐次 "F RAME— I D" を送信する。関連情報コンテンツ提供サーバは受信した " F R A M E — I D " にあらかじめ関連付けられた、文字データ、音声データ、画像デー夕、あるいは関連情報の存在する U R L等をサービス端末に送信し. サービス端末で、それらのデータの表示、再生、描画をしたり、あるいは U R Lをブラウザで開いたりする。

例えば、番組内容が英会話であれば、放送情報中の人物の発音する文章に合わせて、テキストとして文字データが表示され、更に重要な文章には下線が引かれるといった関連情報の変化を例に挙げることができる。

なお、以上の説明では、テレビ放送のように映像と音声が同時に放送される場合について記述しているが、本発明は、音声と映像が同時に放送される場合だけではなく、ラジオのように音声のみの放送に対しても有効である。この場合は画像フレームが存在しないので、画像フレーム I Dの代わりに音声フレーム I Dを用いる。音声フレーム I Dは一定の時間刻みで区切られた音声の各区間に一意に割り当てられた識別子である。

また、これまでの説明では、テレビ受像機等の放送受信装置のスピー力からの音声出力を、視聴者装置がマイクロホンで受けて電気信号に変換し、該電気信号から画像フレーム I Dや音声フレーム I Dをデータ信号として抽出する構成について述べているが、テレビ受像機等の放送受信装置から音声電気信号が直接取り出せる場合には、マイクロホンを介在させることなく、直接該音声電気信号から重畳されているデータ信号を抽出する構成とすることもできる。なお、本実施の形態においても、視聴者情報や視聴者装置の端末情報に基づいて、視聴者及び視聴者装置毎に異なる関連情報を提供することが可能である。例えば、実施例 4— 2で説明した方法と同様にして、視聴者装置が関連情報コンテンッ提供サーバに関連情報を要求する際に、フレーム I D等と共に視聴者情報や端末情報を送信し、関連情報コンテンツ提供サーバでは、当該視聴者情報や端末情報に関連した関連情報を選択して視聴者装置に提供するようにすればよい。

(効果）

本実施の形態に係る発明によれば、テレビ受像機やラジオ等の放送受信装置と、デジタル信号通信を行うための通信回線等の通信手段を有さない視聴者装置においても、放送情報の音声に重畳されたデ一夕信号を抽出し、チャネル I Dと画像フレーム I Dや音声フレーム I Dを確認することによって、現在、視聴している放送チヤネルと画像フレームを認識することが可能となり、放送内容とネットワーク上等にある関連する情報コンテンツとの同期を正確にとることが必要なサービスを実現できる。

更に、放送情報の記録及び再生できる手段を接続することによつて、リアルタイムに視聴しない場合、つまり、あらかじめ放送音声映像を記録しておき自分の好きなときに視聴するように構成した系においても、前記手段により映像及び音声を再生することによって. 放送チャネルと画像フレームや音声フレーム I Dを認識することが可能となり、リアルタイムに視聴する際と同様なサービスの提供を受けることができる。

また、視聴者装置において、放送受信装置から再生された音声をマイクより集音する際、雑音等の影響によって、音声から正しくデ —タ信号を抽出することができず、画像フレーム I Dが一時的に確認できなかった場合においても、欠落した画像フレーム I Dや音声フレーム I Dを補間することができるので、同一放送番組視聴中において前述の放送情報と関連情報との正確な同期が必要なサービスの提供を途中で中断することなく維持し続けることができる。

すなわち、以上説明したように、本実施の形態によれば、放送映像視聴装置とは別に設けられ、放送受信装置から放送に多重されたデータ信号等を直接取得できる機能がない視聴者装置において、今現在、視聴中の放送番組内容の変化に正確に同期する関連情報のサ一ビスを提供することが可能となる。すなわち、ユーザが放送映像に合わせて操作しなくても、自動的に且つタイミングよく関連情報を更新することができ、放送同期型サービスの操作性を向上させることができる。

更に、本実施の形態の放送同期型サービス提供方法によれば、画像フレーム I Dを連続的な数字とすることにより、視聴者装置において、音声からの画像フレーム I Dの抽出に失敗しても、時間的な差分から画像フレーム I Dを補間し利用することができる。また、記録装置によって一度蓄積された記録映像であっても音声も同時に記録されていることを利用するとユーザの好みの時間に前述の放送同期型サービスの提供を受けることができる。

なお、上記各実施の形態における本発明の視聴者装置及び関連情報提供サーバ等は各々、 C P U、メモリ、ハードディスク、 C D— R O M等を有するコンピュータを用いて構成することができ、視聴者装置及び関連情報提供サーバ等の各々における機能は、各装置又はサーバに搭載されるプログラムによって実現することができる。当該プログラムは、 C D _ R〇 M等の記録媒体からコンピュータにインストールすることもできるし、ネットワークを介してコンビュ一夕にダウンロードする形態をとることもできる。

これまでに説明したように、本発明によれば、放送情報又は記録情報の視聴者がネットワークに接続されたサーバ等から当該放送情報又は記録情報に関連した情報又はコンテンツを容易に取得することができるようになる。

本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更 ·応用が可能である。

Claims

請求の範囲

1 . 視聴者装置と映像又は音声に関係したサービスを提供するコンテンッ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記サービスの提供を受けるための方法であって、

視聴者装置がサービス提供を要求する際に関連情報提供サーバに必要なサービス提供要求情報を送信して映像に関連する提供可能なサービスの情報を要求し、

関連情報提供サーバが前記サービス提供要求情報に基づいて視聴者装置に前記提供可能なサービスの情報を送信し、

視聴者装置が前記提供可能なサービスの情報を受信し、視聴者装置が前記提供可能なサービスの中から選択したサービスの提供をコンテンツ提供サーバに要求し、

前記コンテンッ提供サーバからサービスの提供を受けることを特徴とする方法。

2 . 前記方法は、視聴者装置が視聴者情報を記憶保持するステツプを更に有し、前記サービス提供要求情報は該視聴者情報を含む請求項 1に記載の方法。

3 . 放送を視聴する視聴者の視聴者装置と、放送に関連するコンテンッを提供するコンテンツ提供サーバとがネットワークを介して接続されるシステムであって、

前記視聴者装置は、

放送コンテンツに連動もしくは連携して、前記コンテンッ提供サ —バに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を要求する手段と、

前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備え、

前記コンテンツ提供サーバは、

前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手段と、

選別した提供可能なサービスの情報を前記視聴者装置へ送信する手段と、

前記視聴者装置からのサービスの要求を受信し、そのサ一ビスを要求元の視聴者装置へ送信する手段とを備える

ことを特徴とする放送連動 ·連携型コンテンツ送受信システム。

4 . 前記視聴者装置はイベント情報を受信する手段を更に有し、前記視聴者装置におけるサービスの情報を要求する手段は、該ィベント情報に基き視聴者が予め設定した夕イミングで自動的に要求を出す

ことを特徴とする請求項 3に記載の放送連動 ·連携型コンテンツ送受信システム。

5 . 前記コンテンツ提供サーバは、

前記視聴者装置からサービスの要求を受信したときに、当該コンテンッ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手段と、

推定又は検出したアクセス系の状態と前記視聴者装置の情報とをもとに、前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手段とを備える

ことを特徴とする請求項 3又は 4に記載の放送連動 ·連携型コンテンッ送受信システム。

6 . ネットワークを介して放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバに接続される、放送を視聴する視聴者の視聴者装置であって、

放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を、視聴者からの入力により又は予め設定された夕イミングで自動的に要求する手段と、

前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手段と、

可視化して表示されたサ一ビスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手段と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手段とを備える

ことを特徴とする視聴者装置。

7 . ネッ卜ワークを介して放送を視聴する視聴者の視聴者装置に接続される、放送に関連するコンテンツを提供する提供者のコンテンッ提供サーバであって、

推定又は検出したアクセス系の状態をもとに前記視聴者装置へ送信するサ一ビスに係るコンテンツを変換して最適化する手段と、最適化したコンテンツを要求元の視聴者装置へ送信し、サービスを提供する手段とを備えることを特徴とするコンテンツ提供サーバ。

8 . ネットワークを介して放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバに接続される、放送を視聴する視聴者の視聴者装置に処理を実行させるプログラムを記録したコンビュ一夕読み取り可能な記録媒体であって、視聴者装置に、

放送コンテンツに連動もしくは連携して、前記コンテンツ提供サーバに対し、サービス提供を要求する際に必要な情報を送信して放送コンテンツに関連する提供可能なサービスの情報を、視聴者からの入力により又は予め設定された夕イミングで自動的に要求する手順と、

前記コンテンツ提供サーバから受信した提供可能なサービスの情報を選択可能な形態で可視化して表示する手順と、

可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手順と、前記サービスの要求に対し前記コンテンツ提供サーバが提供するサービスを受信して利用する手順と

を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

9 . ネッ卜ワークを介して放送を視聴する視聴者の視聴者装置に接続される、放送に関連するコンテンツを提供する提供者のコンテンッ提供サーバに処理を実行させるプログラムを記録したコンビュ一夕読み取り可能な記録媒体であって、コンテンッ提供サーバに前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手順と、

選別した提供可能なサービスの情報を前記視聴者装置へ送信する手順と、

前記視聴者装置からサービスの要求を受信したときに、当該コンテンッ提供サーバと視聴者装置間のアクセス系の状態を推定又は検出する手順と、

推定又は検出したアクセス系の状態をもとに前記視聴者装置へ送信するサービスに係るコンテンツを変換して最適化する手順と、最適化したコンテンツを要求元の視聴者装置へ送信し、サービスを提供する手順と

を実行させるプログラムを記録したコンビユー夕読み取り可能な記録媒体。

1 0 . ネットワークを介して放送に関連するコンテンツを提供する提供者のコンテンツ提供サーバに接続される、放送を視聴する視聴者の視聴者装置に処理を実行させるプログラムであって、視聴者装置に、

可視化して表示されたサービスの情報からサービスを選択して前記コンテンツ提供サーバに対しサービスを要求する手順と、前記サービスの要求に対し前記コンテンッ提供サーバが提供するサービスを受信して利用する手順と

を実行させるプログラム。

1 1 . ネットワークを介して放送を視聴する視聴者の視聴者装置に接続される、放送に関連するコンテンツを提供する提供者のコンテンッ提供サーバに処理を実行させるプログラムであって、コンテンッ提供サーバに

前記視聴者装置から受信した提供可能なサービスの情報の要求に対し、前記視聴者装置の情報をもとに提供可能なサービスを選別する手順と、

を実行させるプログラム。

1 2 . 視聴者装置と映像又は音声に関係したコンテンツ情報を提供するコンテンッ提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記コンテンツ情報を取得するための方法であって、

視聴者装置が前記コンテンッ情報を取得するために必要な関連情報を入手し、

前記コンテンツ提供サーバに関連情報を送信して前記コンテンツ情報の送信を要求し、

前記コンテンツ提供サーバから送信される前記コンテンツ情報を取得することを特徴とする方法。

1 3 . 前記視聴者装置は、映像と共に放送される関連情報、あるいは映像と共に記録されている関連情報を、視聴者装置が前記映像から分離することによって前記関連情報を入手し、

該関連情報は、映像中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報を含むことを特徴とする請求項 1 2に記載の方法。

1 4 . 少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する視聴者装置であって、前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含み、

前記視聴者装置は、

前記放送情報を受信する放送受信部と、映像表示部と、映像表示制御部と、第 1のポインティング手段と、被写体関連情報表示部と. 関連情報表示制御部と、第 2のポインティング手段と、被写体属性情報蓄積部と、関連情報アクセス部と、関連情報蓄積部とを備え、前記映像表示制御部は、前記放送受信部が受信した前記放送情報の中の映像情報を前記映像表示部に表示し、前記映像表示部において表示された複数の被写体の中で前記第 1のボインティング手段によりポインティングされた被写体を識別し、

前記関連情報表示制御部は、前記映像表示制御部が識別した被写体を代表する文字、記号又は図形を前記被写体関連情報表示部に表示するとともに、前記被写体関連情報表示部において前記第 2のポインティング手段によりボインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報を識別し、その情報資源識別情報を前記関連情報アクセス部に送り、

前記関連情報アクセス部は、前記情報資源識別情報に対応して前記関連情報蓄積部又は通信網に接続された情報源にアクセスしてコンテンッ情報を入手し、

前記関連情報表示制御部は、前記関連情報アクセス部によって入手したコンテンツ情報を前記被写体関連情報表示部に表示する

ことを特徴とする視聴者装置。

1 5 . 前記視聴者装置は更に興味情報抽出部を備え、

前記関連情報表示制御部が、前記第 2のボインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と、前記情報源から入手したコンテンツ情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを前記興味情報抽出部に送信し、

前記興味情報抽出部は、前記情報資源識別情報、前記被写体属性情報、前記コンテンツ情報、前記表示時間情報のうちいずれか複数もしくは全てを参照し興味情報を作成して保持するとともに、前記放送情報を受信した時刻とは異なる時刻に前記放送受信部から受信した放送情報を、当該興味情報に基づいて選択する

ことを特徴とする請求項 1 4に記載の視聴者装置。

1 6 . 前記視聴者装置において、

映像蓄積部を具備し、前記興味情報抽出部によって選択された放送情報を該映像蓄積部に蓄積する

ことを特徴とする請求項 1 5に記載の視聴者装置。

1 7 . 前記視聴者装置において、

前記関連情報表示制御部は、前記第 2のボインティング手段又は他の入力手段により前記被写体関連情報表示部に表示されている被写体を代表する文字、記号又は図形を移動又は削除する手段を持ち, 前記被写体を代表する文字、記号又は図形の移動又は削除の操作が発生した場合に、当該操作の内容を示す操作情報を前記興味情報抽出部に送信し、

前記興味情報抽出部は、前記操作情報に基づいて前記興味情報を更新する

ことを特徴とする請求項 1 5又は 1 6に記載の視聴者装置。

1 8 . 前記視聴者装置において、

前記関連情報は、前記映像情報中に含まれている複数の被写体の各々に対応づけられ、前記映像表示部において表示される際の被写体座標値を含み、

該被写体座標値の点を含む領域を前記第 1のポインティング手段がポインティングすることにより被写体を識別する

ことを特徴とする請求項 1 4ないし 1 7のうちいずれか 1項に記載の視聴者装置。

1 9 . 少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を送受信する放送情報送受信システムであって、

前記放送情報中の関連情報として、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含む放送情報を送信する放送局と、前記放送情報を受信する視聴者装置とを有し、該視聴者装置は、

前記関連情報表示制御部は、前記映像表示制御部が識別した被写体を代表する文字、記号又は図形を前記被写体関連情報表示部に表示するとともに、前記被写体関連情報表示部において前記第 2のポインティング手段によりポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報を識別し、その情報資源識別情報を前記関連情報アクセス部に送り、

ことを特徴とする放送情報送受信システム。

2 0 . 前記視聴者装置は更に興味情報抽出部を備え、

ことを特徴とする請求項 1 9に記載の放送情報送受信システム。

2 1 . 少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する放送情報受信視聴方法であつて、

前記放送情報中の関連情報として、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含む放送情報を受信し、

受信した放送情報中の映像情報を映像表示部に表示し、表示された映像情報中に含まれている複数の被写体のいずれかに対するボインティング繰作情報を入力し、

ボインティングされた被写体を識別し、識別した被写体を代表する文字、記号又は図形を被写体関連情報表示部に表示し、

表示された被写体を代表する文字、記号又は図形のいずれかに対するポインティング操作情報を入力し、

ポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報に基づいて情報源にアクセスしてコンテンッ情報を入手し、

入手したコンテンツ情報を被写体関連情報表示部に表示することを特徴とする放送情報受信視聴方法。

2 2 . 前記放送情報受信視聴方法において、

前記ポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と、情報源から入手した前記関連情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを参照して視聴者の興味情報を作成し保持し、前記放送情報を受信した時刻とは異なる時刻に受信した放送情報を、前記興味情報に基づいて選択する

ことを特徴とする請求項 2 1に記載の放送情報受信視聴方法。

2 3 . 少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、

前記放送情報中の関連情報として、前記映像情報中に含まれている複数の被写体の各々に対応して、少なくとも一つの情報資源識別情報と、被写体を説明する被写体属性情報とを含む放送情報を受信する手順と、

受信した放送情報中の映像情報を映像表示部に表示する手順と、表示された映像情報中に含まれている複数の被写体のいずれかに対するボインティング繰作情報を入力する手順と、

ポインティングされた被写体を識別し、識別した被写体を代表する文字、記号又は図形を被写体関連情報表示部に表示する手順と、表示された被写体を代表する文字、記号又は図形のいずれかに対するボインティング操作情報を入力する手順と、

ポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報に基づいて情報源にアクセスしてコンテンッ情報を入手する手順と、

入手したコンテンツ情報を被写体関連情報表示部に表示する手順と

2 4 . 前記ポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と情報源から入手した前記コンテンツ情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを参照して視聴者の興味情報を作成し保持する手順と、

前記放送情報を受信した時刻とは異なる時刻に受信した放送情報を、前記興味情報に基づいて選択する手順と

を更に実行させる請求項 2 3に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

2 5 . 少なくとも映像を含む映像情報と、該映像情報に関連した関連情報とを含む放送情報を受信する処理をコンピュータに実行させるプログラムであって、コンピュータに、

ポインティングされた被写体を識別し、識別した被写体を代表する文字、記号又は図形を被写体関連情報表示部に表示する手順と、表示された被写体を代表する文字、記号又は図形のいずれかに対するボインティング操作情報を入力する手順と、ポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報に基づいて情報源にアクセスしてコンテンッ情報を入手する手順と、

を実行させるプログラム。

2 6 . 前記ポインティングされた文字、記号又は図形によって代表される被写体に対応する情報資源識別情報と、被写体属性情報と、情報源から入手した前記コンテンツ情報と、前記コンテンツ情報が被写体関連情報表示部に表示された時間に関する表示時間情報のうちのいずれか複数もしくは全てを参照して視聴者の興味情報を作成し保持する手順と、

を更に実行させる請求項 2 5に記載のプログラム。

2 7 . 前記システムは関連情報提供サーバを含み、

該関連情報提供サーバが映像の放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応した動作を指定するァクションテーブルを構成し、

関連情報提供サーバが視聴者装置ヘアクションテーブルを送信し視聴者装置が関連情報提供サーバからァクションテーブルを受信し、

視聴者装置が発生したイベントからィベント識別子を導出して、受信した前記ァクションテーブルを用いて前記ィベント識別子に対応した動作を行うことによって、前記コンテンツ情報を取得するために必要な関連情報を入手することを特徴とする請求項 1 2に記載の方法。

2 8 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有する放送コンテンツと同期するィベントを処理するシステムであって、

前記サーバは、前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを構成するァクションテーブル構成手段と、該ァクションテーブルを前記視聴者装置へ送信するァクションテープル提供手段とを有し、

前記視聴者装置は、発生したィベン卜からィベント識別子を導出するイベント管理手段と、前記サーバから受信した前記アクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記ィべント識別子に対応するァクション内容情報を導出するァクションテ —ブル管理手段と、該ァクション内容情報を実行するァクション実行手段とを有する

ことを特徴とするシステム。

2 9 . 前記視聴者装置の前記ァクションテーブル管理手段は、前記ィベント管理手段で導出された前記ィベント識別子を前記サ一バへ送信し、

前記サーバは、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し，前記サーバの前記ァクションテーブル構成手段は、前記視聴者装置毎に管理された前記ィベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成することを特徴とする請求項 2 8に記載のシステム。

3 0 . 前記視聴者装置の前記アクションテーブル管理手段は、現在参照しているァクションテ一ブルの有効期間が終了すると共に、次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求することを特徴とする請求項 2 8又は 2 9に記載のシステム。

3 1 . 前記サーバの前記アクションテーブル提供手段は、前記ァクションテ一ブル構成手段が新しいァクションテーブルを構成すると直ぐに、複数の前記視聴者装置へ該新しいァクションテーブルを能動的に配信することを特徴とする請求項 2 8又は 2 9に記載のシステム。

3 2 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集し、放送コンテンッと同期するイベントを処理するサーバであって、

前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテ一ブルを構成するァクションテーブル構成手段と、

該ァクションテーブルを視聴者装置へ送信するァクションテ一ブル提供手段と

を有することを特徴とするサーバ。

3 3 . 前記視聴者装置から受信したィベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手段を更に有し、

前記ァクションテ一ブル構成手段は、前記視聴者装置毎に管理された前記ィベン卜識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成する請求項 3 2に記載のサーバ。

3 4 . 前記アクションテーブル提供手段は、前記アクションテ一ブル構成手段が新しいァクションテーブルが構成されると直ぐに、複数の前記視聴者装置へ該新しいァクションテーブルを能動的に配信する請求項 3 2又は 3 3に記載のサーバ。

3 5 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置であって、

前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテ一ブルを前記サーバから受信する手段と、

発生したイベントからィベント識別子を導出するイベント管理手段と、

前記ァクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記ィベント識別子に対応するァクション内容情報を導出するァクションテーブル管理手段と、

該ァクション内容情報を実行するァクション実行手段と、前記イベント識別子を前記サーバへ送信する手段と

を有することを特徴とする視聴者装置。

3 6 . 前記アクションテーブル管理手段は、現在参照しているァクションテーブルの有効期間が終了すると共に、次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求する手段を有する請求項 3 5に記載の視聴者装置。

3 7 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムで用いられる放送コンテンッと同期するイベントを処理する方法であって、

前記サーバが、前記放送コンテンッの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを構成する第 1の段階と、

前記サーバが、前記アクションテーブルを前記視聴者装置へ送信する第 2の段階と、

前記視聴者装置が、発生したイベントからィベント識別子を導出する第 3の段階と、

前記視聴者装置が、前記サーバから受信した前記ァクションテーブルを用いて前記ィベント識別子に対応するァクション内容情報を導出する第 4の段階と、

前記視聴者装置が、前記ァクション内容情報を実行する第 5の段階とを有し、

前記視聴者装置は、前記サーバから受信した前記アクションテ一ブルをその有効期間だけ参照する

ことを特徴とする方法。

3 8 . 前記第 3の段階は、前記視聴者装置が導出した前記ィベント識別子を前記サーバへ送信し、

前記サーバが、前記視聴者装置から受信した前記イベント識別子を前記視聴者装置毎に管理する第 6の段階を更に有し、

前記第 1の段階は、前記サーバが、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成することを特徴とする請求項 3 7に記載の方法 < 3 9 . 前記視聴者装置は、現在参照しているアクションテーブルの有効期間が終了すると共に、次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求する段階を更に有することを特徴とする請求項 3 7又は 3 8に記載の方法。

4 0 . 前記サーバが、前記第 1の段階で新しいアクションテ一ブルを構成すると直ぐに、複数の前記視聴者装置へ該新しいァクションテーブルを能動的に配信する段階を有することを特徴とする請求項 3 7又は 3 8に記載の方法。

4 1 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集し、放送コンテンツと同期するイベントを処理するサーバを制御するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、サーバに、

前記放送コンテンツの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテ一ブルを構成するァクションテーブル構成手順と、

該ァクションテーブルを視聴者装置へ送信するァクションテープル提供手順と

4 2 . 前記視聴者装置から受信したィベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手順を更に実行させ、前記ァクションテーブル構成手順により、前記視聴者装置毎に管理された前記イベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成する請求項 4 1に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

4 3 . 前記アクションテーブル提供手順は、前記アクションテ一ブル構成手順により新しいァクションテーブルが構成されると直ぐに、複数の前記視聴者装置へ該新しいアクションテーブルを能動的に配信する請求項 4 1又は 4 2に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

4 4 · 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置を制御するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、視聴者装置に、

前記放送コンテンッの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテ一ブルをサーバから受信する手順と、

発生したイベントからィベント識別子を導出するィベント管理手順と、

前記ァクションテーブルをその有効期間だけ参照し、該テ一ブルを用いて前記ィベント識別子に対応するァクション内容情報を導出するァクションテ一ブル管理手順と、

該ァクション内容情報を実行するァクション実行手順と、前記イベント識別子を前記サーバへ送信する手順と

4 5 . 前記アクションテーブル管理手順は、現在参照しているァクションテ一ブルの有効期間が終了すると共に、次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求する手順を有する請求項 4 4に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

4 6 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集し、放送コンテンッと同期するィベントを処理するサーバを制御するプログラムであって、サーバに、前記放送コンテンッの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルを構成するァクションテーブル構成手順と、

を実行させるプログラム。

4 7 . 前記視聴者装置から受信したイベント識別子を前記視聴者装置毎に管理する視聴者装置情報管理手順を更に実行させ、前記アクションテ一ブル構成手順により、前記視聴者装置毎に管理された前記ィベント識別子に基づいて、前記視聴者装置毎に前記ァクションテーブルを構成する請求項 4 6に記載のプログラム。 4 8 . 前記アクションテーブル提供手順は、前記アクションテーブル構成手順により新しいアクションテーブルが構成されると直ぐに、複数の前記視聴者装置へ該新しいァクションテーブルを能動的に配信する請求項 4 6又は 4 7に記載のプログラム。

4 9 . 放送局又は放送情報蓄積サーバから送信される放送コンテンッに関する情報を収集するサーバと、該サーバとネットワークを介して通信する視聴者装置とを有するシステムにおける視聴者装置を制御するプログラムであって、視聴者装置に、

前記放送コンテンッの放送時間と同期して指定される有効期間毎に、有効なイベントを示すイベント識別子、及びそれに対応して実行される処理を示すァクション内容情報を指定するァクションテーブルをサーバから受信する手順と、

前記ァクションテーブルをその有効期間だけ参照し、該テーブルを用いて前記イベント識別子に対応するァクション内容情報を導出するァクションテーブル管理手順と、

を実行させるプログラム。

5 0 . 前記アクションテーブル管理手順は、現在参照しているァクシヨンテーブルの有効期間が終了すると共に、次の有効期間に相当するァクションテーブルを参照することができるように、予め先の有効期間のァクションテーブルを前記サーバへ要求する手順を有する請求項 4 9に記載のプログラム。

5 1 . 視聴者装置と、放送情報に関連する情報である関連情報を提供する関連情報提供サーバとがネットワークを介して接続されたシステムにおいて、視聴者装置が前記関連情報を取得するための方法であって、

視聴者装置が、前記放送情報から抽出した所定の情報を関連情報提供サーバに送信し、関連情報提供サーバが、該所定の情報を用いて該放送情報に関連する関連情報を取得し、前記視聴者装置に送信する

ことを特徴とする方法。

5 2 . 更に前記関連情報提供サーバは該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、

視聴者装置は前記所定の情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信する請求項 5 1に記載の方法。

5 3 . 前記システムは関連情報提供サーバを含み、

該関連情報提供サーバのデータベースに映像とその関連情報を記録し、

視聴者装置が映像又は該映像を変換して得られた特徴量情報である部分映像情報を関連情報提供サーバに送信し、

関連情報提供サーバが受信した映像又は部分映像情報によって前記データベースを検索し、その結果取得された関連情報を視聴者装置に送信し、

視聴者装置が前記コンテンツ情報を取得するために必要な関連情報を入手することを特徴とする請求項 1 2に記載の方法。

5 4 . 更に前記関連情報のデ一夕ベースに該関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を記録し、

視聴者装置は前記部分映像情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を取得した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者装置に送信することを特徴とする請求項 5 3記載の方法。

5 5 . 放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法であって、

放送情報を放送情報データベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、

視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徵量情報である部分放送情報に対応する放送情報を前記放送情報デ一夕ベースより検索し、更に該放送情報で前記関連情報データべ一スを検索することにより、該放送情報の関連情報を取得し、視聴者に提供する関連情報提供方法。

5 6 . 蓄積された放送情報に関連する情報である関連情報を取得し、視聴者に提供する関連情報提供方法であって、

放送情報を放送情報デ一夕ベースに蓄積しておき、各放送情報の関連情報を関連情報データベースに蓄積しておき、

視聴者が再生視聴中の、放送情報蓄積装置に蓄積された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報に対応する放送情報を前記放送情報データベースより検索し、更に該放送情報で前記関連情報データベースを検索することにより、該放送情報の関連情報を取得し、視聴者に提供する関連情報提供方法, 5 7 . 前記部分放送情報は、視聴者による関連情報取得指示が入力された時点を含む一定期間に視聴された放送情報又は該放送情報を変換して得られた特徴量情報である請求項 5 5又は 5 6に記載の関連情報提供方法。

5 8 . 前記放送情報データベースは各放送情報を、当該放送情報を識別するための情報である放送情報識別情報で管理し、前記関連情報データベースは前記放送識別情報と、当該放送情報に対応する関連情報を対応させて管理し、前記放送情報データベースを検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定し、前記関連情報データベースを参照し前記放送情報識別情報に対応する関連情報を得、視聴者に提供する、請求項 5 5又は 5 6に記載の関連情報提供方法。

5 9 . 前記関連情報データベースは、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理し、関連情報を特定した後、前記視聴者固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供する、請求項

5 5ないし 5 8のうちいずれか 1項に記載の関連情報提供方法。

6 0 . 映像音声を含む放送情報を受信し、視聴者に提供する手段と、視聴者の関連情報取得指示により該指示が入力された時点で前記視聴者が視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を所定のネットワークを介して送信しまた前記ネットワークを介して送信されてきた関連情報を取得する手段を有する 1台以上の視聴者装置と、

前記ネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、前記放送情報データベースに蓄積されている放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する関連情報データベースと、前記視聴者装置が送信した前記部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、前記関連情報データベースを照し、前記特定された放送情報識別情報に対応する関連情報を得. 前記視聴者装置に送信する手段を含む関連情報提供サーバと

を有する関連情報提供機能付放送受信システム。

6 1 . 前記視聴者装置は、前記放送情報を蓄積する手段と、蓄積されている放送情報を再生視聴する手段と、視聴者の関連情報取得指示により、

該指示が入力された時点で再生視聴中の、蓄積されている放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワークを介して送信し、また前記ネットワークを介して送信されてきた関連情報を取得する手段を更に有する請求項 6 0に記載のシステム。

6 2 . 前記部分放送情報は、前記関連情報取得指示が入力された時点を含む一定期間に視聴された放送情報又は該放送情報を変換して得られた特徴量情報である請求項 6 0又は 6 1に記載のシステム 6 3 . 前記関連情報デ一夕ベースは、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理し、前記関連情報提供サーバは、関連情報を特定した後、前記視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供する手段を更に有する請求項 6 0ないし 6 2のうちいずれか 1項に記載のシステム。

6 4 . 放送情報を受信する放送受信手段と、

前記放送受信手段で受信された放送情報を復調復号する放送情報復調復号手段と、

関連情報取得指示を含む各種指示を視聴者が入力するための入力手段と、

所定のネットワークを介して、各放送情報に対応する関連情報を蓄積している関連情報提供サーバと通信するためのネットワーク通信手段と、

前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で前記放送情報復調復号手段より出力された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信し、その後前記ネットワークを介して前記関連情報提供サーバから送信されてきた、前記部分放送情報に対応する関連情報を前記ネットヮーク通信手段を介して受け取る関連情報取得手段と、前記放送情報復調復号手段から出力された放送情報および前記関連情報取得手段で受け取られた関連情報を表示再生する表示再生手段と

を有する視聴者装置。

6 5 . 前記放送情報復調復号手段から出力された放送情報を蓄積する放送情報蓄積手段を更に有し、

前記関連情報取得手段は、視聴者が前記放送情報蓄積手段に蓄積されている放送情報を再生視聴中に、前記入力手段より関連情報取得指示が入力されると、該指示が入力された時点で再生視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手段を介して前記ネットワークに送信する請求項 6 4に記載の視聴者装置。

6 6 . 前記視聴者装置は、前記部分映像情報に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信する手段を有する請求項 6 4又は 6 5に記載の視聴者装置。 6 7 . 前記関連情報は、放送情報に関連した情報を特定し、該情報にアクセスするために必要なァドレス情報を含み、前記関連情報取得手段より前記ァドレス情報を取得し、該ァドレス情報で指定される情報提供サーバにアクセスし、関連情報を取得し、前記表示再生手段により表示する情報アクセス · 閲覧手段を更に有する請求項 6 4又は 6 5に記載の視聴者装置。

6 8 . ブックマーク用ポタンを更に有し、視聴者が前記ブックマーク用ポタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、前記関連情報取得手段は、視聴者が関連情報取得指示を入力した時点で前記関連情報提供サーバにアクセスし、前記メモリに蓄積された部分放送情報を前記関連情報提供サーバに通知する請求項 6 4ないし 6 7のうちいずれか 1項に記載の視聴者装置。

6 9 . 所定のネットワークに接続され、各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する放送情報データベースと、

前記放送情報データベースに蓄積されている放送情報識別情報と. 当該放送情報に対応する関連情報を対応させて管理する関連情報デ —夕べ一スと、

視聴者装置が前記ネットワークを介して送信した部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手段と、

前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手段を有し、

前記部分放送情報は、視聴者が任意の時点に視聴中の放送情報又は再生視聴中の、放送情報蓄積装置に蓄積された放送情報又はこれら放送情報を変換して得られた特徴量情報である関連情報提供サーバ。

7 0 . 前記関連情報データベースは、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理し、前記関連情報提供サーバは、関連情報を特定した後、前記視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供する手段を更に有する請求項 6 9に記載の関連情報提供サーバ。

7 1 . 放送情報に関連する関連情報を取得する処理をコンビユー夕に実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、

放送情報を受信する放送受信手順と、

前記放送受信手順により受信された放送情報を復調復号する放送情報復調復号手順と、関連情報取得指示を含む各種指示を視聴者が入力するための入力手順と、

所定のネットワークを介して、各放送情報に対応する関連情報を蓄積している関連情報提供サーバと通信するためのネットワーク通信手順と、

前記入力手順により関連情報取得指示が入力されると、該指示が入力された時点で前記放送情報復調復号手順により出力された放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手順を用いて前記ネットワークに送信し、その後前記ネットワークを介して前記関連情報提供サーバから送信されてきた、前記部分放送情報に対応する関連情報を前記ネットワーク通信手順を用いて受け取る関連情報取得手順と、

前記放送情報復調復号手順により出力された放送情報および前記関連情報取得手順により受け取られた関連情報を表示再生する表示再生手順と

7 2 . 前記放送情報復調復号手順により出力された放送情報を蓄積する放送情報蓄積手順を更に実行させ、

前記関連情報取得手順により、視聴者が前記放送情報蓄積手順のよって蓄積されている放送情報を再生視聴中に、前記入力手順を用いて関連情報取得指示が入力されると、該指示が入力された時点で再生視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手順を用いて前記ネットワークに送信する請求項 7 1に記載のプログラムを記録したコンピュー夕読み取り可能な記録媒体

7 3 . 前記コンピュータに、前記部分映像情報に加えて視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信する手順を更に実行させる請求項 7 1又は 7 2に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

7 4 . 前記関連情報は、放送情報に関連した情報を特定し、該情報にアクセスするために必要なァドレス情報を含み、前記関連情報取得手順により前記ァドレス情報を取得し、該ァドレス情報で指定される関連情報提供サーバにアクセスし、関連情報を取得し、前記表示再生手順により表示する情報アクセス ·閲覧手順を更に実行させる請求項 7 1又は 7 2に記載のプログラムを記録したコンビユー夕読み取り可能な記録媒体。

7 5 . ブックマーク用ボタンを表示させる手順を更に実行させ、視聴者が前記ブックマーク用ポタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、前記関連情報取得手順は. 視聴者が関連情報取得指示を入力した時点で前記関連情報提供サーバにアクセスし、前記メモリに蓄積された部分放送情報を前記関連情報提供サーバに通知する手順を実行させる請求項 7 1ないし 7 4 のうちいずれか 1項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

7 6 . 放送情報に関連する関連情報を提供する処理をコンビユー夕に実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、

各放送情報を、当該放送情報を識別するための情報である放送情報識別情報に対応させて管理する手順と、

前記放送情報識別情報と、当該放送情報に対応する関連情報を対応させて管理する手順と、

視聴者装置が前記ネットワークを介して送信した部分放送情報と対応する放送情報を前記放送情報データベース中より検索することにより前記部分放送情報に対応する放送情報の放送情報識別情報を特定する手順と、

前記関連情報データベースを参照し、前記特定された放送情報識別情報に対応する関連情報を得、前記視聴者装置に送信する手順とを実行させ、

前記部分放送情報は、視聴者が任意の時点に視聴中の放送情報又は再生視聴中の、放送情報蓄積装置に蓄積された放送情報又はこれら放送情報を変換して得られた特徴量情報である

プログラムを記録したコンピュータ読み取り可能な記録媒体。 7 7 . 前記関連情報データベースにおいて、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理する手順と、

関連情報を特定した後、前記視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供する手順を更に実行させる請求項 7 6に記載のプログラムを記録したコンビユー夕読み取り可能な記録媒体。

7 8 . 放送情報に関連する関連情報を取得する処理をコンピュー夕に実行させるプログラムであって、コンピュータに、

放送情報を受信する放送受信手順と、

前記放送受信手順で受信された放送情報を復調復号する放送情報復調復号手順と、

関連情報取得指示を含む各種指示を視聴者が入力するための入力手順と、

を実行させるプログラム。

7 9 . 前記放送情報復調復号手順により出力された放送情報を蓄積する放送情報蓄積手順を更に実行させ、

前記関連情報取得手順により、視聴者が前記放送情報蓄積手順によって蓄積されている放送情報を再生視聴中に、前記入力手順により関連情報取得指示が入力されると、該指示が入力された時点で再生視聴中の放送情報又は該放送情報を変換して得られた特徴量情報である部分放送情報を前記ネットワーク通信手順を用いて前記ネットワークに送信する請求項 7 8に記載のプログラム。

8 0 . 前記コンピュータに、前記部分映像情報に加えて視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信する手順を更に実行させる請求項 7 8又は 7 9に記載のプログラム。

8 1 . 前記関連情報は、放送情報に関連した情報を特定し、該情報にアクセスするために必要なァドレス情報を含み、前記関連情報取得手順により前記ァドレス情報を取得し、該ァドレス情報で指定される情報提供サーバにアクセスし、関連情報を取得し、前記表示再生手順により表示する情報アクセス · 閲覧手順を更に実行させる請求項 7 8又は 7 9に記載のプログラム。

8 2 . ブックマーク用ポタンを表示させる手順を更に実行させ、視聴者が前記ブックマーク用ポタンを操作しブックマークした時点の部分放送情報をメモリに蓄積しておき、前記関連情報取得手順は, 視聴者が関連情報取得指示を入力した時点で前記関連情報提供サーバにアクセスし、前記メモリに蓄積された部分放送情報を前記関連情報提供サーバに通知する手順を実行させる請求項 7 8ないし 8 1 のうちいずれか 1項に記載のプログラム。

8 3 . 放送情報に関連する関連情報を提供する処理をコンピュー夕に実行させるプログラムであって、コンピュータに、

前記部分放送情報は、視聴者が任意の時点に視聴中の放送情報又は再生視聴中の、放送情報蓄積装置に蓄積された放送情報又はこれら放送情報を変換して得られた特徴量情報であるプログラム。

8 4 . 前記関連情報データベースにおいて、前記関連情報に加えてその提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を管理する手順と、

関連情報を特定した後、前記視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し、視聴者に提供する手順を更に実行させる請求項 8 3に記載のプログラム。

8 5 . 放送局又は放送情報蓄積サーバが、所定のデータ信号を音声に重畳して送信し、

放送受信装置がスピー力より放送音声を出力し、

視聴者装置が該放送音声をマイクロホンで集音して電気信号に変換し、該電気信号に重畳されている前記データ信号を逐次連続的に抽出して、該データ信号を用いて関連情報を入手することを特徴とする請求項 1 2に記載の方法。

8 6 . 前記システムは関連情報提供サーバを含み、

前記視聴者装置が前記データ信号を関連情報提供サーバに送信し関連情報提供サーバが受信した該データ信号を用いて関連情報を取得し、該関連情報を視聴者装置に送信し、

視聴者装置が該関連情報を入手する

ことを特徴とする請求項 8 5に記載の方法。

8 7 . 更に前記関連情報提供サーバは前記関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を格納し、

視聴者装置は前記データ信号に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、該関連情報提供サーバは、関連情報を特定した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し, 視聴者装置に送信すること

を特徴とする請求項 8 6に記載の方法。

8 8 . 音声又は音声と映像を送信する放送局又は放送情報蓄積サ —バ側が、

音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号を重畳して送信し、

受信側において、視聴者装置が、

放送受信装置のスピー力より出力される放送音声をマイクロホンで集音して電気信号に変換し、

該電気信号に重畳されている前記データ信号を逐次、連続的に抽出して、

該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出し、

これらのチャネル識別子及び、画像フレーム識別子又は音声フレ —ム識別子に対応する関連情報をネットワークを介して取得することを特徴とする放送同期型サービス提供方法。

8 9 . 放送局又は放送情報蓄積サーバ側が、画像フレーム識別子又は音声フレーム識別子を、時系列に連続する数字として送信し、視聴者装置が、放送受信装置のスピー力より出力された音声から該音声に重畳されているデータ信号を、逐次、連続的に抽出する際に、

音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い. 音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いる請求項 8 8に記載の放送同期型サ一ビス提供方法。

9 0 . 視聴者装置がネットワークから取得する関連情報は、該ネットワークに接続されている関連情報提供サーバが管理する放送情報デ一夕ベースに、チャネル識別子及び画像フレーム識別子又は音声フレーム識別子と対応付けて保持されている関連情報を、前記関連情報提供サーバを経由して得るものである請求項 8 8又は 8 9に記載の放送同期型サービス提供方法。

9 1 . 更に前記放送情報データベースに前記関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を保持し、視聴者装置は前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、

該関連情報提供サーバは、関連情報を特定した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し視聴者装置に送信する請求項 9 0に記載の放送同期型サービス提供方法。

9 2 . 音声又は音声と映像を送信する放送局又は放送情報蓄積サーバ側に、

音声に、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデ一夕信号を重畳して送信する手段を設け、

受信側の視聴者装置に、

放送受信装置のスピー力より出力される放送音声を集音して電気信号に変換するマイクロホンと、

該電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該データ信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、

抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネッ卜ワークを介して取得する手段を設けたことを特徴とする放送同期型サービス提供システム。 9 3 . 放送局又は放送情報蓄積サーバが、画像フレーム識別子又は音声フレーム識別子を、時系列に連続する数字として送信する手段を有し、

視聴者装置のデータ信号抽出手段が、放送受信装置のスピー力より出力された音声から該音声に重畳されているデータ信号を、逐次. 連続的に抽出する際に、

音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い. 音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いるように構成した請求項 9 2に記載の放送同期型サービス提供システム。

9 4 . 視聴者装置がネットワークから取得する関連情報は、該ネットワークに接続されている関連情報提供サーバが管理する放送情報データベースに、チャネル識別子及び画像フレーム識別子又は音声フレーム識別子と対応付けて保持されている関連情報を、前記関連情報提供サーバを経由して得るものである請求項 9 2又は 9 3に記載の放送同期型サービス提供システム。

9 5 . 更に前記放送情報データベースに前記関連情報の提供対象となり得る視聴者の特性を示す視聴者情報、及び関連情報の提供対象となる端末の特性を示す視聴者装置情報を保持し、

視聴者装置は前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて該視聴者装置固有の視聴者情報又は視聴者装置情報を前記関連情報提供サーバに送信し、

該関連情報提供サーバは、関連情報を特定した後、該視聴者装置固有の視聴者情報又は視聴者装置情報に基づいて関連情報を選別し. 視聴者装置に送信する請求項 9 4に記載の放送同期型サービス提供システム。

9 6 . 放送局又は放送情報蓄積サーバから送信される音声又は音声と映像を受信する放送受信装置より出力される音声を受信する視聴者装置であって、

前記音声には、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデータ信号が重畳され、

該視聴者装置は、

該電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該デ一夕信号からチャネル識別子及び、画像フレ —ム識別子又は音声フレーム識別子を抽出するデータ信号抽出手段と、

抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手段を設けたことを特徴とする視聴者装置。

9 7 . 前記ネットワークに接続されている関連情報提供サーバに前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて前記視聴者装置固有の視聴者情報又は視聴者装置情報を送信する手段を更に有する請求項 9 6に記載の視聴者装置。

9 8 . 視聴者装置のデータ信号抽出手段が、放送受信装置のスピ一力より出力された音声から該音声に重畳されているデータ信号を. 逐次、連続的に抽出する際に、

音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い. 音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いるように構成した請求項 9 6に記載の視聴者装置。

9 9 . 放送局又は放送情報蓄積サーバから送信される音声又は音声と映像を受信する放送受信装置より出力される音声を受信する視聴者装置に処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

該視聴者装置に、

放送受信装置のスピー力より出力される放送音声から得られた電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該デ一夕信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手順と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に対応する関連情報をネットワークを介して取得する手順と

1 0 0 . 前記ネッ卜ワークに接続されている関連情報提供サーバに前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて前記視聴者装置固有の視聴者情報又は視聴者装置情報を送信する手順を実行させる請求項 9 9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

1 0 1 . 視聴者装置のデ一夕信号抽出手順により、放送受信装置のスピーカより出力された音声から該音声に重畳されているデータ信号を、逐次、連続的に抽出する際に、

音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い. 音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いる手順を視聴者装置に実行させる請求項 9 9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

1 0 2 . 放送局又は放送情報蓄積サーバから送信される音声又は音声と映像を受信する放送受信装置より出力される音声を受信する視聴者装置に処理を実行させるプログラムであって、

前記音声には、各放送チャネルに対して一意に割り当てられたチャネル識別子と、映像中の各画像フレームに対して一意に割り当てられた画像フレーム識別子、又は音声中の各音声フレームに対して一意に割り当てられた音声フレーム識別子とを含むデ一夕信号が重畳され、

該視聴者装置に、

放送受信装置のスピー力より出力される放送音声から得られた電気信号に重畳されている前記データ信号を、逐次、連続的に抽出すると共に、該デ一夕信号からチャネル識別子及び、画像フレーム識別子又は音声フレーム識別子を抽出するデータ信号抽出手順と、抽出したチャネル識別子及び、画像フレーム識別子又は音声フレ —ム識別子に対応する関連情報をネットワークを介して取得する手順と

を実行させるプログラム。

1 0 3 . 前記ネットワークに接続されている関連情報提供サーバに前記チャネル識別子及び、画像フレーム識別子又は音声フレーム識別子に加えて前記視聴者装置固有の視聴者情報又は視聴者装置情報を送信する手順を実行させる請求項 1 0 2に記載のプログラム。 1 0 4 . 視聴者装置のデータ信号抽出手順により、放送受信装置のスピーカより出力された音声から該音声に重畳されているデータ信号を、逐次、連続的に抽出する際に、

音声からデータ信号が正しく抽出され、画像フレーム識別子又は音声フレーム識別子が確認された場合には、該画像フレーム識別子又は音声フレーム識別子を、放送受信装置において現在再生されている画像の画像フレーム識別子又は音声フレーム識別子として用い，音声からデータ信号が正しく抽出されず、画像フレーム識別子又は音声フレーム識別子が確認されなかった場合には、最近に確認された画像フレーム識別子又は音声フレーム識別子の値と、該最近に確認された画像フレーム識別子又は音声フレーム識別子が確認された時刻と現在時刻の差分に基づいて、画像フレーム識別子又は音声フレーム識別子を生成して用いる手順を視聴者装置に実行させる請求項 1 0 2に記載のプログラム。