+

JP5149012B2 - ネットワーク上のマルチチャネルスピーカの同期 - Google Patents

ネットワーク上のマルチチャネルスピーカの同期 Download PDF

Info

Publication number
JP5149012B2
JP5149012B2 JP2007541766A JP2007541766A JP5149012B2 JP 5149012 B2 JP5149012 B2 JP 5149012B2 JP 2007541766 A JP2007541766 A JP 2007541766A JP 2007541766 A JP2007541766 A JP 2007541766A JP 5149012 B2 JP5149012 B2 JP 5149012B2
Authority
JP
Japan
Prior art keywords
audio
network
speaker
stream
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007541766A
Other languages
English (en)
Other versions
JP2008522468A (ja
JP2008522468A5 (ja
Inventor
クコス,アレックス
コルコラン,ピーター
Original Assignee
ナショナル・ユニバーシティ・オブ・アイルランド・ガルウェイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナショナル・ユニバーシティ・オブ・アイルランド・ガルウェイ filed Critical ナショナル・ユニバーシティ・オブ・アイルランド・ガルウェイ
Publication of JP2008522468A publication Critical patent/JP2008522468A/ja
Publication of JP2008522468A5 publication Critical patent/JP2008522468A5/ja
Application granted granted Critical
Publication of JP5149012B2 publication Critical patent/JP5149012B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/07Synchronising arrangements using pulse stuffing for systems with different or fluctuating information rates or bit rates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003Digital PA systems using, e.g. LAN or internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005Audio distribution systems for home, i.e. multi-room use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は,ネットワーク上のマルチチャネルスピーカの同期に関する。そのようなスピーカは,デジタルオーディオビデオデータを制作及び利用できるネットワークに接続された消費者装置に組み込むことができる。
先行音効果としても知られるハース(Haas)効果は,両耳に聞こえるが異なる時間に到着する音源の方向を正確に識別できる人間の心理音響現象をいう。頭の形状によって,任意の音源からの直接音は最初に音源に近い方の耳に入り,次に遠い方の耳に入る。ハース効果は,人間は引き続く音の到着が25〜35ミリ秒以内のときは,最初に到着した音によって音源を特定することを教示する。後続の音がこれよりも遅く到着するときは,2つの別の音に聞こえる。
ハース効果は,1対のステレオスピーカのうち1つに明らかな音量の増加を生じさせることができる。高品質ハイファイシステムにおいては,2つのステレオチャネル間のわずか1〜2ミリ秒の時間差でこの効果が知覚でき,25ミリ秒程度までは増加が検知される。時間遅れがより大きくなると,反響及び残響が知覚されるであろう。したがって,ネットワークに接続されたマルチチャネルスピーカ間で同期が必要であることは明らかである。
米国特許出願第2003/0200001号には,音源の近くのマイクロホンと,組み込み制御符号と,ネットワーク出力デバイスからの音響パターンとを用いて,多数のネットワーク出力デバイスにおいてデジタルオーディオ放送の再生を同期させる方法が記載されている。任意選択の,追加の手動調整方法は,調整のためのグラヒックユーザインタフェースと,同期させるべきデバイスからの耳に聞こえるパルスとに頼っている。音響の同期は,ネットワーク出力デバイスのクロック同期によって達成される。
Goldbergほかによる米国特許出願第2004/0059446号は,共通にバスに接続された各遠隔オーディオデバイスの同期を開示している。同期機構は,バス上の信号とオーディオデバイス上のクロック信号とを比較し,比較結果に応じてクロックを調整する。これによって同期機構は,高精度クロック又はほかの複雑な解決方法を必要とせずに,各遠隔オーディオデバイスを正確に同期させることができる。この同期技法は,通信を目的とした,デジタル標本化及び同報を行う分散オーディオシステムにおける遠隔オーディオデバイスの同期に特に適用できる。Goldbergの文献においては,バス上の各オーディオデバイスの標本化及び出力を同期させることによって,同期機構が音響品質を改善させる。これは,標本化時間が変動することによって生じる歪みを減少させて音響品質を改善させる。これは非常に正確な音響同期を可能にするが,有線バスを必要とする。したがって無線ネットワークで接続された2つのスピーカの間に実施するのには適していない。
ホームネットワーク市場においては,最近出現した802.11WLAN技術が無線ホームネットワークの主要な要因となっている。802.11g接続点の費用は急速に100ユーロ以下に低下しており,消費者がこれら新規無線ネットワーク技術の利点及び簡単さを認知し始めているので,それによってネットワークで接続された家電(CE)製品の市場を更に加速させるであろう。
図1に,次世代CE装置102,104が存在することになるホームネットワーク環境101を示す。基本的にCE装置の局所ネットワークは,大域的な無線802.11ネットワーク105によって一緒に結合される有線ホームネットワーク領域(island)103を介して相互運用される。この局所ネットワークは次に,ゲートウェイ装置108を介して,実質的に家庭への広帯域接続路である外部の広域ネットワーク(WAN)106に接続される。
したがって消費者は,電線又はケーブルを必要とせずに新しいデバイス及び周辺サブシステムを導入できるように,最新のホームCEデバイスは無線ネットワークに接続できることを期待するであろう。
無線スピーカは既に市場で知られているが,それらは真にネットワークに接続されたサブシステムではなく,普通は主ユニットからのオーディオ信号を,有線ポイント‐ツ‐ポイント接続で搬送するものである。したがって,オーディオの同期は主ユニット上で行うことができる。
McCartyほかによる米国特許出願第2003/0210796号は,ネットワークを介して入力デバイスと出力デバイスとの間でオーディオ信号を通信する発明を開示している。出力デバイスは,スピーカ及びヘッドホンを含んでもよい。いくつかの実施例において,例えばセンタチャネルスピーカである出力デバイスは,オーディオ信号をほかの出力デバイスに送信する。いくつかの実施例において出力デバイスは,スピーカスタンド又はスピーカブラケットと結合又は一体化されている。ネットワークは,無線と,有線と,赤外線と,無線周波(RF)と,電力線と,であってよい。しかしながらMcCartyほかの文献は,ステレオスピーカ間の高品質な音響同期の達成については明示的に開示していない。(彼らは,チャネル間の位相,すなわち遅延を調整することによって手動で同期を得ることができると述べているが,これではチャネル間の非常に精密な時間遅延,又は2つのチャネル間の継続的ドリフトを保証することはできない。)
関連分野の先行技術は,オーディオサブシステムのクロックスキューを測定することである。例としてはAkesterほかがICME2002に発表した,"A New Audio Skew Detection and Correction Algorithm"があり,タイムスタンプ付きRTPパケットによってクロックスキューを正確に推定すること,及びシステム割り込みによってオーディオ再生レートを決定すること,を教示している。Ravikanthによる米国特許第6,327,274号には,パケットデータネットワークに接続されている2つのデバイス間の相対クロックスキューを測定する発明が開示されている。
先行技術から,各デバイスが局所クロックスキューを測定し,それによって受信マルチメディアストリームを修正できることは明らかである。しかしその場合クライアントデバイスは,
(i)実時間クロックスキューを測定するために,実時間割り込みによる分析を行わなければならず,
(ii)同時にデジタルオーディオを復号しなければならず,また受信オーディオストリームをデインタリーブする必要もあるかも知れず,そして最後に
(iii)測定したクロックスキューを補償するために受信オーディオデータパケットのサイズを増加又は減少させるため,クライアントデバイスは,オーディオサンプルをどこに,どうやって挿入(又は削除)するかを決定するために各受信オーディオパケットの分析を行うことが望ましい。
更にこれらの方法はすべて,実時間で実現しなければならず,クライアントデバイスに高い計算負荷を掛けることになる。
上記のステップ(i)は,Ravikanthによる米国特許第6,327,274号に記載されたもののような技法を用いて実現することができ,それによればデータストリームを発信するサーバと各クライアントとの間の相対クロックスキューを,クライアント上で,各RTPパケットに付与されたタイムスタンプデータ,並びに受信データストリームの多数のパケットのジッタ及び遅延を統計的に分析することによって,測定することができる。しかし,この方法は依然としてクライアントデバイスに多くの実時間計算を要求する。
本発明は,サーバ内で動作する方法であって,あるオーディオ信号に対応する少なくとも1つのオーディオデータストリームをネットワーク内の2以上のスピーカに配信するようになっており,各スピーカは前記オーディオデータから前記オーディオ信号を再生するためにそれぞれクロックを有し,各スピーカについて,前記スピーカクロックの実時間レートに対する相対レートを測定する測定ステップと,あるスピーカに与えられる各データストリームについて,前記相対レートによって変更すべき前記オーディオ信号のそれぞれのサンプルを,それぞれの相対レートから決定する決定ステップと,前記決定ステップによって前記ストリームを変更する変更ステップと,前記の変更したオーディオストリームを,前記ネットワーク内に送信するステップと,を有する方法を提供する。
前記変更ステップは,前記の決定したサンプルを追加,削除,又は複製することによって各ストリームを修正するステップを有することが好ましい。あるいは前記変更ステップは,あるスピーカ内で前記オーディオ信号を再生するとき追加,削除,又は複製するオーディオサンプルの指示をそれぞれのオーディオストリームに含めるステップを有する。
本発明は,クロックスキューの補償を可能にし,その場合少なくとも1つのマルチメディアストリームがネットワークに接続された2以上のクライアントデバイスに同報される。
本発明を用いると,多数のクライアントデバイスに対する実時間計算要求条件の多くを,単一のより強力なサーバデバイスに移行させることができる。
好適な実施例においては,すべてのデバイスはNTP(ネットワーク時間プロトコル)を用いて同期させられる。
好適な実施例においては,前記相対レートは,RTCP(実時間制御プロトコル)を用いて測定される。
ここで添付の図面を参照して本発明の実施例を例として説明する。
本発明の好適な実施例によれば,2以上のオーディオチャネル間でサブミリ秒の同期を達成することができ,それによってハース効果によるステレオ音の心理音響歪みが生じる可能性を軽減することができる。
図2(b)に本発明の好適な実施例を示す。この実施例においては,ネットワークで結ばれた2つのスピーカを備えるステレオオーディオシステムに関する音響同期を説明する。しかしながら同一の技法は,5.1チャネル及びほかのマルチスピーカシステムにも均等に適用することができる。また,類似の技法をビデオ再生デバイスに適用してもよいことも明白であろう。したがってこのシステムは,ビデオチャネルを伴うマルチオーディオチャネルの同期にも適用してもよい。
上記の好適な実施例においては,各スピーカ108,109が組み込み計算機サブシステム102及びオーディオサブシステム104を含む。本質的に,組み込み計算機サブシステム102は未処理のオーディオデータの数ブロックを受信し,復号し,バッファに書き込む。そしてそれらのデータはオーディオサブシステム104によって処理され,アナログオーディオとして出力される。
上記の好適な実施例においては,ネットワークに接続された第3のデバイス,すなわちマルチメディアストリームサーバ110からマルチキャストステレオオーディオストリームが同報される。同報データは,通常,RFC3550及び3551に記載された実時間プロトコル(RTP)及びRFC3605に記載された実時間制御プロトコル(RTCP)を用いて送信されるであろう。通常RTPが主なデータペイロードを搬送し,RTCPはパケット再送信及びほかのストリーム制御を管理する制御プロトコルである。ある実施例においては,サーバ110がRTPパケットで搬送されるオーディオデータストリームをインタリーブしてもよく,それによってデータパケットが損失してもクライアント108,109における再生音響出力に単一の大きなギャップを生じさせない。そのような技法は,当業者にはよく知られたことである。
そのようなマルチキャストステレオオーディオストリームが再生開始時間マーカを含むように修正して,図2(b)に示す右側(RH)スピーカサブシステム及び左側(LH)スピーカサブシステムがそれぞれのステレオチャネルを同時に再生開始できるようにすることが簡単な方法である。
これに関連して各サブシステム102は,クロック同期を達成するためにネットワーク時間プロトコル(http://www.ntp.orgを参照)を用いる。通常の運用において,2つの組み込み計算機間で1ミリ秒以下のオーダの同期を得ることは全く現実的である。
モトローラ(登録商標)オンコア(Oncore)(登録商標)GPSユニットのようなGPS受信機を用いて実現することができる正確なPPS(One Pulse Per Second)ハードウェア信号を用いることによって,更に正確なタイミングを得ることができる。あるいは,RF又は赤外線(IR)信号を用いて局所的に主PPS信号を発生させ,複数の従属デバイスを同期させるために用いてもよい。PPSハードウェア信号が利用できる場合は,NTPを用いて計算機間で50〜100マイクロ秒オーダの同期を得ることができ,次に掲げる文献に記載の技法を用いることによって,更に正確な同期が可能である。
http://www.eecis.udel.edu/~mills/database/brief/precise/precise.pdf
このように,図2(b)に示したLHスピーカサブシステム108及びRHスピーカサブシステム109の組み込み計算機サブシステム102を,非常に高精度に同期させられることがわかる。
通常の運用においてオーディオサブシステム104は,内部クロック信号に依存した固定レートで出力音データを発生する。この信号はある形態の電子発振器から発生されるので,製造偏差及び温度のような環境要因を含むさまざまな要因に影響される。したがって2つのオーディオサブシステムが正確に一致することはほとんどあり得ない。図2(a)に示すような先行技術によるシステムでは,双方のスピーカが単一のオーディオサブシステムによって駆動されるので,これは問題ではない。
しかしながら図2(b)に示すネットワークに接続された2つのスピーカサブシステム102は,たとえ前に述べたように各音楽トラックの始めで,例えば3分ごとに再同期しても,2つのステレオチャネル間の0.01%,すなわち1万分の1のドリフトが18ミリ秒のチャネル間遅延を生じさせることになり,それは重大なハース効果をおこすのに十分な量より多く,ほとんど残響及び反響を誘発するのに十分である。
したがってサブシステム102を同期させるのと同様に,各ステレオサブシステムのオーディオ処理サブシステム104も,それらの間のクロックスキューを補償するために同期させる必要がある。さもなければステレオチャネルは緩やかに初期の同期状態を失うであろう。
図3に,組み込み計算機サブシステム102とオーディオサブシステム104との間のインタフェースを示す。上述のように,組み込み計算機サブシステムは,例えばPCM又はADPCMである未処理のオーディオデータの数ブロックを,パラレルデータバス302を介してバッファ304に書き込み,それらはデジタルアナログ変換器314によって処理され,アナログオーディオとして出力される。データバッファ304が空になりそうになると,割り込み310が組み込み計算機サブシステムに送信され,出力アナログ信号の継続性を維持するために,すぐに更なるデータが必要になることを示す。上記の好適な実施例においては,オーディオサブシステムは従来のPCサウンドカードであることに注意されたい。
ネットワークに接続された各クライアントのオーディオサブシステムの局所クロックスキューを測定できることは,先行技術からよく知られたことである。また先行技術においては,例えばPCT特許出願第PCT/EP2004/006808号に記載のように,パケットネットワークを介して転送される実時間オーディオストリームを発信するネットワークに接続された第1デバイスと,前記ストリームを再生する第2デバイスとの間でクロック同期を取らなければならないことが記載されている。この場合は,クロックスキュー補正がVoIP又はポイント‐ツ‐ポイント通信の分野に適用されている。そのような応用においては,送信デバイスは以前未知であったデバイスに接続するので,そのようなデバイスのクロックスキューに関する知識は一般に事前には得ることができず,したがって動的に測定しなければならない。
上記の好適な実施例においては,サーバ110は一般に既知でかつ比較的一致して振る舞うクライアント108,109に接続するので,局所クロックスキューの測定は,普通はクライアントデバイスが何らかの理由で非活性であるときに時々行うだけでよい。そのような時々行われる測定結果はサーバ110に返送され,統計的に分析され,長期クロックスキューレートが測定され,通信中のクライアントデバイスに適用される。これらのクロックスキュー測定はサーバが開始してもよく,デバイスが始めてネットワークに接続されたときは,サーバが各クライアントデバイスの信頼できるクロックスキューレートを測定するまで,より集中的な較正体制を適用してもよい。この目的のために,NTPが用いる方法及び技法のいくつかを都合よく改変してもよいことは,当業者には明らかであろう。
サーバ110に新規なオーディオストリームを開始するように要求すると,サーバはオーディオストリームをストリームする準備が必要である。当業者にはよく知られたことであるが,未処理のデジタルオーディオデータは予め符号化してあるか,若しくはそうでなければハードウェアサブシステム,又はソフトウェアサブシステム,又はそれらのある組合せで実現されるコーデックを素通りする。符号化されたストリームデータは,次にパケット化される。この過程は,単一タイムスロットのデータをいくつかのパケットに拡散するインタリーブステップも組み込んでよい。インタリーブによって,クライアントにおいてオーディオストリームを再生したときのパケット損失の影響を最小化することができる。符号化,パケット化,及びインタリーブのこれら各ステップの詳細な実装は,デジタルデータストリームの形式に依存する。普通デジタルオーディオ形式は,パケットデインタリーブ,ストリーム再組立て,及びストリーム復号が容易になるように最適化される。
上記の好適な実施例において,ここでこの一連のサーバ側過程に追加のステップを加える。このステップは,所定のクロックスキューレートを用いて各クライアントデバイス用にオーディオデータを調整する追加ストリーム処理を行う。このストリーム処理の詳細な実装は,基盤となるデジタルストリーム形式にある程度依存する。しかしながら上記の好適な実施例において,ストリームを処理する2つの一般化した技法を特定することができる。
(i)基盤となるデジタルストリーム形式が非対称チャネルに対応しているとき,すなわちマルチキャストストリームの左チャネル及び右チャネルが同数のデータバイトを有する必要がないときは,各オーディオチャネルの1つ又は双方に適当な数の冗長オーディオサンプルを削除,追加,又は複製してもよい。あるいは,
(ii)基盤となるデジタルストリーム形式が対称チャネルを必要とするときは,各オーディオチャネルの1つ又は双方に追加(又は削除)する上記の冗長オーディオサンプルを,ストリームデータとは別にマークしなければならず,この情報がクライアントに搬送される。
以降,方法(i)を(実際はサンプルを追加又は複製されることもあることに留意しつつ)「除去」と呼び,方法(ii)を「マーク付け」と呼ぶ。
オーディオ信号処理の当業者には,1ブロックのオーディオデータ内の冗長オーディオサンプルを測定するさまざまな技法が知られているであろう。冗長オーディオサンプルの最も単純なものは,オーディオトラックの無音期間にある。本発明においては,これらの無音期間は,オーディオサンプルオーダの時間だけ継続すれば有効である。
図4に,オーディオストリーム内に冗長サンプルを挿入,複製,又は削除できることを示すいくつかの追加の単純化した例を示す。これらは次の場合に生じる。オーディオ信号が比較的緩やかに変化し,1以上のサンプルを変更してもオーディオ信号401の局所傾斜を大幅に変化させない領域,オーディオ信号402の極大極小点,そして2つのオーディオサンプルを平均してその平均値403で単一のサンプルを置換するいくつかの瞬間。特に複雑なオーディオ信号が,簡単に決定できる冗長サンプルを多く含まないときは,ほかのより複雑な分析技法を適用してもよい。
ここで本発明の単純な実施例によるストリーム処理の好適な方法は,方法(i)である。なぜならすべてのストリーム処理をサーバ側で行うことができ,クライアント側にはどのような修正も必要としないからである。この実施例を図5(a)に示す。明りょうにするために,符号化,パケット化,及びインタリーブのステップは省略している。このようにして方法(i)によれば,冗長オーディオサンプル分析器504がオーディオデータブロック502を分析し,受信デバイスのクロックスキューに基づいて,受信機デバイスのクロックスキューを補償するために,デジタルオーディオブロックのどこに,どれだけ,冗長オーディオサンプルを追加又は削除する必要があるかを決定する。複数のそのような「除去」操作は,別々の意図するあて先を有する各オーディオストリームについて並行して行われることに留意されたい。この過程は除去されたオーディオデータブロック516を発生させ,それは任意選択でパケット化する前に符号化し,オーディオストリーム501内で同報してもよい。この実施例においては,必要なクロックスキュー補償は,すべてサーバ上で行われ,クライアントデバイスには何の修正も必要としない。
しかしながら次に開示するように,この方法は特に本発明を複数の部屋に実施する場合に欠点がある。したがって,実装がより複雑で,クライアントとサーバとを結合した処理が必要ではあるが,方法(ii)は方法(i)に対して大きな利点を有する。
例えば図6に示すように,本発明は単純に複数の部屋に対する実施例に拡張できる。このようにして,ある家の別々の部屋にある複数のステレオスピーカ対が同時に同一のオーディオデータを出力することができ,各ステレオスピーカ対はある部屋の中で局所的に同期しており,その家のほかの部屋にあるスピーカ対とも大域的に同期している。各スピーカ対は同一のマルチキャストデータストリーム511からオーディオデータを取得し,それによってネットワーク帯域の要求条件を最適化している。明らかに「除去」方法によるチャネル同期は,そのような複数部屋システムには適さないであろう。その代わり,サーバがネットワークに接続された各スピーカについてクロックスキューを取得して,各スピーカに個別化した冗長オーディオサンプルの「マーク付け」リストを提供しなければならない。普通,その「マーク付け」リスト間には重複があり,ネットワーク帯域要求条件を減らすために,任意選択でこのデータを一組の差分表の形に整理してもよい。
図5(b)に,この実施例の動作を単一クライアントに関して示す。冗長オーディオサンプル分析器504が,前述のようにオーディオデータブロック502aを分析し,受信デバイスのクロックスキューに基づいて,受信機デバイスのクロックスキューを補償するために,各受信クライアントデバイスについてデジタルオーディオブロックのどこに,どれだけ,冗長オーディオサンプルを追加又は削除する必要があるかを決定する。この実施例においては,各クライアントデバイスが固有のクロックスキューを有するので単純にオーディオストリームからこれらのサンプルを除去することはできず,除去するサンプルの別の組を必要とする。したがって除去操作は各クライアントにおいて別個に行わなければならず,各クライアント用に必要な「マーク付け」データは冗長オーディオサンプル(RAS)ヘッダ506又は均等物内に記録される。元のオーディオデータブロックは変更しない形態502bで残される。次にこのオーディオデータをパケット化してマルチキャストストリーム501とし,ネットワークに接続された多数のクライアントデバイス108,109が受信する。
オーディオデータブロック(すなわちペイロード)がクライアントで受信されると,「マーク付け」したオーディオサンプルに関連するリストが,ハードウェア,又はソフトウェア,又はそれらのある組合せで実現できるRAS除去器508によってRASヘッダ506から適宜抽出又は再構築される。次にRAS除去器508は上記のリストから,「マーク付け」された位置でオーディオサンプルを挿入,又は除去することが望ましいかどうかを決定する。この実施例においては,サンプルは適宜除去されるか又は単純に複製される。この方法は,RASヘッダ506に冗長オーディオサンプルの位置だけを記録すればよいので有利である。次に得られた除去したオーディオデータブロック516はオーディオサブシステム509の標準デバイスドライバに渡され,データバス302を介して音声処理サブシステム104に書き込まれる。
当業者であれば,デジタルメディアストリームが未処理のサンプル形式でストリームされることはほとんどないことを認識するであろう。普通未処理のデジタルメディアストリームは符号化され,任意選択で圧縮及び暗号化してもよい。ある符号化方式に関しては,サーバ側の「マーク付け」操作及びクライアント側の「除去」操作を,サーバ側の符号化エンジン及びクライアント側の復号エンジンに組み込むと有利なことがある。
また高度な符号化方式は,5.1チャネル形式オーディオのためのマルチメディアストリーム同期機構を組み込んでいる。これらの機構は,複数の可変ビットレートオーディオストリームを復号後に再同期できるように意図されている。しかしながらこれらの機構が再構築したデータストリームの相対サイズを調整する有利な機構を提供する場合は,本発明の代替実施例において有利に利用できる。
上述のとおり,環境要因,特に温度がチャネル間のドリフトに影響することがある。更なる発展形態においては,クロックスキュー較正を行う場合,追加でクライアントのオーディオサブシステム内の温度を測定してもよく,このデータを統計分析のためにサーバに供給してもよい。この方法においては,サーバは特定クライアントの基盤となるクロックスキューレートを測定するだけでなく,そのクロックスキューレートと温度変化との相関も取ってもよい。
この場合サーバは,オーディオストリームを除去し,又はマーク付けするときに,各クライアントの現在の温度を考慮に入れるため,マルチキャストストリームを開始する前に各クライアントに温度測定を要求してもよい。
CE装置のためのホームネットワーク基盤を示す図である。 先行技術の無線デジタルオーディオサブシステムを示す図である。 本発明の実施例による無線デジタルオーディオサブシステムを示す図である。 図2(b)のサブシステムをより詳細に示す図である。 オーディオストリームにおける冗長サンプルの挿入及び除去を示す図である。 本発明のそれぞれの実施例をより詳細に示す図である。 本発明のそれぞれの実施例をより詳細に示す図である。 本発明の複数の部屋への実施を示す図である。

Claims (10)

  1. サーバ内で動作する方法であって,あるオーディオ信号に対応する少なくとも1つのオーディオデータストリームをネットワーク内の2以上のスピーカに配信するようになっており,各スピーカは前記オーディオデータから前記オーディオ信号を再生するためにそれぞれクロックを有し,
    各スピーカについて,前記スピーカクロックのスキューを測定する測定ステップと,
    あるスピーカに与えられる各データストリームについて,前記スキューに応じて追加,削除,又は複製して変更すべき前記オーディオ信号のそれぞれのサンプルを,それぞれのスキューから決定する決定ステップと,
    前記決定ステップによって前記の決定したサンプルを追加,削除,又は複製して前記ストリームを変更する変更ステップと,
    前記の変更したオーディオストリームを,前記ネットワーク内に送信するステップと,
    を有する方法。
  2. 前記変更ステップは,あるスピーカ内で前記オーディオ信号を再生するとき追加,削除,又は複製するオーディオサンプルの指示をそれぞれのオーディオストリームに含めるステップを有する請求項1に記載の方法。
  3. 前記指示を,オーディオサンプルデータを含むパケットのヘッダに含める請求項に記載の方法。
  4. 前記ストリームを変更する変更ステップは,
    前記オーディオ信号の無音期間に1以上のサンプルを追加,又は該期間から1以上のサンプルを削除するステップと,
    前記オーディオ信号の緩やかに変化する期間に1以上のサンプルを追加,又は該期間から1以上のサンプルを削除するステップと,
    前記オーディオ信号のある期間のサンプルを減少させるために2以上のサンプルを平均するステップと,
    のうち1以上を有する請求項1に記載の方法。
  5. NTP(ネットワーク時間プロトコル)を用いて前記スピーカを実時間に同期させるステップを更に有する請求項1に記載の方法。
  6. 前記測定ステップは,RTCP(実時間制御プロトコル)を用いて前記スキューを測定するステップを有する請求項1に記載の方法。
  7. 周囲温度を周期的に感知するステップと,該周囲温度を考慮して前記スキューを測定するステップと,を更に有する請求項1に記載の方法。
  8. サーバであって,あるオーディオ信号に対応する少なくとも1つのオーディオデータストリームをネットワーク内の2以上のスピーカに配信するようになっており,各スピーカは前記オーディオデータから前記オーディオ信号を再生するためにそれぞれクロックを有し,
    各スピーカについて,前記スピーカクロックのスキューを測定し,
    あるスピーカに与えられる各データストリームについて,前記スキューに応じて追加,削除,又は複製して変更すべき前記オーディオ信号のそれぞれのサンプルを,それぞれのスキューから決定し,
    前記の決定によって前記の決定したサンプルを追加,削除,又は複製して前記ストリームを変更し,
    前記の変更したオーディオストリームを,前記ネットワーク内に送信する,
    ようにしたサーバ。
  9. 前記ネットワークは,無線ネットワークとする請求項に記載のサーバ。
  10. 請求項1に記載の各ステップを実行するようにネットワークサーバ内で動作する計算機プログラム。
JP2007541766A 2004-11-18 2005-11-10 ネットワーク上のマルチチャネルスピーカの同期 Expired - Fee Related JP5149012B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IES2004/0770 2004-11-18
IE20040770 2004-11-18
PCT/EP2005/012196 WO2006053704A1 (en) 2004-11-18 2005-11-10 Synchronizing multi-channel speakers over a network

Publications (3)

Publication Number Publication Date
JP2008522468A JP2008522468A (ja) 2008-06-26
JP2008522468A5 JP2008522468A5 (ja) 2008-12-18
JP5149012B2 true JP5149012B2 (ja) 2013-02-20

Family

ID=35734041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007541766A Expired - Fee Related JP5149012B2 (ja) 2004-11-18 2005-11-10 ネットワーク上のマルチチャネルスピーカの同期

Country Status (6)

Country Link
US (1) US7805210B2 (ja)
EP (1) EP1815713B1 (ja)
JP (1) JP5149012B2 (ja)
AT (1) ATE402587T1 (ja)
DE (1) DE602005008467D1 (ja)
WO (1) WO2006053704A1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412123B2 (en) 2003-07-01 2016-08-09 The 41St Parameter, Inc. Keystroke analysis
US10999298B2 (en) 2004-03-02 2021-05-04 The 41St Parameter, Inc. Method and system for identifying users and detecting fraud by use of the internet
US11301585B2 (en) 2005-12-16 2022-04-12 The 41St Parameter, Inc. Methods and apparatus for securely displaying digital images
US8151327B2 (en) * 2006-03-31 2012-04-03 The 41St Parameter, Inc. Systems and methods for detection of session tampering and fraud prevention
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US12167216B2 (en) 2006-09-12 2024-12-10 Sonos, Inc. Playback device pairing
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8155335B2 (en) 2007-03-14 2012-04-10 Phillip Rutschman Headset having wirelessly linked earpieces
JP5129617B2 (ja) * 2008-03-12 2013-01-30 キヤノン株式会社 通信制御方法、通信システム、通信装置及びコンピュータプログラム
US8041051B2 (en) 2008-03-24 2011-10-18 Broadcom Corporation Dual streaming with exchange of FEC streams by audio sinks
CA2720785C (en) 2008-04-07 2015-05-12 Koss Corporation Wireless earphone that transitions between wireless networks
US9112850B1 (en) 2009-03-25 2015-08-18 The 41St Parameter, Inc. Systems and methods of sharing information through a tag-based consortium
US8594815B2 (en) * 2009-03-27 2013-11-26 Dell Products L.P. Speaker management methods and systems
JP5246111B2 (ja) 2009-09-04 2013-07-24 ヤマハ株式会社 オーディオ装置
US9282418B2 (en) * 2010-05-03 2016-03-08 Kit S. Tam Cognitive loudspeaker system
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US10754913B2 (en) 2011-11-15 2020-08-25 Tapad, Inc. System and method for analyzing user device information
US9633201B1 (en) 2012-03-01 2017-04-25 The 41St Parameter, Inc. Methods and systems for fraud containment
US9521551B2 (en) 2012-03-22 2016-12-13 The 41St Parameter, Inc. Methods and systems for persistent cross-application mobile device identification
US20130266152A1 (en) * 2012-04-06 2013-10-10 Koss Corporation Synchronizing wireless earphones
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
EP2880619A1 (en) 2012-08-02 2015-06-10 The 41st Parameter, Inc. Systems and methods for accessing records via derivative locators
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9516440B2 (en) 2012-10-01 2016-12-06 Sonos Providing a multi-channel and a multi-zone audio environment
WO2014078569A1 (en) 2012-11-14 2014-05-22 The 41St Parameter, Inc. Systems and methods of global identification
US10902327B1 (en) 2013-08-30 2021-01-26 The 41St Parameter, Inc. System and method for device identification and uniqueness
JP6213181B2 (ja) * 2013-11-20 2017-10-18 ヤマハ株式会社 同期再生システム及び同期再生方法
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
TWI556656B (zh) * 2014-04-30 2016-11-01 微晶片科技公司 具有藍牙功能之音訊播放裝置及音訊播放方法
US9832507B2 (en) 2014-06-27 2017-11-28 Qualcomm Incorporated System and method for synchronizing media output devices connected on a network
US10209947B2 (en) 2014-07-23 2019-02-19 Sonos, Inc. Device grouping
US9671997B2 (en) 2014-07-23 2017-06-06 Sonos, Inc. Zone grouping
US10091312B1 (en) 2014-10-14 2018-10-02 The 41St Parameter, Inc. Data structures for intelligently resolving deterministic and probabilistic device identifiers to device profiles and/or groups
EP3243326A4 (en) 2015-01-05 2018-06-27 PWV Inc. Discovery, control, and streaming of multi-channel audio playback with enhanced times synchronization
US10614856B2 (en) 2015-01-28 2020-04-07 Roku, Inc. Audio time synchronization using prioritized schedule
EP3251373B1 (en) 2015-01-28 2020-06-17 Roku Denmark ApS Self-organizing audio synchronization
EP3251117A1 (en) 2015-01-28 2017-12-06 Dynastrom ApS Synchronization in audio playback network independent of system clock
US10536790B2 (en) 2015-03-12 2020-01-14 StarTime Software Technology Co., Ltd. Location based services audio system
US11209972B2 (en) 2015-09-02 2021-12-28 D&M Holdings, Inc. Combined tablet screen drag-and-drop interface
US11113022B2 (en) * 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
JP6119813B2 (ja) * 2015-09-01 2017-04-26 ヤマハ株式会社 オーディオ装置
US9825969B2 (en) 2015-09-14 2017-11-21 D&M Holdings, Inc. System and method for controlling a rendering device based upon detected user proximity
JP6451596B2 (ja) * 2015-10-30 2019-01-16 ヤマハ株式会社 オーディオ装置およびオーディオ機器
US10191715B2 (en) 2016-03-25 2019-01-29 Semiconductor Components Industries, Llc Systems and methods for audio playback
CN107239253B (zh) * 2016-03-29 2020-05-12 扬智科技股份有限公司 同步播放速度的无线局域网播放器、系统及其方法
JP6014287B1 (ja) * 2016-03-31 2016-10-25 日本通信機株式会社 同期放送システム、配信装置、送信装置
US10219091B2 (en) 2016-07-18 2019-02-26 Bose Corporation Dynamically changing master audio playback device
US10461953B2 (en) 2016-08-29 2019-10-29 Lutron Technology Company Llc Load control system having audio control devices
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10901681B1 (en) * 2016-10-17 2021-01-26 Cisco Technology, Inc. Visual audio control
US10901684B2 (en) 2016-12-13 2021-01-26 EVA Automation, Inc. Wireless inter-room coordination of audio playback
IT201600130103A1 (it) 2016-12-22 2018-06-22 St Microelectronics Srl Procedimento di compensazione dello skew di orologio e relativo sistema
EP3410738B1 (en) * 2017-06-01 2020-04-08 GN Audio A/S A headset with optical microphone signal transmission
WO2019049245A1 (ja) * 2017-09-06 2019-03-14 ヤマハ株式会社 オーディオシステム、オーディオ機器、及びオーディオ機器の制御方法
US10915292B2 (en) * 2018-07-25 2021-02-09 Eagle Acoustics Manufacturing, Llc Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source
US11665492B2 (en) * 2018-10-03 2023-05-30 Crestron Electronics, Inc. In-ceiling loudspeaker assembly with digital interface
DE102019132544B4 (de) * 2018-12-04 2023-04-27 Harman International Industries, Incorporated Umgebungserkennung über zeitsynchronisierte vernetzte lautsprecher
US11233836B2 (en) * 2019-05-31 2022-01-25 Apple Inc. Concurrent audio streaming to multiple wireless audio output devices
US11108486B2 (en) 2019-09-06 2021-08-31 Kit S. Tam Timing improvement for cognitive loudspeaker system
EP4035030A4 (en) 2019-09-23 2023-10-25 Kit S. Tam Indirect sourced cognitive loudspeaker system
US11197114B2 (en) 2019-11-27 2021-12-07 Kit S. Tam Extended cognitive loudspeaker system (CLS)
FR3109046B1 (fr) * 2020-04-01 2022-03-04 Sagemcom Broadband Sas Procédé de gestion d’un flux audio lu de manière synchronisée sur une horloge de référence
JP2023532955A (ja) * 2020-07-09 2023-08-01 マイクロチップ テクノロジー インコーポレイテッド 時間同期されたハードウェアコントローラ並びに関連するオーディオシステム及び回路
EP4256814B1 (en) 2020-12-03 2025-01-29 Dolby Laboratories Licensing Corporation Insertion of forced gaps for pervasive listening
US12395809B2 (en) 2020-12-03 2025-08-19 Dolby Laboratories Licensing Corporation Audibility at user location through mutual device audibility
US12353179B1 (en) * 2022-07-19 2025-07-08 Amazon Technologies, Inc. Device group synchronization

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994027233A1 (en) * 1993-05-10 1994-11-24 Taligent, Inc. Audio synchronization system
WO1997029550A1 (en) * 1996-02-07 1997-08-14 L.S. Research, Inc. Digital wireless speaker system
CA2199647C (en) * 1997-03-11 2004-01-27 Robert Wood Synchronization of communication devices connected over an asynchronous link
US6466832B1 (en) * 1998-08-24 2002-10-15 Altec Lansing R & D Center Israel High quality wireless audio speakers
US6327274B1 (en) * 1998-09-15 2001-12-04 Nokia Telecommunications, Inc. Method for estimating relative skew between clocks in packet networks
US6252919B1 (en) * 1998-12-17 2001-06-26 Neomagic Corp. Re-synchronization of independently-clocked audio streams by fading-in with a fractional sample over multiple periods for sample-rate conversion
JP2001356767A (ja) * 2000-06-16 2001-12-26 Yamaha Corp 同期再生装置、同期再生方法および同期再生用プログラムを記録した記録媒体
US8103009B2 (en) * 2002-01-25 2012-01-24 Ksc Industries, Inc. Wired, wireless, infrared, and powerline audio entertainment systems
US7324857B2 (en) * 2002-04-19 2008-01-29 Gateway Inc. Method to synchronize playback of multicast audio streams on a local network
US20040059446A1 (en) * 2002-09-19 2004-03-25 Goldberg Mark L. Mechanism and method for audio system synchronization
US7657829B2 (en) * 2005-01-20 2010-02-02 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network

Also Published As

Publication number Publication date
EP1815713B1 (en) 2008-07-23
US7805210B2 (en) 2010-09-28
DE602005008467D1 (de) 2008-09-04
US20070297459A1 (en) 2007-12-27
WO2006053704A1 (en) 2006-05-26
JP2008522468A (ja) 2008-06-26
ATE402587T1 (de) 2008-08-15
EP1815713A1 (en) 2007-08-08

Similar Documents

Publication Publication Date Title
JP5149012B2 (ja) ネットワーク上のマルチチャネルスピーカの同期
JP4559050B2 (ja) メディアデータパケットの同期再生
JP7230008B2 (ja) リアルタイムオーディオおよびデータを提供するためのシステムおよび方法
US12425684B2 (en) Synchronizing bluetooth data capture to data playback
JP6640359B2 (ja) ワイヤレスオーディオ同期
US8645741B2 (en) Method and system for predicting a latency spike category of audio and video streams to adjust a jitter buffer size accordingly
US12375541B2 (en) System and method for synchronizing networked rendering devices
US20150254340A1 (en) Capability Scoring Server And Related Methods For Interactive Music Systems
US9837093B2 (en) Packet based delivery of multi-channel audio over wireless links
US10587954B2 (en) Packet based delivery of multi-channel audio over wireless links
JP2009535988A (ja) データ信号を処理するシステム及び方法
US20240221774A1 (en) Systems, Devices, and Methods for Synchronizing Audio
CN118102434A (zh) 音频同步播放方法、系统及存储介质
WO2014128360A1 (en) Synchronization of audio and video content
JP2008060675A (ja) 音声再生装置、音声再生方法
CN113613221A (zh) Tws主设备、tws从设备、音频设备及系统
JP5397495B2 (ja) データ配信システムおよび中継装置
JP4967945B2 (ja) 端末装置およびデータ配信システム
Blank et al. An internet protocol (IP) sound system
WO2021255327A1 (en) Managing network jitter for multiple audio streams
TWI866360B (zh) 線上ktv自適型緩衝區管理與混音的系統及其方法
WO2009039304A2 (en) System and method for processing data signals

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121129

R150 Certificate of patent or registration of utility model

Ref document number: 5149012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载