+

JPH10289187A - 並列データ転送方法 - Google Patents

並列データ転送方法

Info

Publication number
JPH10289187A
JPH10289187A JP9100000A JP10000097A JPH10289187A JP H10289187 A JPH10289187 A JP H10289187A JP 9100000 A JP9100000 A JP 9100000A JP 10000097 A JP10000097 A JP 10000097A JP H10289187 A JPH10289187 A JP H10289187A
Authority
JP
Japan
Prior art keywords
data
server
client
communication
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9100000A
Other languages
English (en)
Inventor
Kenichi Soejima
健一 副島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP9100000A priority Critical patent/JPH10289187A/ja
Publication of JPH10289187A publication Critical patent/JPH10289187A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)

Abstract

(57)【要約】 【課題】クライアントが必要とするデータの一部または
全てを1つ以上のサーバが保持し、それぞれ異なる通信
コストの通信路で接続されているときの、前記クライア
ントと前記サーバの間のデータ転送を高速化する。 【解決手段】クライアント1000とサーバ1002、
サーバ1004、サーバ1006はそれぞれ通信回線で
接続されており、それぞれ通信路1100、通信路11
02、通信路1104で通信可能である。また、前記各
サーバはそれぞれ同じデータの一部もしくは全てを、デ
ータ1202、データ1204、データ1206として
保持している。このとき、クライアント1000が、前
記サーバが保持しているデータをデータ1200として
取得する要求を発行すると、前記各サーバとクライアン
トとの間の通信路の通信コストを考慮して、前記データ
を分割し、各サーバからそれぞれ前記データの一部分ず
つを並列に収集し、結合して前記要求の結果として得
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は一般にコンピュータ
システムに関し、詳細には通信コストが不均一な計算機
ネットワーク上に存在する、データの取得要求や保存要
求を発生させるクライアント計算機と、前記要求を処理
するサーバ計算機の間のデータの転送方法に関する。
【0002】
【従来の技術】従来のクライアントサーバシステムで
は、1つのデータに対して、いずれか1つのサーバがマ
スタデータを保持し、他のいくつかのサーバがレプリカ
やキャッシュとして、前記データの複製を持つ。そして
クライアントはデータが必要になると、マスタデータを
持つサーバもしくはその複製を持つサーバに対して、デ
ータ転送要求を発行し、そのサーバから1つの通信路を
使用して必要なデータを全て受けとる(前川守、所真理
雄、清水謙多郎編:「分散オペレーティングシステム−
UNIXの次にくるもの−」、共立出版、1.3なぜ分
散処理か)。
【0003】一方、ディスクアレイやストライピングフ
ァイルシステムでは、データを複数のブロックに分け、
各ブロックを別々のディスクに格納し、データを読みだ
す時には、前記格納したデータを並列に読み出すことで
入出力の高速化を図る(前川守、所真理雄、清水謙多郎
編:「分散オペレーティングシステム−UNIXの次に
くるもの−」、共立出版、6.3.1ファイルサーバの
実現技術)。
【0004】
【発明が解決しようとする課題】複数のサーバから1つ
を選択して必要なデータを全て前記サーバから取得する
方法では、必要なデータをもっているサーバが他にも存
在するにもかかわらず、1つのサーバから1つの通信路
を使用してシリアルにデータ転送を行なうため、データ
量と使用する通信路の速度により転送処理に要する時間
は制限され、それ以上の大幅な高速化は望めない。
【0005】また、前述のディスクアレイやストライピ
ングファイルシステムでは、データを分割して並列に入
出力を行なうことでデータ転送の高速化を図っている
が、実際の計算機同士を接続したネットワークでは、通
信路毎に通信速度にばらつきがあるため、前記技術をそ
のまま適用しても、低速回線も高速回線も同じ量のデー
タを転送することになり、必ずしも効率のよいデータ転
送が行なえるとは限らない。
【0006】本発明の目的は、実際の通信コストが不均
一な計算機ネットワーク上で、より並列性の高いデータ
転送を実現し、クライアントとサーバの間のデータ転送
を高速化することを目的とする。
【0007】
【課題を解決するための手段】本発明における並列デー
タ転送方法では、クライアントが要求するデータを保持
している2つ以上のサーバに、前記データの一部分ずつ
を要求して並列にデータ転送を行なうことで、クライア
ントとサーバの間のデータ転送の高速化を実現する。
【0008】また、サーバとクライアント間の通信路の
コストを考慮して、各サーバに転送要求するデータの範
囲と前記サーバへの同時要求数を決定することで、より
並列性の高いデータ転送を行ない、データ転送処理時間
の短縮を図る。
【0009】
【発明の実施の形態】システム構成の例を図1に示す。
【0010】クライアント1000とサーバ1002、
サーバ1004およびサーバ1006はそれぞれ通信回
線で接続されており、通信路1100、通信路1102
および通信路1104で通信可能である。さらに前記サ
ーバは同じデータ1002、データ1004およびデー
タ1006の一部もしくは全てを保持している。
【0011】クライアント1000が、前記サーバで管
理されているデータ1202、データ1204およびデ
ータ1206と同じデータ1200を前記サーバ群から
取得する際、前記通信路1100、通信路1102およ
び通信路1104を使用した際のデータ転送の通信コス
トを考慮して、サーバ1002からはデータ1212
を、サーバ1004からはデータ1214およびデータ
1215を、サーバ1006からはデータ1216をそ
れぞれ並列に収集する。なお、サーバ1004から取得
するデータ1214、データ1215は、通信路110
2をさらに多重化して並列にデータを転送する。
【0012】図1におけるクライアント1000内のデ
ータ取得要求処理部の構成を図2に示す。
【0013】要求受信部2000は、図1におけるデー
タ1200の取得要求を受信してデータ保守情報収集部
2006に渡す。前記データ保守情報収集部2006
は、サーバ通信部2010を使用して、図1におけるサ
ーバ1002やサーバ1004、サーバ1006と通信
して、前記各サーバが保持する、前記要求されたデータ
の保持情報を収集して、前記サーバと通信するのに必要
な通信コストと共に、サーバデータ及びデータ管理情報
2008として記録する。また、要求先サーバ及び同時
要求数決定部2004は、前記サーバデータ及びデータ
管理情報2008を元にして、前記サーバのうち要求さ
れたデータのどの部分をどのサーバに要求し、前記要求
を同時に幾つかに分けて前記サーバに要求するかを決定
する。そして、データ収集及び結合部2002は前記決
定に従いサーバ通信部2010を通して前記サーバ10
02、サーバ1004、サーバ1006と通信しなが
ら、要求されたデータを収集し結合して要求受信部20
00に返す。
【0014】図2におけるサーバデータ及びデータ管理
情報2008の保持情報の例を図3に示す。
【0015】図3の表は、データ毎に1つずつ存在し、
一行でエントリとなっている。すなわち、行3000、
行3002、行3004、行3006がそれぞれエント
リである。列3100はエントリのサーバ識別子であ
り、列3012は前記識別子で示すサーバが、データの
どの部分を保持しているかを示す情報である。また、列
3104は、前記サーバ識別子で示されるサーバとクラ
イアントが通信する際の通信コストを示す値である。こ
こでは通信コストとして、クライアントとサーバとの間
のパケットの往復時間を使用するが、他に、通信回線の
回線速度、データ通信にかかる費用、過去の通信記録に
よる平均通信速度、管理者が決定する固定の値等が使用
できる。
【0016】図2におけるデータ受信要求の処理の流れ
を、図4に示す。
【0017】クライアントの図1に示すデータ1200
の読み込み要求が発生すると(4002)、前記データ
を保持するサーバと前記サーバが保持するデータの範囲
を図2に示す2006が収集し(4004)、その結果
から、転送要求を出すサーバと前記サーバへの同時要求
数を図2における要求先サーバ及び同時要求数決定部2
004にて決定し(4006)、前記決定を元に、図2
におけるデータ収集及び結合部2002で、各サーバに
データ転送要求を並列に送信して(4008)、データ
が全てそろうまで(4010)、データを受信し(40
12)、収集した結果を結合して(4014)、前記4
002において発生したデータ読み込み要求の結果とす
る。なお、前記データを保持するサーバと前記サーバが
保持するデータの範囲を収集する処理4004は、予め
前記データを持つサーバや持っているデータの範囲がわ
かっている場合は、特に処理は行なわない。
【0018】図4における、データ転送要求及び前記サ
ーバへの同時要求数を決定する処理4006の処理の流
れを図5に示す。
【0019】まず、収集するデータを1つ以上の範囲に
分割し(5002)、全ての範囲の取得先サーバを決定
するまで(5004)、各範囲について(5006)、
前記範囲を管理するサーバのうち最も通信コストがかか
らないサーバを前記範囲を要求先のサーバとして選択す
る(5008)。全ての範囲の取得先サーバが決定する
と、次は全ての範囲の同時要求数を決定するまで(50
10)、全ての範囲について(5012)、前記範囲が
他の範囲の2倍以上のデータ量がある(5014)、も
しくは前記範囲を取得するのに他の範囲のデータを取得
する際に比べて2倍以上の通信コストがかかる(501
6)サーバについては、前記サーバに対して前記範囲の
転送要求を発行する際に分割して要求する数を増やす
(5018)。
【0020】図4における、データ転送要求及び前記サ
ーバへの同時要求数を決定する処理4006の図5で示
した方式とは別の方式の処理の流れを図6に示す。
【0021】まず転送要求が発行されたデータの範囲を
1つ以上の範囲に分割し(6002)、全ての範囲の要
求転送先のサーバが決定するまで(6004)、データ
を保持するサーバが最も少ない範囲を選択して前記範囲
のデータの要求先サーバとし(6006)、前記範囲を
除いて既に割り当てられた範囲を全て転送するのに最も
コストのかからないサーバを選択して前記範囲の要求転
送先として割り当てる(6008)。
【0022】図4における、目的のデータを保持するサ
ーバと、前記サーバが保持するデータの範囲を収集する
処理4004の処理の流れを図7に示す。
【0023】まず取得するデータを保持していると思わ
れるサーバに目的のデータの保持情報取得要求を送信し
(7002)、前記要求のリプライが全て返ってくるま
で(7004)、受信した各リプライについて(700
6)、前記要求送信時からリプライが返ってくるまでに
かかった時間と(7008)、リプライ中の前記データ
の保持情報を取りだして(7010)、図3に示したサ
ーバデータ及びデータ管理情報の、経過時間は通信コス
トとして図3の列3104に、保持情報は各サーバが管
理するサーバの範囲として図3の列3102にそれぞれ
格納する(7012)。
【0024】図1において、クライアント1000にあ
るデータ1200を、サーバ1002、サーバ1004
およびサーバ1006のデータ1202、データ120
4およびデータ1206に書き込む時の処理の流れを図
8に示す。
【0025】図1におけるクライアント1000でデー
タ1200の保存要求が発生すると(8000)、各サ
ーバとの通信にかかる通信コストを考慮してデータの範
囲を分割し(8002)、前記データを保存するサーバ
に並列にデータを転送し(8004)、全て転送処理が
終了するまで待つ(8006)。転送処理時にエラーが
発生していると(8008)、再度前記転送時にエラー
が発生したサーバ以外のサーバに対して、保存先を決定
する処理8002から前記転送に失敗したデータについ
てのみ再度処理する。
【0026】クライアントとサーバが通信する際に2つ
以上の通信路を使用して並列にデータ転送を行なう様子
を図9に示す。
【0027】図9で、クライアント9100はサーバ9
102と通信路9200、通信路9202および通信路
9204で接続されている。このとき、サーバ9102
にあるデータ9002をクライアント9100にデータ
9000として転送するとき、前記通信路のうち1つで
前記データ9002を全て転送するのではなく、通信路
9200、通信路9202、通信路9204の通信コス
トを考慮して、データ9002を、データ9004、デ
ータ9006およびデータ9008に分割し、データ9
002は通信路9200で、データ9006は通信路9
202で、データ9008は通信路9204でそれぞれ
並列に転送し、クライアント9100で前記転送したデ
ータを結合してデータ9000とする。
【0028】
【発明の効果】本発明を利用すると、通信速度が不均一
な計算機ネットワークにおいて、クライアントとサーバ
の間のデータ転送を効率よく並列化し高速に転送処理が
行なえる。
【図面の簡単な説明】
【図1】システム構成である。
【図2】クライアント内データ取得要求処理部構成であ
る。
【図3】サーバデータ及びデータ管理情報である。
【図4】データ取得要求処理部の処理の流れである。
【図5】データ転送要求及び前記サーバへの同時要求数
決定処理の流れ1である。
【図6】データ転送要求及び前記サーバへの同時要求数
決定処理の流れ2である。
【図7】データ管理サーバ及び保持データ範囲情報収集
方法である。
【図8】データ保存要求処理時の処理の流れである。
【図9】多重通信路による並列データ転送である。
【符号の説明】
1000…クライアント、 1100…通信路、
1200…データ。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】要求に応じてデータの保存や読み出しを行
    なう計算機であるサーバと、前記サーバに対してデータ
    の保存要求や読み出し要求を送る計算機であるクライア
    ントがそれぞれ1つ以上ずつ存在し、 前記各クライアントと前記サーバ群のうちの1つ以上の
    サーバがそれぞれ通信路で接続され、 ソフトウェアにより通信路を多重化した仮想通信路によ
    り、前記クライアントと前記サーバが前記通信路上で同
    時に1つ以上の通信が行なえるクライアントサーバシス
    テムにおいて、 前記サーバ群のうち1つ以上のサーバがそれぞれ前記ク
    ライアントが要求するデータを保持する時、 前記クライアントが前記データの一部もしくは全ての転
    送要求を発行すると、 前記各サーバと前記クライアントとの間の通信路のコス
    トを考慮して、 前記各サーバに要求するデータの範囲と前記各サーバと
    の通信時に同時に使用する仮想通信路数を決定し、 前記各サーバからそれぞれ前記決定したデータの範囲を
    並列に転送する並列データ転送方法。
  2. 【請求項2】要求に応じてデータの保存や読み出しを行
    なう計算機であるサーバと、前記サーバに対してデータ
    の保存要求や読み出し要求を送る計算機であるクライア
    ントがそれぞれ1つ以上ずつ存在し、 前記各クライアントと前記サーバ群のうちの1つ以上の
    サーバがそれぞれ通信路で接続され、 ソフトウェアにより通信路を多重化した仮想通信路によ
    り、前記クライアントと前記サーバが前記通信路上で同
    時に1つ以上の通信が行なえるクライアントサーバシス
    テムにおいて、 前記サーバ群のうち1つ以上のサーバがそれぞれ前記ク
    ライアントが要求するデータの一部もしくは全てを保持
    する時、 前記クライアントが前記データの一部もしくは全ての転
    送要求を発行すると、 前記各サーバがそれぞれ前記データのうちどの部分を保
    持するかの情報を取得し、 前記各サーバと前記クライアントとの間の通信路のコス
    トを考慮して、 要求した前記データの一部を保持するサーバのうち、前
    記各サーバ計算機に要求する前記データの範囲と前記サ
    ーバ毎の通信時に同時に使用する仮想通信路数を決定
    し、 前記各サーバからそれぞれ前記決定したデータの範囲を
    並列に転送する並列データ転送方法。
  3. 【請求項3】請求項1または請求項2における並列デー
    タ転送方法において、 前記クライアントが要求する前記データを1つ以上の範
    囲に分割し、 前記データの範囲を保持するサーバ群のうち最も通信コ
    ストがかからないサーバを選択する処理を前記データの
    全ての範囲について繰り返し、 前記各サーバのうち、転送するデータの範囲が広いもし
    くはデータ転送に時間がかかると予測されるサーバにつ
    いては同時に使用する仮想通信路数を増やして、 前記各サーバに要求する前記データの範囲と前記各サー
    バ毎の通信時に同時に使用する仮想通信路数を決定する
    並列データ転送方法。
  4. 【請求項4】請求項1または請求項2における並列デー
    タ転送方法において、 前記データを1つ以上の範囲に分け、 前記範囲のそれぞれについて、保持するサーバが少ない
    範囲から順に、 前記範囲を保持するサーバ群のうち、既に割り当てられ
    ているデータの範囲を全て転送するのに必要な通信コス
    トの少ないサーバ程広い範囲が割り当てられるように前
    記データの範囲を転送するサーバを決定していき、 前記データの全ての範囲について転送要求を処理するサ
    ーバが決定すると、 前記各サーバからそれぞれ前記決定した範囲のデータを
    並列に転送する並列データ転送方法。
  5. 【請求項5】要求に応じてデータの保存や読み出しを行
    なう計算機であるサーバと、前記サーバに対してデータ
    の保存要求や読み出し要求を送る計算機であるクライア
    ントがそれぞれ1つ以上ずつ存在し、 前記各クライアントと前記サーバ群のうちの1つ以上の
    サーバがそれぞれ通信路で接続され、 ソフトウェアにより通信路を多重化した仮想通信路によ
    り、前記クライアントと前記サーバが前記通信路上で同
    時に1つ以上の通信が行なえるクライアントサーバシス
    テムにおいて、 前記サーバのうち2つ以上のサーバに対して前記クライ
    アント計算機がデータの保存要求を発行する際、 前記サーバ群のうち前記データの保存要求を処理するサ
    ーバ群を決定し、 前記各サーバと前記クライアントとの間の通信路のコス
    トを考慮して、 前記サーバのそれぞれに転送するデータの範囲を決定
    し、 前記サーバに前記決定したデータの範囲を並列に転送す
    る並列データ転送方法。
  6. 【請求項6】請求項1または請求項2または請求項5に
    おける並列データ転送方法において、 前記サーバと前記クライアントの間の通信路が2つ以上
    存在する場合、 前記サーバと前記クライアントの間で転送するデータ
    を、 前記各通信路の通信コストを考慮して、前記各通信路で
    転送するデータの範囲と前記各通信路の通信時に同時に
    使用する仮想通信路数を決定し、 前記通信路を使用して前記データを並列に転送する並列
    データ転送方法。
JP9100000A 1997-04-17 1997-04-17 並列データ転送方法 Pending JPH10289187A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9100000A JPH10289187A (ja) 1997-04-17 1997-04-17 並列データ転送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9100000A JPH10289187A (ja) 1997-04-17 1997-04-17 並列データ転送方法

Publications (1)

Publication Number Publication Date
JPH10289187A true JPH10289187A (ja) 1998-10-27

Family

ID=14262340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9100000A Pending JPH10289187A (ja) 1997-04-17 1997-04-17 並列データ転送方法

Country Status (1)

Country Link
JP (1) JPH10289187A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032280A (ja) * 2000-07-13 2002-01-31 Ism Consulting Firm Kk 分散型サーバによるコンテンツ及びソフトウェア配信サービスシステム、及び分散型サーバによるコンテンツ及びソフトウェア配信方法、並びに情報記憶媒体
KR20030019900A (ko) * 2001-08-28 2003-03-07 문의선 분산 처리 및 피어 대 피어 통신을 이용한 네트워크 상의정보 전송 병렬화 방법 및 그 시스템
JP2007080161A (ja) * 2005-09-16 2007-03-29 Nec Personal Products Co Ltd データ配信システム、部分コンテンツ格納サーバ、応答高速化方法、及びプログラム
JP2007286946A (ja) * 2006-04-18 2007-11-01 Hitachi Ltd 計算機システム、アクセス制御方法及び管理計算機
JP2009217836A (ja) * 2000-02-07 2009-09-24 Netli Inc ウェブ・コンテンツの高性能配信の方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217836A (ja) * 2000-02-07 2009-09-24 Netli Inc ウェブ・コンテンツの高性能配信の方法
JP2002032280A (ja) * 2000-07-13 2002-01-31 Ism Consulting Firm Kk 分散型サーバによるコンテンツ及びソフトウェア配信サービスシステム、及び分散型サーバによるコンテンツ及びソフトウェア配信方法、並びに情報記憶媒体
KR20030019900A (ko) * 2001-08-28 2003-03-07 문의선 분산 처리 및 피어 대 피어 통신을 이용한 네트워크 상의정보 전송 병렬화 방법 및 그 시스템
JP2007080161A (ja) * 2005-09-16 2007-03-29 Nec Personal Products Co Ltd データ配信システム、部分コンテンツ格納サーバ、応答高速化方法、及びプログラム
JP2007286946A (ja) * 2006-04-18 2007-11-01 Hitachi Ltd 計算機システム、アクセス制御方法及び管理計算機
US8127097B2 (en) 2006-04-18 2012-02-28 Hitachi, Ltd. Dual writing device and its control method
US8332603B2 (en) 2006-04-18 2012-12-11 Hitachi, Ltd. Dual writing device and its control method

Similar Documents

Publication Publication Date Title
JP4068473B2 (ja) ストレージ装置、分担範囲決定方法及びプログラム
US7051115B2 (en) Method and apparatus for providing a single system image in a clustered environment
US6789141B2 (en) Information processing apparatus and communication path selection method
US7899851B2 (en) Indexing method of database management system
CN109388590B (zh) 提升多通道dma访问性能的动态缓存块管理方法和装置
US20100082899A1 (en) Management computer and operating method thereof
JPH0793205A (ja) 分散ファイルシステム
JP2007304665A (ja) ピア・ツー・ピア型のネットワークに接続される装置および分散システム
CN101566927A (zh) 存储系统和存储控制器以及数据缓存方法
JP2012064197A (ja) 分散ファイルストレージシステムにおけるファイルアクセス管理方法
US20100146230A1 (en) System for storing and/or retrieving a data-set and method thereof
CN110377800B (zh) 一种fc芯片数据发送方法及系统
JP2006507591A (ja) 単一システムにおけるマルチプル・ネイティブ・ネットワーク・プロトコル実施の効率的なサポート
CN112597173A (zh) 一种分布式数据库集群系统对等处理系统及处理方法
JPH10289187A (ja) 並列データ転送方法
US8578053B2 (en) NAS load balancing system
WO2006090408A2 (en) Input/output tracing in a protocol offload system
CN119847953A (zh) 一种面向axi协议片上网络的读交易管理方法
US20040143648A1 (en) Short-cut response for distributed services
JP3954296B2 (ja) ファイル共有システム
US20050240738A1 (en) Storage apparatus
JPH04313126A (ja) 分散ファイルシステムのファイル入出力方式
CN112395453B (zh) 一种自适应分布式遥感影像缓存及检索方法
WO2010018637A1 (ja) 業務フロー分散処理システム及び方法
GB2489735A (en) Cache system
点击 这是indexloc提供的php浏览器服务,不要输入任何密码和下载