JP2000207370A - 分散ファイル管理装置及び分散ファイル管理システム - Google Patents
分散ファイル管理装置及び分散ファイル管理システムInfo
- Publication number
- JP2000207370A JP2000207370A JP11011513A JP1151399A JP2000207370A JP 2000207370 A JP2000207370 A JP 2000207370A JP 11011513 A JP11011513 A JP 11011513A JP 1151399 A JP1151399 A JP 1151399A JP 2000207370 A JP2000207370 A JP 2000207370A
- Authority
- JP
- Japan
- Prior art keywords
- distributed file
- server computer
- partial
- file
- file management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
のサーバ計算機で適切な負荷分散を行うことができる分
散ファイル管理システムを提供する。 【解決手段】 本発明の分散ファイル管理システムは、
サーバ計算機A、B、Cと、クライアント計算機群10
8〜110と、ネットワーク101とを備えている。サ
ーバ計算機A105は、部分ファイルを記録する記憶装
置115と、ネットワークインタフェース113と、部
分ファイルの書き込みや読み出しを制御する部分ファイ
ル管理部111と、負荷を監視し、負荷情報を保持する
状態管理部114と、分散ファイル管理部112とによ
って構成されている。各サーバ計算機A、B、Cの負荷
情報に基づいて部分ファイルの配置を決定するため、特
定のサーバ計算機への負荷の集中を回避することができ
る
Description
トワークシステムにおいて複数の端末にファイルを分散
して管理する分散ファイル管理装置及び分散ファイル管
理システムに関する。特には、複数のサーバ計算機及び
クライアント計算機をネットワークで接続したサーバ・
クライアント型のコンピュータネットワークシステムに
おいて、複数のサーバ計算機でファイルを分散して管理
する分散ファイル管理装置及び分散ファイル管理システ
ムに関する。
イアント計算機をネットワークで接続したサーバ・クラ
イアント型のコンピュータネットワークシステム(以
下、単に「ネットワークシステム」ともいう)に適用さ
れる分散ファイル管理技術として、例えば、特開平8−
77054号広報に開示されている分散ファイルシステ
ムなどがある。
開示されている従来の分散ファイルシステムを示す。図
30において、この従来の分散ファイルシステムは、複
数のサーバ計算機3002、3003、3004、30
05と、複数のクライアント計算機3006、300
7、3008と、これら複数のサーバ計算機3002、
3003、3004、3005及び複数のクライアント
計算機3006、3007、3008を接続するネット
ワーク3001と、を備えている。
ファイルAの部分ファイルA−1(3002−1)と分
散ファイルBの部分ファイルB−1(3002−3)が
保持されている。また、サーバ計算機3003には、分
散ファイルAの部分ファイルA−2(3003−1)と
分散ファイルBの部分ファイルB−2(3003−2)
が保持されている。また、サーバ計算機3004には、
分散ファイルAの部分ファイルA−3(3004−1)
と分散ファイルBの部分ファイルB−3(3004−
2)が保持されている。
計算機3002、3003、3004に保持されている
それぞれの部分ファイルA−1〜A−3、B−1〜B−
3を管理する分散ファイル管理部3005−2を備え、
クライアント計算機3006、3007、3008から
の部分ファイルの参照要求または更新要求(以下、単に
「参照/更新要求」ともいう)に対してその振り分けを
行なうための参照/更新要求振り分け情報3005−1
を保持している。
散ファイル作成要求に応じて分散ファイルの部分ファイ
ルを作成する分散ファイル作成部3006−1と、分散
ファイルに対する更新要求に応じて、サーバ計算機30
05の参照/更新要求振り分け情報3005−1に基づ
いて該分散ファイルの部分ファイルの所在を決定する更
新要求振り分け部3006−2と、分散ファイルに対す
る参照要求に応じて、サーバ計算機3005の参照/更
新要求振り分け情報3005−1に基づいて該分散ファ
イルの部分ファイルの所在を決定する参照要求振り分け
部3006−3と、を備えている。なお、他のクライア
ント計算機3007、3008も同様の構成になってい
る。
れば、例えば、クライアント計算機3006の利用者が
分散ファイルの作成を要求した場合、クライアント計算
機3006の分散ファイル作成部3006−1は、予め
決められている振り分け条件に基づいて当該分散ファイ
ルの部分ファイルを作成するサーバ計算機を決定し、該
サーバ計算機に分散ファイルの部分ファイルを作成す
る。そして、この部分ファイルの作成と同時に、どのサ
ーバ計算機に部分ファイルを作成したかを表す参照/更
新要求振り分け情報3005−1を生成する。この参照
/更新要求振り分け情報3005−1は、ネットワーク
3001を介してサーバ計算機3005に送信され、サ
ーバ計算機3005で保持される。
6の利用者が分散ファイルを参照または更新する参照/
更新要求を行なった場合、まず、クライアント計算機3
006は、サーバ計算機3005の分散ファイル管理部
3005−2に対して、該当する分散ファイルのオープ
ン要求を行なう。サーバ計算機3005の分散ファイル
管理部3005−2は、クライアント計算機3006か
らの分散ファイルのオープン要求に対応して、クライア
ント計算機3006へネットワーク3001を介して当
該分散ファイルに関する参照/更新要求振り分け情報3
005−1を送信する。クライアント計算機3006の
更新要求振り分け部3006−2または参照要求振り分
け部3006−3は、サーバ計算機3005から受け取
った参照/更新要求振り分け情報3005−1に基づい
て、分散ファイルの部分ファイルを保持しているサーバ
計算機に対し、参照/更新要求を送信する。
においては、分散ファイルを複数の部分ファイルに分割
し、分散ファイルに対する処理(作成、参照、更新)を
部分ファイル単位の処理に分散することにより、1つの
分散ファイルに対して複数の処理要求が集中した場合に
も、1つのサーバ計算機に負荷を集中させずに、負荷の
分散を行なうことができる。
に示したような従来の分散ファイルシステムにおいて
は、分散ファイルを構成する部分ファイルを作成する際
に、予め決められている固定的な振り分け規則に基づい
て、該部分ファイルを作成するサーバ計算機を決定して
いるため、サーバ計算機へのファイルの分散において現
実的なサーバ計算機の負荷情報を考慮したものにはなっ
ていない。このため、実際には、アクセスや処理が集中
して負荷の高くなっているサーバ計算機に対して、さら
に部分ファイルの作成要求が発生することがある。その
ため、特定のサーバ計算機のみの負荷が大きくなる場合
があり、複数のサーバ計算機で適切な負荷分散が行なわ
れないという問題があった。
ては、上記の振り分け規則に基づいて、一度固定的に部
分ファイルの振り分けをサーバ計算機に行なってしまう
と、その振り分け以後、すなわち、振り分けられたサー
バ計算機での部分ファイルの作成以後には、作成された
部分ファイルの移動やコピーを行なわないため、特定の
部分ファイルへのアクセスが集中した場合、アクセスに
よる負荷の分散を行なうことができないという問題があ
った。
作成、参照、更新において、複数のサーバ計算機で適切
な負荷分散を行うことができる分散ファイル管理装置及
び分散ファイル管理システムを提供することである。
に、本発明に係る第1の態様の分散ファイル管理装置
は、 データを記憶する記憶手段を有する複数のサーバ
計算機と1または複数のクライアント計算機とが接続さ
れているネットワークに接続された分散ファイル管理装
置であって、 複数のサーバ計算機の負荷情報を保持し
て管理する状態管理手段と、 クライアント計算機から
の分散ファイルの処理要求に対応して、分散ファイルの
部分ファイルを特定し、状態管理手段で管理されている
負荷情報に基づいて、部分ファイルを処理するサーバ計
算機を決定する分散ファイル管理手段と、を備えること
を特徴とする。
において、 状態管理手段は、他の分散ファイル管理装
置へ負荷情報を通知し、また、他の分散ファイル管理装
置から通知されたサーバ計算機の負荷情報を外部負荷情
報として保持する外部状態管理手段を備えることもでき
る。
ストによって他の分散ファイル管理装置へ負荷情報を通
知するようにしてもよい。また、外部状態管理手段は、
他の分散ファイル管理装置のうち、隣接する他の分散フ
ァイル管理装置に負荷情報を通知することもできる。
に係る第1の態様の分散ファイル管理システムは、 複
数のサーバ計算機と、1または複数のクライアント計算
機と、複数のサーバ計算機及び1または複数のクライア
ント計算機を接続するネットワークとを備えた分散ファ
イル管理システムにおいて、 複数のサーバ計算機の各
々は、 分散ファイルの一部または全部を構成する部分
ファイルを記憶する記憶手段と、 負荷情報を保持して
管理する状態管理手段と、 クライアント計算機からの
分散ファイルの処理要求に対応して、分散ファイルの部
分ファイルを特定し、状態管理手段で管理されている負
荷情報に基づいて、部分ファイルを処理するサーバ計算
機を決定する分散ファイル管理手段と、を備えることを
特徴とする。
テムにおいて、 状態管理手段は、他のサーバ計算機へ
負荷情報を通知し、また、他のサーバ計算機から通知さ
れた当該他のサーバ計算機の負荷情報を外部負荷情報と
して保持する外部状態管理手段を備えるようにしてもよ
い。 ここで、外部状態管理手段は、マルチキャストに
よって他のサーバ計算機へ負荷情報を通知することもで
きる。
理装置及び分散ファイル管理システムにおいて、 複数
のサーバ計算機は、1または複数のサーバ計算機群にグ
ループ分けされており、 外部状態管理手段は、1また
は複数のサーバ計算機群のうち、所定のサーバ計算機群
に属する他のサーバ計算機へ負荷情報を通知するように
してもよく、または、外部状態管理手段は、1または複
数のサーバ計算機群のうち、隣接するサーバ計算機群に
属する他のサーバ計算機に前記負荷情報を通知するよう
にしてもよい。
ァイル毎のアクセス情報、負荷情報、及び外部負荷情報
に基づいて移動する部分ファイルと移動先の他のサーバ
計算機を決定し、該部分ファイルを該サーバ計算機へ移
動する分散ファイル移動手段を備えることもできる。
報に含まれる記憶手段の負荷が所定の値よりも大である
ことを検知し、外部負荷情報とアクセス情報に基づいて
移動する部分ファイルと移動先の他のサーバ計算機を決
定し、該部分ファイルを該他のサーバ計算機へ移動する
ようにしてもよく、 または、分散ファイル移動手段
は、負荷情報に含まれる記憶手段の残容量が所定の値よ
り小であることを検知し、外部負荷情報とアクセス情報
に基づいて移動する部分ファイルと移動先の他のサーバ
計算機を決定し、該部分ファイルを該他のサーバ計算機
へ移動するようにしてもよい。 また、分散ファイル移
動手段は、負荷情報に含まれるネットワークの負荷が所
定の値よりも大であることを検知し、外部負荷情報とア
クセス情報に基づいて移動する部分ファイルと移動先の
他のサーバ計算機を決定し、該部分ファイルを該他のサ
ーバ計算機へ移動することもでき、 または、分散ファ
イル移動手段は、負荷情報、外部負荷情報、アクセス情
報、及びクライアント計算機と複数のサーバ計算機との
間の接続情報に基づいて、部分ファイルを保持している
記憶手段を有するサーバ計算機と処理要求を行ったクラ
イアント計算機との間の通信コストを求め、該通信コス
トよりも小の通信コストとなる他のサーバ計算機を決定
し、該他のサーバ計算機へ部分ファイルを移動するよう
にしてもよい。
ァイルの移動先となる他のサーバ計算機に対して、予め
前記部分ファイルの移動が可能か否かを確認することも
でき、 また、分散ファイル移動手段は、部分ファイル
を他のサーバ計算機へ移動した際に、他のサーバ計算機
からサーバ計算機に他の部分ファイルを移動することも
できる。 さらに、分散ファイル移動手段は、部分ファ
イルを移動することができる他のサーバ計算機の候補を
リストにし、該リストに基づいて、部分ファイルを移動
する他のサーバ計算機を決定するようにしてもよい。
また、分散ファイル移動手段は、部分ファイルの移動と
共に、部分ファイルを作成したサーバ計算機に関する情
報を他のサーバ計算機に送るようにすることもできる。
分ファイル毎のアクセス情報、負荷情報、及び外部負荷
情報に基づいて、コピーする部分ファイルとコピー先の
他のサーバ計算機を決定し、部分ファイルを他のサーバ
計算機にコピーする分散ファイルコピー手段を備えるこ
ともできる。
荷情報に含まれる記憶手段の負荷が所定の値よりも大で
あることを検知し、外部負荷情報とアクセス情報に基づ
いてコピーする部分ファイルとコピー先の他のサーバ計
算機を決定し、該部分ファイルを該他のサーバ計算機へ
コピーするようにしてもよく、 分散ファイルコピー手
段は、負荷情報に含まれるネットワークの負荷が所定の
値よりも大であることを検知し、外部負荷情報とアクセ
ス情報に基づいてコピーする部分ファイルと移動先の他
のサーバ計算機を決定し、該部分ファイルを該他のサー
バ計算機へコピーするようにしてもよい。 または、分
散ファイルコピー手段は、負荷情報、外部負荷情報、ア
クセス情報、及びクライアント計算機と複数のサーバ計
算機との間の接続情報に基づいて、部分ファイルを保持
している記憶手段を有するサーバ計算機と処理要求を行
ったクライアント計算機との間の通信コストを求め、該
通信コストよりも小の通信コストとなる他のサーバ計算
機を決定し、該他のサーバ計算機へ部分ファイルをコピ
ーするようにすることもできる。
ファイルのコピー先となる他のサーバ計算機に対して、
予め部分ファイルのコピーが可能か否かを確認するよう
にするとよい。 また、分散ファイルコピー手段は、部
分ファイルを他のサーバ計算機へコピーした際に、他の
サーバ計算機からサーバ計算機に他の部分ファイルをコ
ピーしてもよい。 また、分散ファイルコピー手段は、
部分ファイルをコピーすることができる他のサーバ計算
機の候補をリストにし、該リストに基づいて、部分ファ
イルをコピーする他のサーバ計算機を決定するようにす
ることもできる。 さらに、分散ファイルコピー手段
は、部分ファイルをコピーする複数のコピー先の他のサ
ーバ計算機を選択し、選択された複数の他のサーバ計算
機へマルチキャストによって同時に部分ファイルをコピ
ーすることもできる。
情報は、記憶手段の容量及び負荷、並びにネットワーク
と複数のサーバ計算機との間の通信負荷を含むことがで
きる。
管理装置及び分散ファイル管理システムにおいて、 サ
ーバ計算機は、部分ファイルを記憶手段に書き込み、ま
た、部分ファイルを記憶手段から読み出す部分ファイル
管理手段を備えることもできる。
アント計算機からの処理要求が分散ファイルの作成要求
の場合には、該分散ファイルを複数の部分ファイルに分
割し、分割した部分ファイルを保持するサーバ計算機を
状態管理手段で管理されている負荷情報に基づいて決定
し、 クライアント計算機からの処理要求が分散ファイ
ルの参照要求または更新要求の場合には、参照要求また
は更新要求の処理の対象となる部分ファイルの存在を決
め、処理要求を処理するサーバ計算機を状態管理手段で
管理されている負荷情報に基づいて決定する、ようにし
てもよい。
ント計算機からの情報に基づいて、分散ファイルの一部
または全部を構成する部分ファイルのサイズを決定する
部分ファイルサイズ決定手段を備えるようにすることが
でき、 または、分散ファイル管理手段は、分散ファイ
ルに記録されているデータの種類に基づいて、分散ファ
イルの一部または全部を構成する部分ファイルのサイズ
を決定する部分ファイルサイズ決定手段を備えるように
してもよい。
及び分散ファイル管理システムにおいては、分散ファイ
ル管理手段が、サーバ計算機の負荷情報に基づいて、部
分ファイルを配置するサーバ計算機を決定するため、特
定のサーバ計算機への負荷の集中を回避することができ
る。
バ計算機の負荷情報に基づいて、部分ファイルを配置す
るサーバ計算機を決定するため、特定のサーバ計算機で
負荷が集中することを回避できる。
移動することによって、特定のサーバ計算機の記憶手段
への負荷の集中や、記憶手段の容量の不均衡を回避する
ことができる。また、部分ファイルを他のサーバ計算機
にコピーすることによって、特定のサーバ計算機の記憶
装置への負荷の集中を回避することができる。
ルのサイズを適宜変更することができるため、論理的、
内容的に関連のあるデータ、例えば、画像1フレーム分
のデータなどを複数の部分ファイルに分割してしまうこ
とを避けられる。
装置及び分散ファイル管理システムの実施の形態につい
て、図1から図29を用いて説明する。
分散ファイル管理システムの第1の実施の形態の一例を
示す構成図である。図1において、この分散ファイル管
理システムは、パーソナルコンピュータやワークステー
ションなどのサーバ計算機及びパーソナルコンピュータ
やワークステーションなどの複数のクライアント計算機
から成るクライアント計算機群を備えた複数の計算機サ
イトA102、計算機サイトB103、及び計算機サイ
トC104と、計算機サイトA102、計算機サイトB
103、及び計算機サイトC104を相互に接続するロ
ーカルエリアネットワークやワイドエリアネットワーク
などのネットワーク101とを備えている。
ナルコンピュータやワークステーションなどの複数のサ
ーバ計算機(図1においては、「サーバ計算機A10
5」のみ示す)と、パーソナルコンピュータやワークス
テーションなどのクライアント計算機1〜n(108−
1〜108−n)から成るクライアント計算機群A10
8とを備えている。この計算機サイトA102は、複数
のサーバ計算機(図1においては、「サーバ計算機A1
05」のみ示す)とクライアント計算機群A108とを
イーサネットなどの内部ネットワーク131で接続して
おり、例えば、インターネットドメインになっている。
算機サイトB103は、複数のサーバ計算機(図1にお
いては、「サーバ計算機B106」のみ示す)と、複数
のクライアント計算機から成るクライアント計算機群B
109とを備え、計算機サイトC104は、複数のサー
バ計算機(図1においては、「サーバ計算機C107」
のみ示す)と、複数のクライアント計算機から成るクラ
イアント計算機群C110とを備えている。さらに、こ
れらの計算機サイトB103及び計算機サイトC104
は、計算機サイトA102と同様に、複数のサーバ計算
機(図1においては、「サーバ計算機B106」及び
「サーバ計算機C107」のみ示す)と、クライアント
計算機群B109及びクライアント計算機群C110と
を、それぞれ内部ネットワーク132及び内部ネットワ
ーク133で接続しており、例えば、インターネットド
メインになっている。
部分ファイルを記録するハードディスクなどの記憶装置
115と、イーサネットなどの内部ネットワーク131
へ接続するためのネットワークインタフェース113
と、部分ファイルを記録している記憶装置115への書
き込みや読み出しを制御する部分ファイル管理部111
と、記憶装置115に対する負荷や記憶装置115の残
り容量、及びネットワークインタフェース113に対す
る負荷を監視し、これらの負荷や容量に関する情報を保
持する状態管理部114と、部分ファイル管理部11
1、状態管理部114、及びネットワークインタフェー
ス113に接続された分散ファイル管理部112とによ
って構成されている。
ァイルの書き込みや読み出しを部分ファイル管理部11
1に指示する。また、分散ファイル管理部112は、分
散ファイルを作成する場合には、状態管理部114から
得られる情報に基づいて、分散ファイルを複数の部分フ
ァイルに分割し、各部分ファイルを配置(記録)するサ
ーバ計算機を決定する。また、以前に作成された分散フ
ァイルを参照または更新する場合には、該当する分散フ
ァイルの部分ファイルが存在する(記録されている)サ
ーバ計算機を決定する。
107は、サーバ計算機A105と同様の構成になって
いる。すなわち、サーバ計算機B106は、記憶装置1
20と、ネットワークインタフェース118と、部分フ
ァイル管理部116と、状態管理部119と、分散ファ
イル管理部117とによって構成されている。また、サ
ーバ計算機C107は、記憶装置125と、ネットワー
クインタフェース123と、部分ファイル管理部121
と、状態管理部124と、分散ファイル管理部122と
によって構成されている。
図である。図2において、分散ファイル201は、複数
の部分ファイル202−1〜202−nによって構成さ
れている。
Cが作成された後の状態を示している。すなわち、サー
バ計算機A105の記憶装置115には、分散ファイル
Aの部分ファイルA1(126a)と分散ファイルBの
部分ファイルB1(126b)とが記録されている。ま
た、サーバ計算機B106の記憶装置120には、分散
ファイルCの部分ファイルC1(126e)と分散ファ
イルCの部分ファイルC2(126f)とが記録されて
いる。また、サーバ計算機C107の記憶装置125に
は、分散ファイルAの部分ファイルA2(126c)と
分散ファイルAの部分ファイルA3(126d)とが記
録されている。
ル管理システムの動作について説明する。以下において
は、クライアント計算機群A108のクライアント計算
機1(108−1)からサーバ計算機A105に対して
分散ファイルAの作成要求が発行され、図1に示したよ
うな部分ファイルA1〜A3が作成される場合の分散処
理を例にして説明する。ここで、図1に示した記憶装置
115、120、125は、それぞれ複数の記憶部また
は記憶領域(以下、単に「記憶部」ともいう)を有する
ものとする。これらの複数の記憶部は、物理的に1つの
記録媒体であってもよく、また、複数の記録媒体であっ
てもよい。
1(108−1)からサーバ計算機A105に分散ファ
イルAの作成要求が発行される。この分散ファイルAの
作成要求は、内部ネットワーク131及びサーバ計算機
A105のネットワークインタフェース113を介し
て、サーバ計算機A105の分散ファイル管理部112
によって受け取られる。
った場合の分散ファイル管理部の動作アルゴリズムを示
すフローチャートである。以下、図1及び図3を用い
て、分散ファイル管理部112の詳細な動作を説明す
る。
散ファイル管理部112は、まず、状態管理部114の
管理している負荷情報を獲得する(ステップ301)。
情報テーブル401を示す図である。図4において、負
荷情報テーブル401は、記憶装置負荷情報テーブル4
02及びネットワーク負荷情報テーブル403から成っ
ている。
サーバ計算機A105に接続されている記憶装置115
の複数の記憶部を識別するための「記憶装置識別子」
と、各記憶部の負荷情報[%]を示す「負荷」と、各記
憶部の残容量[Mbytes]を示す「残容量」の項目で構成
されている。ここで、記憶装置115の各記憶部の「負
荷」は、記憶装置115の各記憶部の最大転送レートの
うち何%を使用しているかを示している。
3は、ネットワークインタフェース113を介してネッ
トワーク101上に送出するデータが、どの計算機サイ
ト(送出先サイト)に向けて送出され、どの程度の帯域
幅(使用通信帯域幅[Mbps])を使用しているか、ま
た、受信しているデータがどの計算機サイト(送出元サ
イト)から送られて来たものであり、どの程度の帯域幅
(使用通信帯域幅[Mbps])を使用して受信しているか
を示している。この「送出元サイト」の項目がデータの
送出元の計算機サイトを示し、「送出先サイト」の項目
がデータの送出先の計算機サイトを示している。すなわ
ち、SiteAは計算機サイトA105を、SiteB
は計算機サイトB106を、SiteCは計算機サイト
C107を示している。ここで、送信元サイト及び送信
先サイトを総称してネットワークリンク(以下、単に
「リンク」ともいう)という。また、「使用通信帯域
幅」の項目が、送出元サイトと送出先サイトとの間で使
用されている通信帯域幅[Mbps]を示している。
散ファイルAの作成要求を受け取った場合、分散ファイ
ル管理部112は、例えば図4に示すように、状態管理
部114から獲得した記憶装置負荷情報テーブル402
の情報に基づいて、記憶装置識別子DiskID1の記
憶部の負荷が20[%]で、残容量が10[Mbytes]で
あるという情報を得る(ステップ301)。
管理部114から得られる記憶装置負荷情報テーブル4
02の情報に基づいて、サーバ計算機A105に接続さ
れている記憶装置115の中から、残容量が十分に残っ
ており、且つ負荷が所定の閾値より低い記憶部を選択し
て、該記憶部に対して部分ファイルを順に割り当ててい
く。ここで、閾値としては、例えば、80[%]などを
使用するとよい。但し、この閾値は、記憶装置115の
構成などに応じて適宜決定することができる。また、部
分ファイルのサイズは、固定長が望ましく、全てのサー
バ計算機で同一のサイズにするとよい。このとき、全て
の部分ファイルA1〜A3を記憶装置115の記憶部に
割り当てられた場合にはステップ304の処理を行う。
一方、全ての部分ファイルA1〜A3を記憶装置115
の記憶部に割り当てられなかった場合には、ステップ3
03の処理を行う(ステップ302)。
部分ファイルA1〜A3を記憶装置115の記憶部に割
り当てられなかった(ステップ302)ので、分散ファ
イルAの部分ファイルA1(126a)をサーバ計算機
A105に割り当て、残りの部分ファイルA2、A3を
他のサーバ計算機C107に割り当てている。
02で割り当てられなかった部分ファイルA2、A3を
他のサーバ計算機に割り当てるために、他のサーバ計算
機に対して内部ネットワーク131及びネットワーク1
01を介して、部分ファイルA2、A3の作成を行なえ
るかどうかの問い合わせを行なう。問い合わせを受けた
他のサーバ計算機では、自己の状態管理部の負荷情報テ
ーブル401を調べ、部分ファイルA2、A3の作成が
可能かどうかを返答する(ステップ303)。この部分
ファイルの作成の問い合わせや返答の信号のやり取り
は、各サーバ計算機の分散ファイル管理部がネットワー
クインタフェース及びネットワークを介して行うことに
なる。
ァイル管理部112が、ネットワークインタフェース1
13及びネットワーク101を介して、部分ファイルA
2(126c)及び部分ファイルA3(126d)の作
成を行なえるかどうかを計算機サイトC104のサーバ
計算機C107の分散ファイル管理部122に問い合わ
せる。サーバ計算機C107の分散ファイル管理部12
2は、状態管理部124から得られる負荷情報テーブル
401に基づいて、上述のステップ302と同様な判断
を行ない、部分ファイルA2(126c)及び部分ファ
イルA3(126d)の作成を行えるかどうかの返答を
サーバ計算機A105に行なう(ステップ303)。図
1の場合、サーバ計算機C107の記憶装置125に
は、部分ファイルA2(126c)及び部分ファイルA
3(126d)を作成することができる。
部112は、サーバ計算機Aの記憶装置115に割り当
てられた部分ファイルA1と、他のサーバ計算機Cの記
憶装置125に割り当てられた部分ファイルA2、A3
とを管理するための情報を登録する(ステップ30
4)。
を示す図である。また、図6は、部分ファイル管理テー
ブル601を示す図である。図5において、分散ファイ
ル管理テーブル501は、分散ファイルを識別するため
の「分散ファイル識別子」と、分散ファイルを構成する
部分ファイルを識別するための「部分ファイル識別子リ
スト」の項目で構成されている。また、図6において、
部分ファイル管理テーブル601は、部分ファイルを識
別するための「部分ファイル識別子」と、部分ファイル
の所在地を示す「所在地」の項目で構成されている。こ
こで、図6に示した「部分ファイル識別子」は、図5で
示した「部分ファイル識別子リスト」を構成する「部分
ファイル識別子」に対応している。
ば、分散ファイルAについて見ると、図5において、分
散ファイルAが、部分ファイルA1(126a)、部分
ファイルA2(126c)、部分ファイルA3(126
d)から構成されることを表している。また、図6にお
いて、部分ファイルA1(126a)の所在地が、「f
ile://siteA/serverA/DiskI
D1/(計算機サイトA102のサーバ計算機A105
の記憶装置識別子DiskID1)」であり、部分ファ
イルA2(126c)の所在地が、「file://s
iteC/serverC/DiskID2/(計算機
サイトC104のサーバ計算機C107の記憶装置識別
子DiskID2)」であり、部分ファイルA3(12
6d)の所在地が、「file://siteC/se
rverC/DiskID2/(計算機サイトC104
のサーバC107の記憶装置DiskID2)」である
ことを表している。
バ計算機Aの記憶装置115に部分ファイルA1を作成
する場合、部分ファイル管理部111を介して、クライ
アント計算機1(108−1)からのデータを記憶装置
115に書き込み、分散ファイルAの部分ファイルA1
の作成を行なう。また、他のサーバ計算機C107に部
分ファイルA2、A3を記録する場合、分散ファイル管
理部112は、記録を行なうサーバ計算機C107の分
散ファイル管理部122に部分ファイルA2、A3の記
録を依頼し、それと同時に、分散ファイルAの作成要求
を行なったクライアント計算機1(108−1)に指示
をして、クライアント計算機1(108−1)から記録
を行なうサーバ計算機C107に、直接データを送信す
るようにする。依頼を受けたサーバ計算機C107で
は、分散ファイル管理部122が部分フアイル管理テー
ブル601へ部分ファイルA2、A3の登録を行なう。
このようにして、他のサーバ計算機C107上に、部分
ファイルA2、3が作成される(ステップ305)。
ファイルA1(126a)の作成は、クライアント計算
機1(108−1)からのデータを、サーバ計算機A1
05の記憶装置115に害き込むことによって行なわれ
る。また、分散ファイルAの部分ファイルA2(126
c)及び部分ファイルA3(126d)の作成は、クラ
イアント計算機1(108−1)からのデータを、直棲
サーバ計算機C107に送り、サーバ計算機C107の
記憶装置125に書き込むことによって行なわれる。
の全てのサーバ計算機で、部分ファイルの作成が不可能
な場合には、分散ファイル管理部112は、分散ファイ
ルの作成要求を行なったクライアント計算機1(108
−1)に対して、分散ファイルの作成に失敗したことを
通知する(ステップ306)。
全ての部分ファイルの作成を、自己のサーバ計算機の記
憶装置にできる場合、分散ファイル管理部112は、記
憶装置115に割り当てられた分散ファイルを管理する
ための情報を、図5に示した分散ファイル管理テーブル
501と図6に示した部分ファイル管理テーブル601
に登録する(ステップ307)。
ファイル管理部111を介して、クライアント計算機1
(108−1)からのデータを記憶装置115に書き込
み、全ての部分ファイルの作成を行なう(ステップ30
8)。
システムによれば、分散ファイルの作成を、各サーバ計
算機の負荷を考慮して行うため、適切に負荷分散ができ
るようになる。
クライアント計算機1(108−1)からサーバ計算機
A105に対して分散ファイル参照/更新要求が発行さ
れた場合について説明する。
1)から発行された分散ファイルAに対する参照/更新
要求は、サーバ計算機A105において、ネットワーク
インタフェース113を介して、分散ファイル管理部1
12によって受け取られる。
受け取った場合の分散ファイル管理部の動作アルゴリズ
ムを示すフローチャートである。以下、図7を用いて、
分散ファイル管理部112の詳細な動作を説明する。ま
た、以下においては、分散ファイルAに対する参照/更
新要求の処理を例にした具体的な動作についても説明す
る。
イアント計算機1(108−1)からの分散ファイルの
参照/更新要求に基づいて、分散ファイル管理テーブル
501と部分ファイル管理テーブル601から、参照/
更新する部分ファイルを特定し、その部分ファイルの所
在地を求める(ステップ701)。
1)からの分散ファイルAに対する参照/更新要求の場
合、分散ファイル管理部112は、分散ファイル管理テ
ーブル501に基づいて、分散ファイルAが、部分ファ
イルA1(126a)、部分ファイルA2(126
c)、部分ファイルA3(126d)によって構成され
ていることが解る。また、部分ファイル管理テーブル6
01に基づいて、部分ファイルA1(126a)の所在
地が、「file://siteA/serverA/
DiskID1/(計算機サイトA102のサーバ計算
機A105の記憶装置識別子DiskID1)」であ
り、部分ファイルA2(126c)の所在地が、「fi
le://siteC/serverC/DiskID
2/(計算機サイトC104のサーバ計算機C107の
記憶装置識別子DiskID2)」であり、部分ファイ
ルA3(126d)の所在地が、「file://si
teC/serverC/DiskID2/(計算機サ
イトC104のサーバC107の記憶装置DiskID
2)」であることが解る。
01で得られた部分ファイルの所在地から、参照/更新
を行なう全ての部分ファイルが自己のサーバ計算機A1
05の記憶装置115に存在するかどうか、あるいは一
部または全部の部分ファイルが他のサーバ計算機に存在
するかどうかの判定を行なう(ステップ702)。
イルA1(126a)は、記憶装置115に存在し、部
分ファィルA2(126c)及び部分ファイルA3(1
26d)は、計算機サイトC104のサーバ計算機C1
07の記憶装置125に存在することがわかる。
計算機A105の記憶装置115に存在しない場合(ス
テップ702)、ステップ701で得られた部分ファイ
ルの所在地に基づいて、参照/更新を行なう部分ファイ
ルが記録されている他のサーバ計算機に部分ファイルの
存在を確かめる(ステップ703)。
ファイルA2(126c)及び部分ファイルA3(12
6d)の存在を、計算機サイトC104のサーバ計算機
C107の分散ファイル管理部122に確認する。
認されたら、分散ファイル管理部112は、参照/更新
を行なう部分ファイルが、自己のサーバ計算機A105
の記憶装置115に存在する場合には、クライアント計
算機1(108−1)からの参照/更新要求に基づい
て、部分ファイル管理部111を介して記憶装置115
に存在する部分ファイルの読み出し(参照)や部分ファ
イルへの書き込み(更新)を行なう。また、参照/更新
を行なう部分ファイルが、他のサーバ計算機の記憶装置
に存在する場合、分散ファイル管理部112は、参照/
更新を行なう部分ファイルを保持するサーバ計算機に該
当部分ファイルの参照/更新を要求する。これと同時
に、分散ファイル管理部112は、参照/更新要求を行
なつたクライアント計算機1(108−1)が、参照/
更新を行なう部分ファイルを保持するサーバ計算機に参
照/更新要求を直接行なうように指示する(ステップ7
04)。
イルA1(126a)が計算機サイトA102のサーバ
計算機A105に、部分ファイルA2(126c)及び
部分ファイルA3(126d)が計算機サイトC104
のサーバ計算機C107に存在している。部分ファイル
A1(126a)に対する参照/更新要求は、分散ファ
イル管理部112が、部分ファイル管理部111を介し
て、記憶装置115に対して参照/更新処理を行なう。
一方、部分ファイルA2(126c)及び部分ファイル
A3(126d)に対する参照/更新要求は、参照/更
新要求を行ったクライアント計算機1(108−1)と
サーバ計算機C107との間で、直接行われることにな
る。
在が確認されなかった場合、分散ファイル管理部112
は、分散ファイルの参照/変更要求を行ったクライアン
ト計算機1(108−1)に、分散ファイルの参照/更
新が失敗したことを通知する(ステップ705)。
イルが自己のサーバ計算機A105の記憶装置115に
存在する場合、分散ファイル管理部112は、クライア
ント計算機1(108−1)からの参照/更新要求に基
づいて、部分ファイル管理部111を介して記憶装置1
15に存在する部分ファイルの読み出し(参照)や部分
ファイルへの書き込み(更新)を行なう(ステップ70
6)。
ば、クライアント計算機からサーバ計算機への要求が分
散ファイルの作成の場合には、分散ファイルを複数の部
分ファイルに分割し、サーバ計算機の負荷情報に基づい
て各々の部分ファイルを作成するサーバ計算機を部分フ
ァイル毎に決定して、分散ファイルの作成処理を行って
いる。また、クライアント計算機からの要求が分散ファ
イルの参照/更新の場合には、分散ファイルを構成する
部分ファイルが存在するサーバ計算機を特定し、1また
は複数のサーバ計算機上に分散して配置されている部分
ファイルをクライアント計算機から1つの分散ファイル
として扱うようにする。このようにして、クライアント
計算機からサーバ計算機への分散ファイルの作成/参照
/変更要求の際に、特定のサーバ計算機への負荷の集中
をなくすことができる。
分散ファイル管理システムの第2の実施の形態の一例を
示す構成図である。この図8においては、図1と同様の
構成には同一の符号を付している。図8に示した分散フ
ァイル管理システムは、パーソナルコンピュータやワー
クステーションなどのサーバ計算機及びパーソナルコン
ピュータやワークステーションなどの複数のクライアン
ト計算機から成るクライアント計算機群を備えた複数の
計算機サイトA802、計算機サイトB803、及び計
算機サイトC804と、計算機サイトA802、計算機
サイトB803、及び計算機サイトC804を相互に接
続するローカルエリアネットワークやワイドエリアネッ
トワークなどのネットワーク101とを備えている。
ナルコンピュータやワークステーションなどの複数のサ
ーバ計算機(図8においては、「サーバ計算機A80
5」のみ示す)と、パーソナルコンピュータやワークス
テーションなどのクライアント計算機1〜n(108−
1〜108−n)から成るクライアント計算機群A10
8とを備えている。この計算機サイトA802は、複数
のサーバ計算機(図8においては、「サーバ計算機A8
05」のみ示す)とクライアント計算機群A108とを
イーサネットなどの内部ネットワーク131で接続して
おり、例えば、インターネットドメインになっている。
算機サイトB803は、複数のサーバ計算機(図8にお
いては、「サーバ計算機B806」のみ示す)と、複数
のクライアント計算機から成るクライアント計算機群B
109とを備え、計算機サイトC804は、複数のサー
バ計算機(図8においては、「サーバ計算機C807」
のみ示す)と、複数のクライアント計算機から成るクラ
イアント計算機群C110とを備えている。さらに、こ
れらの計算機サイトB803及び計算機サイトC804
は、計算機サイトA802と同様に、複数のサーバ計算
機(図8においては、「サーバ計算機B806」及び
「サーバ計算機C807」のみ示す)と、クライアント
計算機群B109及びクライアント計算機群C110と
を、それぞれ内部ネットワーク132及び内部ネットワ
ーク133で接続しており、例えば、インターネットド
メインになっている。
部分ファイルを記録するハードディスクなどの記憶装置
115と、イーサネットなどの内部ネットワーク131
へ接続するためのネットワークインタフェース113
と、部分ファイルを記録している記憶装置115への書
き込みや読み出しを制御する部分ファイル管理部111
と、記憶装置115に対する負荷や記憶装置115の残
り容量、及びネットワークインタフェース113に対す
る負荷を監視し、これらの負荷や容量に関する情報を保
持する状態管理部814と、部分ファイル管理部11
1、状態管理部814、及びネットワークインタフェー
ス113に接続された分散ファイル管理部112とによ
って構成されている。
機へ負荷情報を通知し、また、他のサーバ計算機から通
知された外部負荷情報を保持する外部状態管理部811
を備えている。
807は、サーバ計算機A805と同様の構成になって
いる。すなわち、サーバ計算機B806は、記憶装置1
20と、ネットワークインタフェース118と、部分フ
ァイル管理部116と、外部状態管理部812を備えた
状態管理部819と、分散ファイル管理部117とによ
って構成されている。また、サーバ計算機C807は、
記憶装置125と、ネットワークインタフェース123
と、部分ファイル管理部121と、外部状態管理部81
3を備えた状態管理部824と、分散ファイル管理部1
22とによって構成されている。
ステムと図1に示した分散ファイル管理システムとの相
違点は、図8に示した状態管理部814、819、82
4が、他のサーバ計算機へ負荷情報を通知し、他のサー
バ計算機から通知された外部負荷情報を保持する外部状
態管理部811、812、813を備えている点であ
る。
813で管理されている外部負荷情報テーブル901の
一例を示す。図9において、外部負荷情報テーブル90
1は、サーバ計算機の所在地を示す「サーバ計算機所在
地」と、サーバ計算機所在地で示されるサーバ計算機の
記憶装置の負荷情報を示す「記憶装置負荷情報」の項目
で構成されている。また、「記憶装置負荷情報」は、記
憶装置を識別するための「記憶装置識別子」と、記憶装
置の負荷を示す「負荷」と、記憶装置の残容量を示す
「残容量」の項目で構成されている。
は、外部負荷情報テーブル901からの外部負荷情報を
他のサーバ計算機へ通知するために、以下のような動作
を行なう。
13は、定期的または所定のタイミングで状態管理部8
14、819、824に対して記憶装置負荷情報テーブ
ル402に示される情報を問い合わせるか、または、状
態管理部814、819、824から記憶装置負荷情報
テーブル402に示される情報の状態変化を通知しても
らうことにより、状態管理部814、819、824で
管理されている記憶装置負荷情報テーブル402の情報
を得る。
13は、それぞれのネットワークインタフェース11
3、118、123を介して、各サーバ計算機に、記憶
装置負荷情報を通知する。通知を受けたサーバ計算機で
は、それぞれネットワークインタフェース113、11
8、123を介して、外部状態管理部811、812、
813が、記憶装置負荷情報を受け取り、それぞれの外
部負荷情報テーブル901にこの情報を記録していく。
システムについて、クライアント計算機群A108内の
クライアント計算機1(108−1)からサーバ計算機
A805に対して分散ファイルAの作成要求が発行され
た場合を例として説明する。
1)から発行された分散ファイルAの作成要求は、内部
ネットワーク131及びサーバ計算機A805のネット
ワークインタフェース113を介して、分散ファイル管
理部112によって受け取られる。
取ったときの分散ファイル管理部の動作アルゴリズムを
示すフローチャートである。以下、図10を用いて、分
散ファイル管理部の詳細な動作を説明する。本実施の形
態では、第1の実施の形態で説明した図3に示すステッ
プ302とステップ303の処理を統合して、1つのス
テップ1002で処理することができる。
管理部814の管理している負荷情報テーブル401
と、外部状態管理部811の管理している外部負荷情報
テーブル901から各情報を獲得する(ステップ100
1)。
ような負荷情報テーブル401を管理している。図4に
おいて、負荷情報テーブル401は、記憶装置負荷情報
テーブル402と、ネットワーク負荷情報テーブル40
3とによって構成されている。
サーバ計算機A105に接続されている記憶装置115
の複数の記憶部を識別するための「記憶装置識別子」
と、各記憶部の負荷情報[%]を示す「負荷」と、各記
憶部の残容量[Mbytes]を示す「残容量」の項目で構成
されている。ここで、記憶装置115の各記憶部の「負
荷」は、記憶装置115の各記憶部の最大転送レートの
うち何%を使用しているかを示している。
3は、ネットワークインタフェース113を介してネッ
トワーク101上に送出するデータが、どの計算機サイ
ト(送出先サイト)に向けて送出され、どの程度の帯域
幅(使用通信帯域幅[Mbps])を使用しているか、ま
た、受信しているデータがどの計算機サイト(送出元サ
イト)から送られて来たものであり、どの程度の帯域幅
(使用通信帯域幅[Mbps])を使用して受信しているか
を示している。この「送出元サイト」の項目がデータの
送出元の計算機サイトを示し、「送出先サイト」の項目
がデータの送出先の計算機サイトを示している。すなわ
ち、SiteAは計算機サイトA105を、SiteB
は計算機サイトB106を、SiteCは計算機サイト
C107を示している。ここで、送信元サイト及び送信
先サイトを総称してネットワークリンク(以下、単に
「リンク」ともいう)という。また、「使用通信帯域
幅」の項目が、送出元サイトと送出先サイトとの間で使
用されている通信帯域幅[Mbps]を示している。
したような外部負荷情報テーブル901を管理してい
る。
分散ファイル管理部112は、状態管理部814の負荷
情報テーブル401から、「記憶装置識別子」がDis
kID1で示される記憶装置115の記憶部の「負荷」
が20[%]で、「残容量」が10[Mbytes]であると
いう情報を得ることができる。また、分散ファイル管理
部112は、外部状態管理部814の外部負荷情報テー
ブル901から、計算機サイトB803のサーバ計算機
B806の「記憶装置識別子」がDiskID1で示さ
れる記憶装置120の記憶部の「負荷」が49[%]
で、「残容量」が1000[Mbytes]であり、また、計
算機サイトC804のサーバ計算機C807の「記憶装
置識別子」がDiskID1で示される記憶装置125
の記憶部の「負荷」が30[%]で、「残容量」が30
00[Mbytes]であるという情報を得ることができる。
ず、状態管理部814から得られる記憶装置負荷情報テ
ーブル402に基づいて、サーバ計算機A805に接続
されている記憶装置115の各記憶部の中から、「残容
量」が所定の容量以上で、且つ「負荷」が所定の閾値よ
り低いという条件を満たす記憶部を選択し、分散ファイ
ルを分割した部分ファイルを、当該条件を満たす各記憶
部に順に割り当てていく。全ての部分ファイルを記憶装
置115に割り当てられない場合には、分散ファイル管
理部112は、外部状態管理部811から得られる外部
負荷情報テーブル901の情報に基づいて、記憶部の
「残容量」が所定の容量以上で、且つ「負荷」が所定の
閾値より低い記憶部の存在する記憶装置を持つ他のサー
バ計算機を選択する。そして、まだ割り当てられていな
い部分ファイルを、当該他のサーバ計算機の記憶装置の
記憶部に順に割り当て、この割当てを当該他のサーバ計
算機に通知する。そして、全ての部分ファイルがサーバ
計算機の各記憶装置の記憶部に割り当てて作成できたか
否かを判断する(ステップ1002)。
分散ファイル管理部112は、状態管理部814の記憶
装置負荷情報テーブル401に基づいて、部分ファイル
A1(126a)をサーバ計算機A805の記憶装置1
15の所定の記憶部に割り当てる。また、分散ファイル
管理部112は、外部状態管理部811の外部負荷情報
テーブル901の記憶装置負荷情報に基づいて、部分フ
ァイルA2(126c)及び部分ファイルA3(126
d)をサーバ計算機C807の記憶装置125の各記憶
部に割り当てる。
部状態管理部811から他のサーバ計算機の負荷や残容
量の情報を得ることにより、他のサーバ計算機に部分フ
ァイルの作成が可能かどうかの問い合わせをすることな
く、他のサーバ計算機の負荷や残容量を考慮しながら部
分ファイルを配置(記憶)するサーバ計算機を決めるこ
とができる。
ファイルの管理情報を、図5に示したような分散ファイ
ル管理テーブル501と、図6に示したような部分ファ
イル管理テーブル601に登録する(ステップ100
3)。図5において、分散ファイル管理テーブル501
は、分散ファイルを識別するための「分散ファイル識別
子」と、分散ファイルを構成する部分ファイルを識別す
るための「部分ファイル識別子リスト」の項目で構成さ
れている。また、図6において、部分ファイル管理テー
ブル601は、部分ファイルを識別するための「部分フ
ァイル識別子」と、部分ファイルの所在地を示す「所在
地」の項目で構成されている。ここで、図6に示した
「部分ファイル識別子」は、図5で示した「部分ファイ
ル識別子リスト」を構成する「部分ファイル識別子」に
対応している。
いて、分散ファイルAが、部分ファイルA1(126
a)、部分ファイルA2(126c)、部分ファイルA
3(126d)から構成されることを表している。ま
た、図6において、部分ファイルA1(126a)の所
在地が、「file://siteA/serverA
/DiskID1/(計算機サイトA102のサーバ計
算機A105の記憶装置識別子DiskID1)」であ
り、部分ファイルA2(126c)の所在地が、「fi
le://siteC/serverC/DiskID
2/(計算機サイトC104のサーバ計算機C107の
記憶装置識別子DiskID2)」であり、部分ファイ
ルA3(126d)の所在地が、「file://si
teC/serverC/DiskID2/(計算機サ
イトC104のサーバC107の記憶装置DiskID
2)」であることを表している。
装置115の記憶部に部分ファイルを記録する場合に
は、部分ファイル管理部111を介して、クライアント
計算機1(108−1)からのデータを記憶装置115
の所定の記憶部に書き込む。また、他のサーバ計算機の
記憶装置に部分ファイルを記録する場合には、分散ファ
イル管理部112は、記録を行なうサーバ計算機の分散
ファイル管理部に部分ファイルの記録を依頼する。これ
と同時に、分散ファイル管理部112は、分散ファイル
の作成要求を行なったクライアント計算機1(108−
1)に指示して、記録を行なうサーバ計算機に直接デー
タを送信するように指示する。分散ファイル管理部11
2から依頼を受けたサーバ計算機では、クライアント計
算機1(108−1)から部分ファイルのデータを受け
取って、記憶装置の所定の記憶部に記録する。また、該
サーバ計算機の分散ファイル管理部は、部分ファイル管
理部の部分ファイル管理テーブル601へ部分ファイル
の情報の登録を行なう。このようにして、他のサーバ計
算機上に、部分ファイルが作成される(ステップ100
4)。
(126a)の作成は、クライアント計算機1(108
−1)からのデータを記憶装置115の所定の記憶部に
書き込むことによって行なわれる。部分ファイルA2
(126c)及び部分ファイルA3(126d)の作成
は、クライアント計算機1(108−1)から所定のデ
ータを直接サーバ計算機C807に送り、サーバ計算機
C807の記憶装置125の所定の記憶部にそれぞれ書
き込むことによって行なわれる。
算機にも部分ファイルを作成できない場合には、分散フ
ァイル管理部112は、分散ファイル作成の要求を行な
ったクライアント計算機1(108−1)に対して、分
散ファイルの作成に失敗したことを通知する(ステップ
1005)。
たが、クライアント計算機からサーバ計算機に対して分
散ファイルの参照/更新要求が発行された場合について
は、第1の実施の形態の場合(図7)と同様である。
においては、状態管理部814、819、824が、他
のサーバ計算機へ負荷情報を通知し、また、他のサーバ
計算機から通知された外部負荷情報を保持する外部状態
管理部811、812、813を備えることにより、分
散ファイル管理部112、117、122は、他のサー
バ計算機の負荷情報に基づいて、分散ファイルの部分フ
ァイルを配置するサーバ計算機を決定することができ、
特定のサーバ計算機への負荷の集中を回避することがで
きる。
13から各サーバ計算機に記憶装置負荷情報を通知する
際には、ユニキャストやマルチキャストを用いるとよ
い。特に、マルチキャストを用いた場合、全サーバ計算
機に記憶装置負荷情報を一斉に通知することができ、通
知のための通信量を減らすことができる。
複数のグループに分けておき、各グループに属するサー
バ計算機の各々にユニキャストで通知することもでき、
また、各グループに対してマルチキャストで通知するこ
ともできる。このようにして、通知のための通信量を減
らすことができる。
サーバ計算機、すなわち、ネットワークで直接に接続さ
れているサーバ計算機に限定して、ユニキャストあるい
はマルチキャストによって通知することもできる。これ
により、通知のための通信量を減らすことができる。
る分散ファイル管理システムの第3の実施の形態の一例
を示す構成図である。この図11においては、図8と同
様の構成には同一の符号を付している。図11に示した
分散ファイル管理システムは、パーソナルコンピュータ
やワークステーションなどのサーバ計算機及びパーソナ
ルコンピュータやワークステーションなどの複数のクラ
イアント計算機から成るクライアント計算機群を備えた
複数の計算機サイトA1102、計算機サイトB110
3、及び計算機サイトC1104と、計算機サイトA1
102、計算機サイトB1103、及び計算機サイトC
1104を相互に接続するローカルエリアネットワーク
やワイドエリアネットワークなどのネットワーク101
とを備えている。
ソナルコンピュータやワークステーションなどの複数の
サーバ計算機(図11においては、「サーバ計算機A1
105」のみ示す)と、パーソナルコンピュータやワー
クステーションなどのクライアント計算機1〜n(10
8−1〜108−n)から成るクライアント計算機群A
108とを備えている。この計算機サイトA1102
は、複数のサーバ計算機(図11においては、「サーバ
計算機A1105」のみ示す)とクライアント計算機群
A108とをイーサネットなどの内部ネットワーク13
1で接続しており、例えば、インターネットドメインに
なっている。
計算機サイトB1103は、複数のサーバ計算機(図1
1においては、「サーバ計算機B1106」のみ示す)
と、複数のクライアント計算機から成るクライアント計
算機群B109とを備え、計算機サイトC1104は、
複数のサーバ計算機(図11においては、「サーバ計算
機C1107」のみ示す)と、複数のクライアント計算
機から成るクライアント計算機群C110とを備えてい
る。さらに、これらの計算機サイトB1103及び計算
機サイトC1104は、計算機サイトA1102と同様
に、複数のサーバ計算機(図11においては、「サーバ
計算機B1106」及び「サーバ計算機C1107」の
み示す)と、クライアント計算機群B109及びクライ
アント計算機群C110とを、それぞれ内部ネットワー
ク132及び内部ネットワーク133で接続しており、
例えば、インターネットドメインになっている。
の部分ファイルを記録するハードディスクなどの記憶装
置115と、イーサネットなどの内部ネットワーク13
1へ接続するためのネットワークインタフェース113
と、部分ファイルを記録している記憶装置115への書
き込みや読み出しを制御する部分ファイル管理部111
と、記憶装置115に対する負荷や記憶装置115の残
り容量、及びネットワークインタフェース113に対す
る負荷を監視し、これらの負荷や容量に関する情報を保
持する状態管理部814と、部分ファイル管理部11
1、状態管理部814、及びネットワークインタフェー
ス113に接続された分散ファイル管理部1112とに
よって構成されている。
機へ負荷情報を通知し、また、他のサーバ計算機から通
知された外部負荷情報を保持する外部状態管理部811
を備えている。
分ファイル毎のアクセス情報と負荷情報テーブル401
及び外部負荷情報テーブル901の情報とに基づいて、
移動させる部分ファイルを決定し、他のサーバ計算機へ
部分ファイルを移動させる分散ファイル移動部1131
を備えている。
C1107は、サーバ計算機A1105と同様の構成に
なっている。すなわち、サーバ計算機B1106は、記
憶装置120と、ネットワークインタフェース118
と、部分ファイル管理部116と、外部状態管理部81
2を備えた状態管理部819と、分散ファイル移動部1
132を備えた分散ファイル管理部1117とによって
構成されている。また、サーバ計算機C1107は、記
憶装置125と、ネットワークインタフェース123
と、部分ファイル管理部121と、外部状態管理部81
3を備えた状態管理部824と、分散ファイル移動部1
133を備えた分散ファイル管理部1122とによって
構成されている。
システムと図8に示した分散ファイル管理システムとの
相違点は、図11に示した分散ファイル管理部111
2、1117、1122が、部分ファイル毎のアクセス
情報と負荷情報テーブル401及び外部負荷情報テーブ
ル901の情報とから、移動させる部分ファイルを決定
し、他のサーバ計算機へ部分ファイルを移動させる分散
ファイル移動部1131、1132、1133を備えて
いる点である。
いる部分ファイル毎のアクセス情報テーブル1201の
一例を示す。図12において、このアクセス情報テーブ
ル1201は、部分ファイルを識別するための「部分フ
ァイル識別子」と、「単位時間あたりのアクセス情報」
の項目で構成されている。また、「単位時間あたりのア
クセス情報」は、部分ファイルにアクセスしているクラ
イアント計算機の存在するサイトの情報である「アクセ
ス元サイト識別子」と、部分ファイルへのアクセス回数
を示す「アクセス回数」の項目から構成されている。こ
のアクセス情報テーブル1201は、状態管理部814
によって、単位時間毎に更新され続ける。
管理されている部分ファイル管理テーブル1301の一
例を示す。図13において、部分ファイル管理テーブル
1301は、部分ファイルを識別するための「部分ファ
イル識別子」と、部分ファイルの所在地を示す「所在
地」と、部分ファイルが最初に作成された所在地を示す
「オリジナル所在地」の項目から構成されている。図1
3において、部分ファイルが作成された段階では、「所
在地」と「オリジナル所在地」の示す情報は同一である
が、部分ファイルが他のサーバ計算機に移動するのに応
じて、「所在地」の情報は変化する。図13で示した部
分ファイル管理テーブル1301は、図6で示した部分
ファイル管理テーブル601に、「オリジナル所在地」
の項目を加えたものになっている。
システムにおいて、分散ファイルA、分散ファイルB、
及び分散ファイルCが、上述で示したようにしてサーバ
計算機A1105で作成された後、各分散ファイルの部
分ファイルを移動する処理について詳細に説明する。
て作成された分散ファイルA、分散ファイルB、及び分
散ファイルCの部分ファイル管理テーブル1301の内
容の一例を示している。図14において、図14(A)
は、サーバ計算機A1105の部分ファイル管理テーブ
ル1401を示し、(B)はサーバ計算機B1106の
部分ファイル管理テーブル1402を示し、(C)はサ
ーバ計算機C1107の部分ファイル管理テーブル14
03を示している。図14(A)の部分ファイル管理テ
ーブル1401には、部分ファイル識別子が、A1、A
2、A3、B1、C1、C2で示される各部分ファイル
の所在地と、オリジナル所在地が示されている。部分フ
ァイル管理テーブル1402には、部分ファイル識別子
が、C1、C2で示される各部分ファイルの所在地と、
オリジナル所在地が示されている。部分ファイル管理テ
ーブル1403には、部分ファイル識別子が、A2、A
3で示される各部分ファイルの所在地と、オリジナル所
在地が示されている。ここで、図14においては、各部
分ファイルの移動前の状態を表している。このため、全
ての部分ファイルにおいて、その所在地とオリジナル所
在地が一致している。
動の際の、サーバ計算機A1105の分散ファイル移動
部1131の動作アルゴリズムについて説明する。
動作アルゴリズムを示す。まず、分散ファイル移動部1
131は、状態管理部814が管理している負荷情報テ
ーブル401(図4)の情報を、一定時間の間隔で監視
する(ステップ1501)。
装置の「負荷」が予め設定されている所定の閾値(例え
ば、80%などの値で、この値は、システムの構成など
によって任意に決定する)を越えたことを検出すると
(ステップ1501)、この検出された記憶装置に含ま
れている部分ファイルの「部分ファイル識別子」を、部
分ファイル管理テーブル1301を参照して探す。探し
出した「部分ファイル識別子」の「単位時間当たりのア
クセス情報」を、アクセス情報テーブル1201から得
る。ここで得られた「単位時間当たりのアクセス情報」
の「アクセス回数」を各「部分ファイル識別子」毎に比
較し、最も大きな「アクセス回数」になっている「部分
ファイル識別子」を選択する(ステップ1502)。す
なわち、移動元部分ファイルを選択する。例えば、ここ
で、移動元部分ファイルとして部分ファイルA1(12
6a)が選択されたとする。
部負荷情報テーブル901(図9)に基づいて、「残容
量」が十分で且つ「負荷」が所定の値より低い記憶装置
を持つサーバ計算機を選択する。そして、分散ファイル
移動部1131は、選択したサーバ計算機に対して部分
ファイルが移動できるかどうかを確認し、移動可能なサ
ーバ計算機を決定する(ステップ1502)。すなわ
ち、移動先サーバ計算機を選択する。例えば、ここで、
サーバ計算機C1107の記憶装置識別子DiskID
2で示される記憶装置125の記憶部が選択されたとす
る。
動先サーバ計算機の選択によって得られた情報に基づい
て、部分ファイルの移動を行なう(ステップ150
3)。
元部分ファイルとして部分ファイルA1(126a)、
移動先サーバ計算機としてサーバ計算機C1107が選
択されているので、移動元のサーバ計算機A1105の
分散ファイル移動部1131は部分ファイル管理部11
1を介して、記憶装置115から部分ファイルA1(1
26a)を読み出す。この読み出された部分ファイルA
1(126a)は、部分ファイルA1(126a)の
「オリジナル所在地」(図13)に関する情報と共に、
ネットワークインタフェース113及び内部ネットワー
ク131を介してネットワーク101へ送出される。
おいて、分散ファイル移動部1133は、移動元のサー
バ計算機A1105より送出された部分ファイルA1
(126a)とその「オリジナル所在地」の情報を、ネ
ットワーク101から内部ネットワーク133及びネッ
トワークインタフェース123を介して受信する。部分
ファイル管理部121は、この受信した部分ファイルA
1(126a)を記憶装置125に書き込む。また、部
分ファイルA1(126a)の「オリジナル所在地」
を、部分ファイル管理部121の部分ファイル管理テー
ブル(図14(C))に登録する。
は、移動元のサーバ計算機A1105と「オリジナル所
在地」(図13)に示されているサーバ計算機(この例
の場合では、サーバ計算機A1105、すなわち、移動
元とオリジナルは同じサーバ計算機A1105)に対し
て、部分ファイルA1(126a)の移動が完了したこ
とを通知する。移動元のサーバ計算機A1105と「オ
リジナル所在地」に示されるサーバ計算機では、部分フ
ァイル管理テーブルに登録されている部分ファイルA1
(126a)の情報を書き換える。
A1(126a)が移動した後の、図14に示した部分
ファイル管理テーブル1401、1402、1403の
状態を示す。図16において、図16(A)はサーバ計
算機A1105の部分ファイル管理テーブル1601を
示し、(B)はサーバ計算機B1106の部分ファイル
管理テーブル1602を示し、(C)はサーバ計算機C
1107の部分ファイル管理テーブル1603を示して
いる。すなわち、図16(A)〜(C)の各部分ファイ
ル管理テーブル1601、1602、1603は、それ
ぞれ図14(A)〜(C)の各部分ファイル管理テーブ
ル1401、1402、1403に対応している。ここ
で、部分ファイル管理テーブル1601には、「部分フ
ァイル識別子」がA1、A2、A3、B1、C1、C2
で示される各部分ファイルの「所在地」と、「オリジナ
ル所在地」が示されている。部分ファイル管理テーブル
1602には、「部分ファイル識別子」がC1、C2で
示される各部分ファイルの「所在地」と、「オリジナル
所在地」が示されている。部分ファイル管理テーブル1
603には、「部分ファイル識別子」がA1、A2、A
3で示される各部分ファイルの「所在地」と、「オリジ
ナル所在地」が示されている。ここで、図16に示した
部分ファイル管理テーブル1601、1602、160
3の状態と図14に示した部分ファイル管理テーブル1
401、1402、1403の状態の差異は、部分ファ
イルA1(126a)を、サーバ計算機A1105から
サーバ計算機C1107へ移動させたことによるもので
ある。すなわち、図16と図14の相違点は、図14
(A)の部分ファイル管理テーブル1401において、
部分ファイルA1(126a)の「所在地」が「fil
e://siteA/serverA/DisiID1
/」であると登録されている情報が、図16(A)の部
分ファイル管理テーブル1601においては、部分ファ
イルA1(126a)の「所在地」が「file://
siteC/serverC/DiskID2/」と登
録されている点と、図16(C)の部分ファイル管理テ
ーブル1603において部分ファイルA1の項目が追加
されている点である。
態から、上述した処理と同様にして、サーバ計算機B1
106の分散ファイル移動部1132が、部分ファイル
C1(126e)を、サーバ計算機C1107に移動さ
せ、サーバ計算機C1107の分散ファイル移動部11
33が、部分ファイルA1(126a)を、サーバ計算
機B1106に移動させた場合の部分ファイル管理テー
ブルを示す。
算機A1105の部分ファイル管理テーブル1701を
示し、(B)はサーバ計算機B1106の部分ファイル
管理テーブル1702を示し、(C)はサーバ計算機C
1107の部分ファイル管理テーブル1703を示して
いる。部分ファイル管理テーブル1701には、「部分
ファイル識別子」がA1、A2、A3、B1、C1、C
2で示される各部分ファイルの「所在地」と、「オリジ
ナル所在地」が示されている。部分ファイル管理テーブ
ル1702には、「部分ファイル識別子」がC1、C
2、A1で示される各部分ファイルの「所在地」と、
「オリジナル所在地」が示されている。また、部分ファ
イル管理テーブル1703には、「部分ファイル識別
子」がA2、A3、C1で示される各部分ファイルの
「所在地」と、「オリジナル所在地」が示されている。
テーブル1701、1702、1703の状態と図16
に示した部分ファイル管理テーブル1601、160
2、1603の状態の差異は、部分ファイルA1(12
6a)を、サーバ計算機C1107からサーバ計算機B
1106へ移動させたことと、部分ファイルC1(12
6e)をサーバ計算機B1106からサーバ計算機C1
107へ移動させたによるものである。
の移動に対応して、部分ファイル管理テーブル1702
には、部分ファイルA1(126a)の項目が追加され
ている。また、部分ファイル管理テーブル1703にお
いては、部分ファイルA1(126a)の項目(図16
参照)が削除されている。さらに、サーバ計算機B11
06が部分ファイルA1(126a)の「オリジナル所
在地」を参照して、サーバ計算機A1105に移動を知
らせ、この通知によって、「オリジナル所在地」で示さ
れるサーバ計算機A1105においては、部分ファイル
管理テーブル1701に登録されている部分ファイルA
1(126a)の「所在地」を「file://sit
eB/serverB/DiskID2/」に変更して
いる。
動に対応して、部分ファイル管理テーブル1702に登
録されている部分ファイルC1(126e)の「所在
地」が、「file://siteB/serverB
/DisiID3/」(図16(B))から、「fil
e://siteC/serverC/DiskID3
/」に変更されている。また、部分ファイル管理テーブ
ル1703においては、部分ファイルC1(126e)
の項目が追加されている。
計算機1(108−1)が、分散ファイルCを参照する
際に、その参照内容が部分ファイルC1(126e)に
含まれる場合の動作を説明する。
1)は、分散ファイルCを作成したサーバ計算機A11
05に対して、分散ファイルCの参照を要求する。サー
バ計算機A1105では、分散ファイル管理テーブル1
701を参照して、分散ファイルCを構成する部分ファ
イルC1、C2のうちどの部分ファイルを参照している
のかを調べる。ここでは、部分ファイルC1(126
e)とする。部分ファイルC1(126e)の「所在
地」は、「file://siteB/serverB
/DiskID3/」なので、サーバ計算機A1105
は、サーバ計算機B1106に対して、部分ファイルC
1(126e)が存在するかどうかの確認を行なう。
ァイル管理テーブル1702を調べて、部分ファイルC
1(126e)の「所在地」を調べる。部分ファイルC
1(126e)の「所在地」は、「file://si
teC/serverC/DiskID3/」なので、
サーバ計算機B1106は、サーバ計算機C1107に
対して、部分ファイルC1(126e)が存在するかど
うかの確認を行なう。
ァイル管理テーブル1703を調べて、部分ファイルC
1(126e)の「所在地」を調べる。部分ファイルC
1(126e)の「所在地」は、「file://si
teC/serverC/DiskID3/」なので、
部分ファイルC1(126e)は、サーバ計算機C11
07に存在することが解る。
計算機B1106に、部分ファイルC1(126e)
は、「file://siteC/serverC/D
iskID3/」に存在することを通知する。
1106は、サーバ計算機A1105に、部分ファイル
C1(126e)が「file://siteC/se
rverC/DiskID3/」に存在することを通知
する。
計算機C1107に部分ファイルC1(126e)の参
照を要求する。この要求と同時に、参照を要求したクラ
イアント計算機1(108−1)に対して、サーバ計算
機C1107に直接、部分ファイルC1(126e)の
参照要求を行なうように指示する。また、サーバ計算機
A1105では、部分ファイルC1(126e)の「所
在地」を、「file://siteC/server
C/DiskID3/」へと書き換える。
ァイル管理部1112、1117、1122が、部分フ
ァイル毎のアクセス情報テーブル1201、負荷情報テ
ーブル401及び外部負荷情報テーブル901の各情報
に基づいて、移動させる部分ファイルを決定する。ま
た、他のサーバ計算機へ部分ファイルを移動する分散フ
ァイル移動部1131、1132、1133を備えるこ
とにより、部分ファイルを他のサーバ計算機に移動する
ことによって、特定のサーバ計算機の記憶装置への負荷
の集中を回避できる。
散ファイル移動部1131の動作アルゴリズム(図1
5)のステップ1501において、記憶装置の各記憶部
の「負荷」が所定の値を越えたことを検知する代わり
に、記憶装置の各記憶部の「残容量」が所定の値、例え
ば、10[Mbytes]などの値(ただし、この値は、装置
やシステムの構成に応じて決定される)を下回ったこと
を検知するようにしてもよい。これによって、記憶装置
の各記憶部の容量の不均衡を回避できる。
記憶装置の各記憶部の「負荷」が所定の値を越えたこと
を検知する代わりに、ネットワーク101の「負荷情
報」から「使用通信帯域幅」が所定の値、例えば、使用
可能通信帯域幅の80[%]の値(ただし、この値は、
装置やシステムの構成に応じて決定される)を越えたリ
ンクを検知するようにすることもできる。また、ステッ
プ1502において、アクセス情報テーブル1201か
らネットワーク101の負荷を高めている部分ファイル
と、ネットワークの負荷を高めている計算機サイトを選
択することによって、ネットワークの負荷の集中を回避
することができる。例えば、計算機サイトA1102
(送出元サイト)と計算機サイトB1103(送出先サ
イト)のリンクの「使用通信帯域幅」(図4)が所定の
値を越えた時、サーバ計算機A1105に存在し、ネッ
トワーク負荷を高める原因となっている部分ファイル
を、サーバ計算機B1103に移動する。これにより、
計算機サイトA1102と計算機サイトB1103間の
「使用通信帯域幅」を減少させることができる。
ップ1502において、移動先のサーバ計算機の部分フ
ァイルを移動可能かを確認し、ステップ1503におい
て、部分ファイルの移動を行なっているが、事前にステ
ップ1502で部分ファイルの移動可能かを確認をする
ことなく部分ファイルを移動することによって、ステッ
プ1502の確認処理を省略することができる。このと
き、部分ファイルの移動先のサーバ計算機側で、部分フ
ァイルの移動を受け入れられない場合には、移動先のサ
ーバ計算機が、さらに部分ファイルを移動するための移
動先を探し、この部分ファイルを移動するようにすれば
よい。
部分ファイルを移動元のサーバ計算機から、移動先のサ
ーバ計算機へ移動しているが、その移動処理に加えて、
移動先のサーバ計算機内の部分ファイルの中から移動元
のサーバ計算機へ移動可能な他の部分ファイルを選択
し、当該他の部分ファイルを移動元のサーバ計算機に移
動するようにしてもよい。これによって、部分ファイル
が1つのサーバ計算機に集中することを防ぐことがで
き、よりファイルアクセスに対する負荷を軽減すること
ができる。
部分ファイルの移動先のサーバ計算機の選択を行なう際
に、あらかじめサーバ計算機リストを設定し、リスト中
のサーバ計算機の中から、記憶装置の各記憶部の残容量
が十分あり、負荷が所定の値より低い記憶装置を持つサ
ーバ計算機を選択するようにするとよい。これによっ
て、部分ファイルの移動先のサーバ計算機の選択に費や
される時間を短縮することができる。
た分散ファイル管理システムの分散ファイル移動部11
31、1132、1133の他の動作アルゴリズムを示
すフローチャートである。
部1131、1132、1133は、各部分ファイルへ
の通信コストを所定の間隔で監視する(ステップ180
1)。ここで、通信コストとしては、例えば、部分ファ
イルを参照しているクライアント計算機と、その部分フ
ァイルを保持するサーバ計算機との間の通信時間とする
ことができる。図11において、例えば、クライアント
計算機1(108−1)と部分ファイルA2(126
c)の通信コストは、部分ファイルA2(126c)を
参照しているクライアント計算機1(108−1)と、
部分ファイルA2(126c)を保持するサーバ計算機
C1107との間の通信時間とする。
132、1133は、部分ファイルへの通信コストが所
定の値、例えば、1秒など(ただし、この値は、装置や
システムの構成に応じて決定される)を越えたことを検
知する(ステップ1801)と、通信コストが所定の値
を越えた部分ファイルを移動元の部分ファイルとして選
択する(ステップ1802)。また、この通信コストが
所定の値を越えた部分ファイルに対して、複数のクライ
アント計算機がアクセスしている場合、各々のアクセス
に対する通信コストを求め、これらを加算して合計通信
コストを求める。
外部負荷情報テーブル901に基づいて、記憶装置の各
記憶部の「残容量」が十分にあり、それらに対する「負
荷」が所定の値より低い記憶装置を持つサーバ計算機を
選択する。そして、選択したサーバ計算機に対して、上
述の合計通信コストを送信し、部分ファイルを移動した
結果、通信コストがどのように変化するかを順に問い合
わせ、最小の通信コストになるサーバ計算機を選択する
(ステップ1802)。または、分散ファイル移動部1
131、1132、1133が、サイト間の接続情報を
持ち、その接続情報から通信コストを予想して、最小の
通信コストになるサーバ計算機を選択するようにしても
よい(ステップ1802)。
図である。図19において、接続情報テーブル1901
は、部分ファイルを送出する「送出元サイト」と、部分
ファイルが送出される「送出先サイト」と、送出元サイ
トから送出先サイトまでの通信コストを示す「通信時
間」の項目を有する。この接続情報テーブル1901か
ら、部分ファイルを保持するサーバ計算機がどのサイト
に属し、部分ファイルを参照するクライアント計算機が
どのサイトに属すかにより、サーバ計算機とクライアン
ト計算機の間の「通信時間」を得ることができる。この
「通信時間」と上述した合計通信コストに基づいて、部
分ファイルの移動後に「通信時間」が最小となるサーバ
計算機を、部分ファイルの移動先として選択する(ステ
ップ1802)。ここで、通信コストが所定の値を越え
た部分ファイルに複数のクライアント計算機がアクセス
している場合には、部分ファイルの移動後の「通信時
間」が最小の通信コストになるサーバ計算機を選択する
ようにするとよい。
1)と部分ファイルA2(126c)の通信コスト(以
下、「コストA2」ともいう)が所定の値を越えたと
き、部分ファイルA2(126c)をサーバ計算機A1
105に移動した場合に、通信コストがどのようになる
かをサーバ計算機A1105に問い合わせるか、また
は、接続情報テーブル1901から通信コストを求め
る。その結果が、コストA2を下回っていれば、サーバ
計算機A1105を移動先サーバ計算機の候補にする。
この処理を他のサーバ計算機に対しても行い、通信コス
トが最小になるサーバ計算機を探す(ステップ180
2)。
移動先サーバ計算機の選択(ステップ1802)によっ
て得られた情報に基づいて、部分ファイルの移動を行な
う(ステップ1803)。
散ファイル移動部1131、1132、1133が、負
荷情報テーブル401、外部負荷情報テーブル901及
びアクセス情報テーブル1201の各情報と、接続情報
テーブル1901から得られるサーバ計算機とクライア
ント計算機の間の接続情報とに基づいて、処理中の部分
ファイルが存在するサーバ計算機と処理の要求元のクラ
イアント計算機との間の通信コストを求め、通信コスト
が所定の値を超えた場合に、通信コストの小さくなる他
のサーバ計算機へ部分ファイルを移動するようにしたの
で、上述した第3の実施の形態で得られる効果に加え、
クライアント計算機から部分ファイルへのアクセス時間
の平均値を短縮することができる。
コストとして、通信時間を例にあげているが、通信時間
の「遅延」や「ゆらぎ(変動幅)」などにすることもで
きる。
のクライアント計算機が同一の部分ファイルにアクセス
している場合、合計通信コストを最小にするように部分
ファイルを移動しているが、平均通信コストを最小にす
るように部分ファイルを移動するようにしてもよい。
る分散ファイル管理システムの第5の実施の形態の一例
を示す構成図である。この図20においては、図8と同
様の構成には同一の符号を付している。図20に示した
分散ファイル管理システムは、パーソナルコンピュータ
やワークステーションなどのサーバ計算機及びパーソナ
ルコンピュータやワークステーションなどの複数のクラ
イアント計算機から成るクライアント計算機群を備えた
複数の計算機サイトA2002、計算機サイトB200
3、及び計算機サイトC2004と、計算機サイトA2
002、計算機サイトB2003、及び計算機サイトC
2004を相互に接続するローカルエリアネットワーク
やワイドエリアネットワークなどのネットワーク101
とを備えている。
ソナルコンピュータやワークステーションなどの複数の
サーバ計算機(図20においては、「サーバ計算機A2
005」のみ示す)と、パーソナルコンピュータやワー
クステーションなどのクライアント計算機1〜n(10
8−1〜108−n)から成るクライアント計算機群A
108とを備えている。この計算機サイトA2002
は、複数のサーバ計算機(図20においては、「サーバ
計算機A2005」のみ示す)とクライアント計算機群
A108とをイーサネットなどの内部ネットワーク13
1で接続しており、例えば、インターネットドメインに
なっている。
計算機サイトB2003は、複数のサーバ計算機(図2
0においては、「サーバ計算機B2006」のみ示す)
と、複数のクライアント計算機から成るクライアント計
算機群B109とを備え、計算機サイトC2004は、
複数のサーバ計算機(図20においては、「サーバ計算
機C2007」のみ示す)と、複数のクライアント計算
機から成るクライアント計算機群C110とを備えてい
る。さらに、これらの計算機サイトB2003及び計算
機サイトC2004は、計算機サイトA2002と同様
に、複数のサーバ計算機(図20においては、「サーバ
計算機B2006」及び「サーバ計算機C2007」の
み示す)と、クライアント計算機群B109及びクライ
アント計算機群C110とを、それぞれ内部ネットワー
ク132及び内部ネットワーク133で接続しており、
例えば、インターネットドメインになっている。
の部分ファイルを記録するハードディスクなどの記憶装
置115と、イーサネットなどの内部ネットワーク13
1へ接続するためのネットワークインタフェース113
と、部分ファイルを記録している記憶装置115への書
き込みや読み出しを制御する部分ファイル管理部111
と、記憶装置115に対する負荷や記憶装置115の残
り容量、及びネットワークインタフェース113に対す
る負荷を監視し、これらの負荷や容量に関する情報を保
持する状態管理部814と、部分ファイル管理部11
1、状態管理部814、及びネットワークインタフェー
ス113に接続された分散ファイル管理部2012とに
よって構成されている。
機へ負荷情報を通知し、また、他のサーバ計算機から通
知された外部負荷情報を保持する外部状態管理部811
を備えている。
クセス情報テーブル1201(図12)、負荷情報テー
ブル401(図4)及び外部負荷情報テーブル901
(図9)から得られる部分ファイル毎の各情報に基づい
て、コピーする部分ファイルを決定し、他のサーバ計算
機へ当該部分ファイルをコピーする分散ファイルコピー
部2001を備えている。
C2007は、サーバ計算機A2005と同様の構成に
なっている。すなわち、サーバ計算機B2006は、記
憶装置120と、ネットワークインタフェース118
と、部分ファイル管理部116と、外部状態管理部81
2を備えた状態管理部819と、分散ファイルコピー部
2032を備えた分散ファイル管理部2017とによっ
て構成されている。また、サーバ計算機C2007は、
記憶装置125と、ネットワークインタフェース123
と、部分ファイル管理部121と、外部状態管理部81
3を備えた状態管理部824と、分散ファイルコピー部
2033を備えた分散ファイル管理部2022とによっ
て構成されている。
システムと図8に示した分散ファイル管理システムとの
相違点は、図20に示した分散ファイル管理部201
2、2017、2022が、アクセス情報テーブル12
01、負荷情報テーブル401及び外部負荷情報テーブ
ル901から得られる部分ファイル毎の各情報に基づい
て、コピーする部分ファイルを決定し、他のサーバ計算
機へ当該部分ファイルをコピーする分散ファイルコピー
部2031、2032、2033をを備えている点であ
る。
システムの動作について、分散ファイルA、分散ファイ
ルB及び分散ファイルCが、サーバ計算機A2005に
よって図20に示すように作成された後に、部分ファイ
ルのコピーを行なう場合を例にとって詳細に説明する。
ファイルコピー部2031の動作アルゴリズムを示すフ
ローチャートである。図21において、まず、分散ファ
イルコピー部2031は、状態管理部814が管理して
いる負荷情報テーブル401(図4)を、所定の時間間
隔で監視する(ステップ2101)。
置115の任意の記憶部の「負荷」が所定の値、例え
ば、80[%]などの値を越えたことを検出する(ステ
ップ2101)と、検出された記憶装置115の記憶部
に含まれている部分ファイルを、部分ファイル管理テー
ブル1301(図13)を参照して探し出す。そして探
し出した部分ファイルのアクセス情報を、アクセス情報
テーブル1201から獲得する。得られたアクセス情報
の「アクセス回数」を比較し、最も大きな「アクセス回
数」になっている部分ファイルを、コピー元部分ファイ
ルとして選択する。ここで、例えば、部分ファイルA1
(126a)が選択されたとする。次に、外部負荷情報
テーブル901(図9)に基づいて、記憶装置の記憶部
の「残容量」が十分あり、「負荷」が所定の値より低い
記憶装置を持つサーバ計算機を選択する。そして、選択
したサーバ計算機に対して、部分ファイルがコピーでき
るかどうかを確認し、コピー可能なサーバ計算機をコピ
ー先サーバ計算機として選択する(ステップ210
2)。
の記憶装置125の記憶部(記憶装置識別子:Disk
ID2)が選択されたとする。
先サーバ計算機の選択によって得られた情報に基づい
て、部分ファイルのコピーを行ない(ステップ210
3)、再びステップ2101の監視処理を続行する。
2で、コピー元部分ファイルとして部分ファイルA1
(126a)、コピー先サーバ計算機としてサーバ計算
機C2007が選択されたので、コピー元のサーバ計算
機A2005の分散ファイルコピー部2031は、部分
ファイル管理部111を介して、記憶装置115から部
分ファイルA1(126a)を読み出し、この部分ファ
イルA1(126a)をネットワークインタフェース1
13を介してネットワーク101へ送出する。また、同
時に部分ファイルA1(126a)の「オリジナル所在
地」(図13)に関する情報も送出する。
では、分散ファイルコピー部2033が、コピー元のサ
ーバ計算機A2005より送出された部分ファイルA1
(126a)を、ネットワークインタフェース123を
介して受信しする。そして、部分ファイル管理部121
を介して、記憶装置125の所定の記憶部に書き込む。
また、部分ファイルA1(126a)の「オリジナル所
在地」も受信して、部分ファイル管理テーブル1403
に登録する。その後、コピー先のサーバ計算機C200
7は、コピー元のサーバ計算機A2005と「オリジナ
ル所在地」に示されているサーバ計算機(この例の場合
には、「オリジナル所在地」もサーバ計算機A2005
の記憶装置115の記憶部である)に対して、部分ファ
イルA1(126a)のコピーが完了したことを通知す
る。コピー元のサーバ計算機と「オリジナル所在地」に
示されるサーバ計算機(両方ともサーバ計算機A200
5)では部分ファイル管理テーブル1401の部分ファ
イルA1(126a)の情報を書き換える。
部分ファイル管理テーブルを示す図である。上述の部分
ファイルA1(126a)のコピーの結果、図14に示
した部分ファイル管理テーブル1401、1402、1
403は、図22に示す部分ファイル管理テーブル22
01、2202、2203の状態に変化する。すなわ
ち、図22(A)は、サーバ計算機A2005の部分フ
ァイル管理テーブル2201を示し、(B)は、サーバ
計算機B2006の部分ファイル管理テーブル2202
を示し、(C)は、サーバ計算機C2007の部分ファ
イル管理テーブル2203を示している。また、部分フ
ァイル管理テーブル2201には、「部分ファイル識別
子」がA1、A2、A3、B1、C1及びC2で示され
る各部分ファイルの「所在地」と、「オリジナル所在
地」が示されている。また、部分ファイル管理テーブル
2002には、「部分ファイル識別子」がC1及びC2
で示される各部分ファイルの「所在地」と、「オリジナ
ル所在地」が示されている。また、部分ファイル管理テ
ーブル2203には、「部分ファイル識別子」がA1、
A2及びA3で示される各部分ファイルの「所在地」
と、「オリジナル所在地」が示されている。図14に示
した部分ファイル管理テーブルの状態と、図22に示し
た部分ファイル管理テーブルの状態の差異は、部分ファ
イルA1(126a)を、サーバ計算機A2005から
サーバ計算機C2007へコピーしたことによる差異で
ある。すなわち、図14(A)の部分ファイル管理テー
ブル1401において、部分ファイルA1(126a)
の「所在地」が、「file://siteA/ser
verA/DisiID1/」であるのに対して、図2
2(A)の部分ファイル管理テーブル2201において
は、部分ファイルA1(126a)の「所在地」、が
「file://siteA/serverA/Dis
kID1/」及び「file://siteC/ser
verC/DiskID2/(コピーの所在地)」とな
っている点が相違する。さらに、図22(C)の部分フ
ァイル管理テーブル2103においては、部分ファイル
A1(126a)の項目が追加されている。
2006の分散ファイルコピー部2032が、部分ファ
イルC1(126e)を、サーバ計算機C2007にコ
ピーし、サーバ計算機C2007の分散ファイルコピー
部2033が、部分ファイルA1(126a)を、サー
バ計算機B2006にコピーすることもできる。
ファイルをコピーした状態の部分ファイル管理テーブル
を示す図である。図23(A)は、サーバ計算機A20
05の部分ファイル管理テーブル2301を示し、
(B)は、サーバ計算機B2006の部分ファイル管理
テーブル2302を示し、(C)は、サーバ計算機C2
007の部分ファイル管理テーブル2303を示してい
る。図23(A)の部分ファイル管理テーブル2301
には、「部分ファイル識別子」がA1、A2、A3、B
1、C1及びC2の各部分ファイルの「所在地」と、
「オリジナル所在地」が示されている。図23(B)の
部分ファイル管理テーブル2302には、「部分ファイ
ル識別子」がC1、C2及びA1の各部分ファイルの
「所在地」と、「オリジナル所在地」が示されている。
また、図23(C)の部分ファイル管理テーブル230
3には、「部分ファイル識別子」がA1、A2、A3及
びC1の各部分ファイルの「所在地」と、「オリジナル
所在地」が示されている。図22の部分ファイル管理テ
ーブルの状態と図23の部分ファイル管理テーブルの状
態の差異は、部分ファイルA1(126a)を、サーバ
計算機C2007からサーバ計算機B2006へコピー
したことと、部分ファイルC1(126e)をサーバ計
算機B2006からサーバ計算機C2007へコピーし
たことによるものである。
のコピーに対応して、部分ファイル管理テーブル230
2において、部分ファイルA1(126a)の項目が追
加されている。また、サーバ計算機B2006が部分フ
ァイルA1(126a)の「オリジナル所在地」を参照
して、サーバ計算機A2005にコピーを知らせること
で、「オリジナル所在地」のサーバ計算機A2005
が、部分ファイル管理テーブル2301において、部分
ファイルA1(126a)の「所在地」に、「fil
e://siteB/serverB/DiskID2
/」を追加している。また、部分ファイルC1(126
e)のコピーに対応して、部分ファイル管理テーブル2
303において、部分ファイルC1(126e)の項目
が追加されている。さらに、部分ファイル管理テーブル
2302において、部分ファイルC1(126e)の
「所在地」が、「file://siteB/serv
erB/DiskID3/」および「file://s
iteC/serverC/DiskID3/(コピー
の所在地)」となっている。
1(108−1)が、分散ファイルCを参照する際に、
その参照内容が部分ファイルC1(126e)に含まれ
る場合の動作を説明する。
1)は、分散ファイルCを作成したサーバ計算機A20
05に対して、分散ファイルCの参照を要求する。サー
バ計算機A2005では、分散ファイル管理テーブル2
301を参照して、分散ファイルCを構成する部分ファ
イルC1、C2のうちどの部分ファイルを参照している
のかを調べ、部分ファイルC1(126e)の参照であ
ることを認識する。部分ファイルC1(126e)の
「所在地」は、分散ファイル管理テーブル2301では
「file://siteB/serverB/Dis
kID3/」なので、サーバ計算機A2005は、サー
バ計算機B2006に対して、部分ファイルC1(12
6e)が存在するかどうかの確認を行なう。
ァイル管理テーブル2302を調べて、部分ファイルC
1(126e)の所在地を調べる。部分ファイルC1
(126e)の「所在地」は、分散ファイル管理テーブ
ル2302では「file://siteB/serv
erB/DiskID3/」及び「file://si
teC/serverC/DiskID3/」なので、
サーバ計算機B2006は、負荷情報テーブル401と
外部負荷情報テーブル901からサーバ計算機B200
6とサーバ計算機C2007のうち負荷の低いサーバ計
算機を選択する。ここで、サーバ計算機C2007を選
択した場合、サーバ計算機B2006は、サーバ計算機
C2007に対して、部分ファイルC1(126e)が
存在するかどうかの確認を行なう。
ァイル管理テーブル2303を調べて、部分ファイルC
1(126e)の「所在地」を確認する。部分ファイル
C1(126e)の「所在地」は、分散ファイル管理テ
ーブル2303では「file://siteC/se
rverC/DiskID3/」なので、部分ファイル
C1(126e)は、サーバ計算機C2007に存在す
ることが解る。
計算機B2006に、部分ファイルC1(126e)
が、「file://siteC/serverC/D
iskID3/」に存在することを通知する。
計算機A2005に、部分ファイルC1(126e)
が、「file://siteC/serverC/D
iskID3/」に存在することを通知する。
計算機C2007に部分ファイルC1(126e)の参
照を要求する。この要求と同時に、参照を要求したクラ
イアント計算機1(108−1)に対して、クライアン
ト計算機1(108−1)がサーバ計算機C2007に
直接に、部分ファイルC1(126e)の参照要求を行
なうように指示する。
ァイル管理部112、117、122が、アクセス情報
テーブル1201、負荷情報テーブル401及び外部負
荷情報テーブル901から得られる部分ファイル毎の各
情報に基づいて、コピーする部分ファイルを決定し、分
散ファイルコピー部2031、2032、2033が、
部分ファイルを他のサーバ計算機にコピーすることによ
って、特定のサーバ計算機の記憶装置への負荷の集中を
回避することができる。
散ファイルコピー部2031の動作アルゴリズム(図2
1)のステップ2101において、記憶装置の各記憶部
の「負荷」が所定の値を越えたことを検知するのに代え
て、ネットワーク負荷情報テーブル403の「使用通信
帯域幅」が所定の値を越えたリンクを検知することにし
てもよい。また、ステップ2102において、アクセス
情報テーブル1201からネットワーク負荷を高めてい
る部分ファイルと、ネットワーク負荷を高めている計算
機サイトを選択するようにしてもよい。これによって、
ネットワーク負荷の集中を回避できる。例えば、計算機
サイトA2002(送出元サイト)と計算機サイトB2
003(送出先サイト)のリンクの「使用通信帯域幅」
が所定の値を越えた時、サーバ計算機A2005に存在
し、ネットワーク負荷を高める原因となっている部分フ
ァイルをサーバ計算機B2003にコピーする。これに
より、計算機サイトA2002と計算機サイトB200
3間の「使用通信帯域幅」が減少する。
ファイルコピー部2031の他の動作アルゴリズムを示
すフローチャートである。図24において、まず、分散
ファイルコピー部2031は、部分ファイルへの通信コ
ストを所定の間隔で監視する(ステップ2401)。
ァイルを参照しているクライアント計算機と、その部分
ファイルを保持するサーバ計算機との間の通信時間とす
ることができる。例えば、クライアント計算機1(10
8−1)と部分ファイルA2(126c)の通信コスト
の場合は、部分ファイルA2(126c)を参照してい
るクライアント計算機1(108−1)と、部分ファイ
ルA2(126c)を保持するサーバ計算機C2007
の間の通信時間とすればよい。
部分ファイルへの通信コストが所定の値を越えたことを
検知した場合(ステップ2401)、この通信コストが
所定の値を越えた部分ファイルを、コピー元部分ファイ
ルとして選択する。通信コストが所定の値を越えた部分
ファイルに、複数のクライアント計算機がアクセスして
いる場合には、各アクセス毎に各々の通信コストを求
め、これらを加算して合計通信コストを求める。一方、
コピー先のサーバ計算機を選択する際には、外部負荷情
報テーブル901に基づいて、記憶装置の記憶部の「残
容量」が十分あり、「負荷」が低い記憶装置を持つサー
バ計算機を選択し、選択されたサーバ計算機に対して合
計通信コストを送信し、部分ファイルをコピーした結
果、通信コストがどのように変化するかを順に問い合わ
せる。そして、最小の通信コストになるサーバ計算機を
コピー先サーバ計算機として選択する。または、分散フ
ァイルコピー部2031、2032、2033が、サイ
ト間(サーバ計算機とクライアント計算機との間)の接
続情報として、例えば、図19に示す接続情報テーブル
1901を持ち、その情報から通信コスト(通信時間)
を予想して、最小の通信コストになるサーバ計算機を選
択するようにしてもよい。図19の接続情報テーブル1
901の情報と、サーバ計算機がどのサイトに属しクラ
イアント計算機がどのサイトに属すかの情報とにより、
サーバ計算機とクライアント計算機の間の「通信時間」
を得ることができる。そして、その「通信時間」が最小
となるサーバ計算機を、部分ファイルのコピー先として
選択するとよい。通信コストが所定の値を越えた部分フ
ァイルに、複数のクライアント計算機がアクセスしてい
る場合には、最小の合計通信コストになるサーバ計算機
をコピー先サーバ計算機として選択する(ステップ24
02)。
1)と部分ファイルA2の通信コスト(コストA2)が
所定の値を越えた時には、部分ファイルA2をサーバ計
算機A105にコピーした場合に、通信コストがどのよ
うになるかをサーバ計算機A105に問い合わせる。あ
るいは、接続情報1801からコストを求める。その結
果が、コストA2を下回っていれば、サーバ計算機A1
05をコピー先の候補にする。この処理を繰り返して、
通信コストが最小になるサーバ計算機を探す。このコピ
ー元部分ファイルの選択とコピー先サーバ計算機の選択
によって得られた情報に基づいて、部分ファイルのコピ
ーを行ない(ステップ2403)、再びステップ240
1の監視処理を続行する。
ステップ2102を図24のステップ2401とステッ
プ2402に変更することで、クライアント計算機から
部分ファイルへのアクセス時間の平均値を短縮すること
ができる。また、上記では通信コストとして、「通信時
間」を例にあげているが、通信時間の「遅延」や「ゆら
ぎ(変動幅)」などでもよい。
4のステップ2402において、コピー先のサーバ計算
機に部分ファイルのコピーが可能かを確認し、ステップ
2103及びステップ2403において、部分ファイル
のコピーを行なっているが、ステップ2102及びステ
ップ2402でサーバ計算機に部分ファイルのコピーが
可能かを確認することなく、部分ファイルをコピーする
ことによって、ステップ2102及びステップ2402
の確認処理を省略することができる。このとき、ステッ
プ2103及びステップ2403において、コピー先の
サーバ計算機側で、部分ファイルのコピーを受け入れら
れない場合には、コピー先のサーバ計算機は、さらに部
分ファイルをコピーするためのコピー先を探して部分フ
ァイルをコピーするか、あるいは、コピー用に送信され
てきた部分ファイルを破棄して、コピー元のサーバ計算
機にコピー用の部分ファイルを破棄したことを通知する
ようにしてもよい。
1のステップ2103及び図24のステップ2403に
おいて、部分ファイルをコピー元のサーバ計算機から、
コピー先のサーバ計算機へ単にコピーしているが、その
コピー処理に加えて、コピー先のサーバ計算機内の部分
ファイルの中からコピー元のサーバ計算機へ移動させて
も良い部分ファイルを選択し、その部分ファイルを移動
元のサーバ計算機に移動するようにしてもよい。これに
よって、1つのサーバ計算機に部分ファイルが集中せ
ず、特定のサーバ計算機の記憶装置への負荷の集中を回
避することができる。
て、コピー先のサーバ計算機の選択を行なう際に、あら
かじめサーバ計算機リストを設定しておき、このサーバ
計算機リスト中のサーバ計算機の中から、記憶装置の記
憶部の残容量が十分あり、負荷が低い記憶装置を持つサ
ーバ計算機を選択するようにすることもできる。これに
よって、サーバ選択のための時間を短縮することができ
るようになる。
た分散ファイル管理システムにおけるサーバ計算機A2
005の分散ファイルコピー部2031の他の動作アル
ゴリズムを示すフローチャートである。本実施の形態に
おいては、上述した第5の実施の形態と同様の構成とな
っており、分散ファイルコピー部の動作を除いては同様
の動作を行う。以下、分散ファイルコピー部2031の
動作アルゴリズムについて説明する。
ー部2031は、状態管理部814が管理している負荷
情報テーブル401(図4)を、所定の時間間隔で監視
する(ステップ2501)。
置115の任意の記憶部の「負荷」が所定の値、例え
ば、80[%]などの値を越えたことを検出する(ステ
ップ2501)と、検出された記憶装置に含まれている
部分ファイルを、部分ファイル管理テーブル1301
(図13)を参照して探し出す。そして、探し出した部
分ファイルの「単位時間当たりのアクセス情報」を、ア
クセス情報テーブル1201から獲得する。獲得した
「単位時間当たりのアクセス情報」の「アクセス回数」
を比較し、最も大きな「アクセス回数」になっている部
分ファイルを、コピー元部分ファイルとして選択する
(ステップ2502)。ここでは、例えば、部分ファイ
ルA1が選択されたとする。
9)に基づいて、記憶装置の記憶部の「残容量」が十分
あり、「負荷」が所定の値より低い記憶装置を持つ複数
のサーバ計算機を選択する。そして、選択されたサーバ
計算機に対して部分ファイルをコピーできるかどうかを
確認し、コピー可能なサーバ計算機を、コピー先サーバ
計算機として決定する(ステップ2502)。
記憶装置識別子DiskID1で示される記憶部を有す
る記憶装置120と、サーバ計算機C107の記憶装置
識別子DiskID2で示される記憶部を有する記憶装
置125が選択されたとする。
コピー元部分ファイルとコピー先サーバ計算機の情報に
基づいて、部分ファイルのコピーを行ない(ステップ2
503)、ステップ2501の監視処理を続行する。
コピー元部分ファイルとして部分ファイルA1(126
a)、コピー先計算機としてサーバ計算機B2006と
サーバ計算機C2007が選択されたので、コピー元の
サーバ計算機A2005の分散ファイルコピー部203
1は部分ファイル管理部111を介して、記憶装置11
5から部分ファイルA1(126a)を読み出し、ネッ
トワークインタフェース113を介してネットワーク1
01へマルチキャストで送信する。また、同時に部分フ
ァイルA1(126a)の「オリジナル所在地」(図1
3)に関する情報も送信する。
と計算機C2007では、分散ファイルコピー部203
2、2033がコピー元のサーバ計算機A2005より
送信された部分ファイルA1(126a)を、ネットワ
ークインタフェース118、123を介して受信し、部
分ファイル管理部116、121を介して、記憶装置1
20、125に書き込む。また、部分ファイルA1(1
26a)の「オリジナル所在地」(図13)も受信し
て、それぞれの部分ファイル管理テーブル1402、1
403(図14)に登録する。その後、コピー先のサー
バ計算機B2006とサーバ計算機C2007は、それ
ぞれコピー元のサーバ計算機と「オリジナル所在地」
(図13)に示されているサーバ計算機、すなわち、こ
の場合には、両方ともサーバ計算機A2005であるた
め、両者ともこのサーバ計算機A2005に対して、部
分ファイルA1(126a)のコピーが完了したことを
通知する。コピー元のサーバ計算機と「オリジナル所在
地」(図13)に示されるサーバ計算機、すなわち、サ
ーバ計算機A2005では部分ファイル管理テーブル1
401(図14)の部分ファイルA1(126a)の情
報を書き換える。
ァイルコピー部2031、2032、2033が部分フ
ァイルを他のサーバ計算機へコピーする際に、複数のコ
ピー先のサーバ計算機の候補を選択し、選択された複数
のサーバ計算機へマルチキャスト通信により同時に部分
ファイルをコピーするため、部分ファイルのコピーの際
の通信量を削減できる。
る分散ファイル管理システムの他の実施の形態の一例を
示す構成図である。ここで、図26では、図1と同一の
構成のものには同一の符号を付している。図26におい
て、この分散ファイル管理システムは、パーソナルコン
ピュータやワークステーションなどのサーバ計算機及び
パーソナルコンピュータやワークステーションなどの複
数のクライアント計算機から成るクライアント計算機群
を備えた複数の計算機サイトA2602、計算機サイト
B2603、及び計算機サイトC2604と、計算機サ
イトA2602、計算機サイトB2603、及び計算機
サイトC2604を相互に接続するローカルエリアネッ
トワークやワイドエリアネットワークなどのネットワー
ク101とを備えている。
ソナルコンピュータやワークステーションなどの複数の
サーバ計算機(図26においては、「サーバ計算機A2
605」のみ示す)と、パーソナルコンピュータやワー
クステーションなどのクライアント計算機1〜n(10
8−1〜108−n)から成るクライアント計算機群A
108とを備えている。この計算機サイトA2602
は、複数のサーバ計算機(図26においては、「サーバ
計算機A2605」のみ示す)とクライアント計算機群
A108とをイーサネットなどの内部ネットワーク13
1で接続しており、例えば、インターネットドメインに
なっている。
計算機サイトB2603は、複数のサーバ計算機(図2
6においては、「サーバ計算機B2606」のみ示す)
と、複数のクライアント計算機から成るクライアント計
算機群B2609とを備え、計算機サイトC2604
は、複数のサーバ計算機(図26においては、「サーバ
計算機C2607」のみ示す)と、複数のクライアント
計算機から成るクライアント計算機群C2610とを備
えている。さらに、これらの計算機サイトB2603及
び計算機サイトC2604は、計算機サイトA2602
と同様に、複数のサーバ計算機(図26においては、
「サーバ計算機B2606」及び「サーバ計算機C26
07」のみ示す)と、クライアント計算機群B109及
びクライアント計算機群C110とを、それぞれ内部ネ
ットワーク132及び内部ネットワーク133で接続し
ており、例えば、インターネットドメインになってい
る。
の部分ファイルを記録するハードディスクなどの記憶装
置115と、イーサネットなどの内部ネットワーク13
1へ接続するためのネットワークインタフェース113
と、部分ファイルを記録している記憶装置115への書
き込みや読み出しを制御する部分ファイル管理部111
と、記憶装置115に対する負荷や記憶装置115の残
り容量、及びネットワークインタフェース113に対す
る負荷を監視し、これらの負荷や容量に関する情報を保
持する状態管理部114と、部分ファイル管理部11
1、状態管理部114、及びネットワークインタフェー
ス113に接続された分散ファイル管理部2612とに
よって構成されている。
ファイルの書き込みや読み出しを部分ファイル管理部1
11に指示する。また、分散ファイル管理部2612
は、分散ファイルを作成する場合には、状態管理部11
4から得られる情報に基づいて、分散ファイルを複数の
部分ファイルに分割し、各部分ファイルを配置(記録)
するサーバ計算機を決定する。また、以前に作成された
分散ファイルを参照または更新する場合には、該当する
分散ファイルの部分ファイルが存在する(記録されてい
る)サーバ計算機を検出する。ここで、分散ファイル管
理部2612は、クライアント計算機からの情報または
分散ファイルに記録されるデータの種類に応じて、分散
ファイルを部分ファイルへ分割する際の部分ファイルの
サイズを決定する部分ファイルサイズ決定部2631を
備えている。
C2607は、サーバ計算機A2605と同様の構成に
なっている。すなわち、サーバ計算機B2606は、記
憶装置120と、ネットワークインタフェース118
と、部分ファイル管理部116と、状態管理部119
と、分散ファイル管理部2617とによって構成されて
いる。また、サーバ計算機C2607は、記憶装置12
5と、ネットワークインタフェース123と、部分ファ
イル管理部121と、状態管理部124と、分散ファイ
ル管理部2622とによって構成されている。また、分
散ファイル管理部2617、2622は、それぞれ部分
ファイルサイズ決定部2632、2633を備えてい
る。
システムと図に示した分散ファイル管理システムとの相
違点は、図26の分散ファイル管理システムにおいて、
分散ファイル管理部2612、2617、2622に、
クライアント計算機からの情報または分散ファイルに記
録されるデータの種類に応じて、分散ファイルを部分フ
ァイルへ分割する際の部分ファイルのサイズを決定する
部分ファイルサイズ決定部2631、2632、263
3を備えている点である。
システムの部分ファイルサイズ決定部2631、263
2、2633の動作について以下に説明する。
機1(108−1)がサーバ計算機A2605に対し
て、分散ファイルAの作成要求を行なった時、ステップ
302の処理で、分散ファイル管理部2612の部分フ
ァイルサイズ決定部2631が、部分フィルを割り当て
る時のサイズを決定する。部分ファイルサイズ決定部2
631が、部分ファイルのサイズを決定するに際には、
分散ファイルに記録するデータの種類(例えば、M−J
PEG、MPEG1、MPEG2など)やクライアント
計算機1(108−1)からの指示によって決めるよう
にするとよい。
ル管理システムにおいて、分散ファイル管理部261
2、2617、2622の部分ファイルサイズ決定部2
631、2632、2633が、クライアント計算機か
らの情報や分散ファイルに記録されるデータの種類など
によって、分散ファイルを部分ファイルへ分割する際の
部分ファイルのサイズを決定することにより、分散ファ
イルを構成する部分ファイルのサイズを適宜変更するこ
とができる。これにより、論理的や内容的に関連のある
データ、例えば、画像1フレーム分のデータなどを複数
の部分ファイルに分割してしまうことを防止することが
できる。
ーバ計算機が有する分散ファイル管理部及び状態管理部
を1つのサーバ計算機にまとめ、該サーバ計算機で集中
して管理する場合について説明する。
態に示した分散ファイル管理システムにおいて、分散フ
ァイル管理部及び状態管理部を1つのサーバ計算機にま
とめた場合の分散管理システムの構成の一例を示してい
る。図27において、図1と同一の構成のものには同一
の符号を付している。
は、パーソナルコンピュータやワークステーションなど
のサーバ計算機及びパーソナルコンピュータやワークス
テーションなどの複数のクライアント計算機から成るク
ライアント計算機群を備えた複数の計算機サイトA27
02、計算機サイトB2703、及び計算機サイトC2
704と、他のサーバ計算機上に配置されている分散フ
ァイルを集中的に管理する管理サーバ計算機X2711
を備えた計算機サイトX2710と、計算機サイトA2
702、計算機サイトB2703、計算機サイトC27
04、及び計算機サイトX2710を相互に接続するロ
ーカルエリアネットワークやワイドエリアネットワーク
などのネットワーク101とを備えている。
ソナルコンピュータやワークステーションなどの複数の
サーバ計算機(図27においては、「サーバ計算機A2
705」のみ示す)と、パーソナルコンピュータやワー
クステーションなどのクライアント計算機1〜n(10
8−1〜108−n)から成るクライアント計算機群A
108とを備えている。この計算機サイトA2702
は、複数のサーバ計算機(図27においては、「サーバ
計算機A2705」のみ示す)とクライアント計算機群
A108とをイーサネットなどの内部ネットワーク13
1で接続しており、例えば、インターネットドメインに
なっている。
計算機サイトB2703は、複数のサーバ計算機(図2
7においては、「サーバ計算機B2706」のみ示す)
と、複数のクライアント計算機から成るクライアント計
算機群B109とを備え、計算機サイトC2704は、
複数のサーバ計算機(図27においては、「サーバ計算
機C2707」のみ示す)と、複数のクライアント計算
機から成るクライアント計算機群C110とを備えてい
る。さらに、これらの計算機サイトB2703及び計算
機サイトC2704は、計算機サイトA2702と同様
に、複数のサーバ計算機(図27においては、「サーバ
計算機B2706」及び「サーバ計算機C2707」の
み示す)と、クライアント計算機群B109及びクライ
アント計算機群C110とを、それぞれ内部ネットワー
ク132及び内部ネットワーク133で接続しており、
例えば、インターネットドメインになっている。
の部分ファイルを記録するハードディスクなどの記憶装
置115と、イーサネットなどの内部ネットワーク13
1へ接続するためのネットワークインタフェース113
と、部分ファイルを記録している記憶装置115への書
き込みや読み出しを制御する部分ファイル管理部111
とによって構成されている。
C2707は、サーバ計算機A2705と同様の構成に
なっている。すなわち、サーバ計算機B2706は、記
憶装置120と、ネットワークインタフェース118
と、部分ファイル管理部116とによって構成されてい
る。また、サーバ計算機C2707は、記憶装置125
と、ネットワークインタフェース123と、部分ファイ
ル管理部121とによって構成されている。
ットなどの内部ネットワーク134に接続するためのネ
ットワークインタフェース2713と、各サーバ計算機
の記憶装置の負荷や残り容量、ネットワークインタフェ
ースの負荷を監視し、負荷に関する情報を保持する状態
管理部2714と、部分ファイルの書き込みや読み出し
を各サーバ計算機の部分ファイル管理部111、11
6、121に指示したり、分散ファイルを作成する際
に、状態管理部2714からの情報に基づいて分散ファ
イルを複数の部分ファイルに分割し、各部分ファイルを
配置するサーバ計算機を決定することによって部分ファ
イルの作成を行ない、また、分散ファイルを参照または
更新する場合には、参照または更新される当該分散ファ
イルの部分ファイルが在左するサーバ計算機を検出して
部分ファイルの参照または更新を行なう分散ファイル管
理部2712によって構成されている。
B、Cが作成された後の状態を示している。すなわち、
サーバ計算機A2705の記憶装置115には、分散フ
ァイルAの部分ファイルA1(126a)と分散ファイ
ルBの部分ファイルB1(126b)とが記録されてい
る。また、サーバ計算機B2706の記憶装置120に
は、分散ファイルCの部分ファイルC1(126e)と
分散ファイルCの部分ファイルC2(126f)とが記
録されている。また、サーバ計算機C2707の記憶装
置125には、分散ファイルAの部分ファイルA2(1
26c)と分散ファイルAの部分ファイルA3(126
d)とが記録されている。
ル管理システムの動作について説明する。以下において
は、クライアント計算機群A108のクライアント計算
機1(108−1)からサーバ計算機A2705に対し
て分散ファイルAの作成要求が発行され、図27に示し
たような部分ファイルA1〜A3が作成される場合の分
散処理を例にして説明する。ここで、図27に示した記
憶装置115、120、125は、それぞれ複数の記憶
部または記憶領域(以下、単に「記憶部」ともいう)を
有するものとする。これらの複数の記憶部は、物理的に
1つの記録媒体であってもよく、また、複数の記録媒体
であってもよい。
機1(108−1)から計算機サイトX2710の管理
サーバ計算機X2711に分散ファイルAの作成要求が
発行される。この分散ファイルAの作成要求は、計算機
サイトA2702の内部ネットワーク131、ネットワ
ーク101、計算機サイトX2710の内部ネットワー
ク134、及び管理サーバ計算機A2711のネットワ
ークインタフェース2713を介して、分散ファイル管
理部2712によって受け取られる。
取った場合の分散ファイル管理部2712の動作アルゴ
リズムを示すフローチャートである。以下、図27及び
図28を用いて、分散ファイル管理部2712の詳細な
動作を説明する。
部2712は、状態管理部2714の管理している負荷
情報を参照する(ステップ2801)。
ような負荷情報テーブル401を管理している。図4で
は、サーバ計算機A2705に関する情報について示し
ているが、状態管理部2714では、図4に示したよう
な負荷情報テーブル401を各サーバ計算機毎に準備し
管理してる。図4において、負荷情報テーブル401
は、記憶装置負荷情報テーブル402とネットワーク負
荷情報テーブル403からなる。記憶装置負荷情報テー
ブル402は、サーバ計算機に接続されている記憶装置
の各記憶部を識別するための「記憶装置識別子」と、記
憶装置の各記憶部の「負荷」と、記憶装置の各記憶部の
「残容量」の情報で構成されている。記憶装置の各記憶
部の「負荷」は、記憶部の最大転送レートのうち、何
[%]を使用しているかで表示している。ネットワーク
負荷情報テーブル403は、それぞれのサーバ計算機の
ネットワークインタフェースを介して送信するデータが
どのサイトに向けてのものであり、どの程度の帯域幅を
使用して送信されているか、また、受信しているテータ
がどのサイトから送られて来たものであり、どの程度の
帯域幅を使用して受信しているかを表している。また、
「送出元サイト」がデータの送出元の計算機サイトを示
し、「送出先サイト」がデータの送出先の計算機サイト
を示し、「使用帯域幅」が送出元の計算機サイトと送出
先の計算機サイトの間で使用されている通信帯域幅を示
している。
分散ファイル管理部2712は、サーバ計算機A270
5の記憶装置115の記憶装置識別子がDiskID1
で示される記憶部について、その「負荷」が20[%]
で、その「残容量」が10[Mbytes]であるという情報
を得ることができる。
態管理部2714から得られた「記憶装置負荷情報」に
基づいて、各サーバ計算機に接続されている記憶装置の
各記憶部の中から、「残容量」の値が所定の値より大き
く、「負荷」の値が所定の値、例えば、80[%](こ
の値は、システムや他の装置の構成に応じて決定され
る)より低い記憶部を有する記憶装置を選択する。そし
て、この記憶装置の記憶部に部分ファイルを順番に割り
当てる。このとき、部分ファイルのサイズを全てのサー
バ計算機で同一の固定長とするとよい。この部分ファイ
ルの割り当て処理において、全ての部分ファイルを割り
当てることができたかどうかを検知する(ステップ28
02)。
図27においては、部分ファイルA1(126a)をサ
ーバ計算機A2705に割り当て、部分ファイルA2
(126c)及び部分ファイルA3(126d)をサー
バ計算機C2704に割り当てることになる。
きた場合には、分散ファイル管理部2712は、分散フ
ァイルを管理するための情報を、例えば、上述したよう
な図5の分散ファイル管理テーブル501と図6の部分
ファイル管理テーブル601に登録する(ステップ28
03)。
分散ファイルAは、部分ファイルA1(126a)、部
分ファイルA2(126c)、及び部分ファイルA3
(126d)から構成されている。
(126a)の所在地が、「file://siteA
/serverA/DiskID1/(計算機サイトA
102のサーバ計算機A105の記憶装置識別子Dis
kID1)」であり、部分ファイルA2(126c)の
所在地が、「file://siteC/server
C/DiskID2/(計算機サイトC104のサーバ
計算機C107の記憶装置識別子DiskID2)」で
あり、部分ファイルA3(126d)の所在地が、「f
ile://siteC/serverC/DiskI
D2/(計算機サイトC104のサーバC107の記憶
装置DiskID2)」であることを表している。
テップ2803で登録した部分ファイルを該当する各サ
ーバ計算機上に作成するため、作成を行なうサーバ計算
機の部分ファイル管理部に部分ファイルの作成要求を行
う。この作成要求と同時に、分散ファイルの作成要求を
行なったクライアント計算機1(108−1)に対し
て、クライアント計算機1(108−1)から直接部分
ファイルの作成を行なうサーバ計算機にデータを送信す
るように指示する。部分ファイルの作成を要求されたサ
ーバ計算機では、部分ファイル管理部によって記憶装置
の各記憶部にクライアント計算機1(108−1)から
のデータの書き込みを行なう。分散ファイル管理部27
12は、全ての部分ファイルの作成が終るまでこの処理
を繰り返す(ステップ2804)。
1(126a)の作成の場合、サーバ計算機A2705
の部分ファイル管理部111が、クライアント計算機1
(108−1)からのデータを記憶装置115の所定の
記憶部に書き込む。また、サーバ計算機C2707の部
分ファイル管理部121は、クライアント計算機1(1
08−1)からのデータを記憶装置125の所定の記憶
部に書き込んで、部分ファイルA2(126c)及び部
分ファイルA3(126d)を作成する。
ァイルを割り当てることができなかった場合には、分散
ファイル管理部2712は、分散ファイルの作成要求を
行なったクライアント計算機1(108−1)に対し
て、分散ファイルの作成処理が失敗したことを通知する
(ステップ2805)。
計算機に対して分散ファイルの参照または更新の要求
(以下、「参照/更新要求」ともいう)が発行された場
合について説明する。また、以下の説明において、クラ
イアント計算機群A108内のクライアント計算機1
(108−1)から管理サーバ計算機X2711に対し
て分散ファイルAの参照/更新要求が発行された場合を
例にして述べる。
1)によって発行された分散ファイルAに対する参照/
更新要求は、管理サーバ計算機X2711において、ネ
ットワークインタフェース2713を介して、分散ファ
イル管理部2712によって受信される。
イルの参照/更新要求を受け取った場合の動作アルゴリ
ズムを示すフローチャートである。以下、図29を用い
て、分散ファイル管理部2712の動作を説明する。
ライアント計算機1(108−1)からの分散ファイル
Aの参照/更新要求に応じて、分散ファイル管理テーブ
ル501(図5)と部分ファイル管理テーブル601
(図6)から、更新または参照する部分ファイルと、そ
の部分ファイルの所在地を求める(ステップ290
1)。
の場合、分散ファイル管理テーブル501(図5)か
ら、分散ファイルAは、部分ファイルA1(126
a)、部分ファイルA2(126c)及び部分ファイル
A3(126d)により構成されていることがわかる。
また、部分ファイル管理テーブル601(図6)によっ
て、部分ファイルA1(126a)は、「fi1e:/
/siteA/serverA/DiskID1/」で
示される記憶装置115の記憶部に存在し、部分ファイ
ルA2(126c)は、「f11e://siteC/
serverC/DiskID2/」で示される記憶装
置125の記憶部に存在し、部分ファイルA3(126
d)は、「f1le://siteC/serverC
/DiskID2/」で示される記憶装置125の記憶
部に存在することが解る。
ント計算機1(108−1)からの参照/更新要求に対
応する部分ファイルを保持するサーバ計算機に対して、
当該部分ファイルの参照/更新要求を行う。この要求と
同時に、分散ファイル管理部2712は、クライアント
計算機1(108−1)に対して、クライアント計算機
1(108−1)が参照または更新を行う部分ファイル
の存在するサーバ計算機に直接、参照/更新要求を行う
ように指示する。各サーバ計算機の部分ファイル管理部
は、分散ファイル管理部2712からの要求に応じ、ク
ライアント計算機1(108−1)からの参照/更新要
求に基づいて、記憶装置に存在する部分ファイルの読み
出し(参照)、または記憶装置への部分ファイルの書き
込み(更新)を行なう(ステップ2902)。
イルA1(126a)は、計算機サイトA2702のサ
ーバ計算機A2705に、部分ファイルA2(126
c)は、計算機サイトC2704のサーバ計算機C27
07に、部分ファイルA3(126d)は、計算機サイ
トC2704のサーバ計算機C2707に存在してい
る。したがって、部分ファイルA1(126a)に対す
る参照/更新要求の処理は、分散ファイル管理部271
2からの要求に応じて、クライアント計算機1(108
−1)と部分ファイル管理部111との間で直接行なわ
れる。一方、部分ファイルA2(126c)と部分ファ
イルA3(126d)に対する参照/更新要求の処理
は、分散ファイル管理部2712からの要求に応じて、
クライアント計算機1(108−1)と、サーバ計算機
C2707との間で直接行なわれる。
ル管理システムによれば、第1の実施の形態に示した効
果に加え、分散ファイルの管理とシステムの状態の管理
を集中して行うため、重複した管理部を複数持つ必要が
なく、システム構成を簡略することができ、またコスト
の軽減を図ることができる。
ステムにおいては、第1の実施の形態で示した分散ファ
イル管理システムの管理部を、1つの管理サーバ計算機
に集中した構成として説明したが、第2〜第7で示した
実施の形態の分散ファイル管理システムにも適用するこ
とができる。
システムにおいて、分散ファイル管理システムの管理部
を、1つの管理サーバ計算機に集中した構成として説明
したが、所定のグループのサーバ計算機毎や所定のグル
ープの計算機サイト毎に管理サーバ計算機を設けるよう
にしてもよい。このようにすると、大規模なシステムに
おける管理サーバ計算機への負荷の集中を防止すること
ができる。
ファイルが複数のサーバ計第機上に存在する場合の部分
ファイルの選択においては、単にサーバ計算機の「負
荷」の小さい順に選択するだけでなく、サーバ計算機を
所定の規則に基づいて順番に使用するようにしてもよ
く、また、所定の閾値以下の「負荷」を有するサーバ計
算機をランダムに選択するようにしてもよい。
理装置及び分散ファイル管理システムによれば、クライ
アント計算機からサーバ計算機に対する分散ファイルの
作成、参照、または更新の要求に応じて、要求されたサ
ーバ計算機または管理サーバ計算機の各々の管理部で、
各サーバ計算機の負荷情報に基づいて部分ファイルの配
置を決定するため、特定のサーバ計算機への負荷の集中
を回避することができるようになった。
し、また、他のサーバ計算機から通知された外部負荷情
報を保持して、他のサーバ計算機の負荷情報に基づい
て、部分ファイルの配置を決定するため、特定のサーバ
計算機への負荷の集中を回避することができるようにな
った。
荷情報及び外部負荷情報に基づいて、移動させる部分フ
ァイルを決定し、他のサーバ計算機へ部分ファイルを移
動するため、特定のサーバ計算機の記憶装置への負荷の
集中や、各サーバ計算機の記憶装置の容量の不均衡を回
避することができるようになった。
荷情報及び外部負荷情報に基づいて、コピーする部分フ
ァイルを決定し、他のサーバ計算機に部分ファイルをコ
ピーするため、特定のサーバ計算機の記憶装置への負荷
の集中を回避することができるようになった。
散ファイルに記録されるデータの種類によって、分散フ
ァイルを分割して作成する部分ファイルのサイズを決定
するため、分散ファイルを構成する部分ファイルのサイ
ズを適宜変更することができ、内容的、論理的に関連の
あるデータ、例えば、画像1フレーム分のデータなどを
複数の部分ファイルに分けて記録することを防止するこ
とができるようになった。
する各管理部を1つまたは複数の管理用サーバ計算機に
集中させることにより、リソースの重複を最小限に抑え
ることができるため、コストの増加を抑えることができ
るようになった。
ック図である。
ある。
成アルゴリズムを示すフローチャートである。
図である。
す図である。
す図である。
参照/更新アルゴリズムを示すフローチャートである。
ック図である。
示す図である。
ァイル作成アルゴリズムを示すフローチャートである。
ロック図である。
ーブルの一例を示す図である。
一例を示す図である。
一例を示す図である。
ルゴリズムを示すフローチャートである。
一例を示す図である。
一例を示す図である。
ルゴリズムを示すフローチャートである。
す図である。
ロック図である。
アルゴリズムを示すフローチャートである。
一例を示す図である。
一例を示す図である。
アルゴリズムを示すフローチャートである。
アルゴリズムを示すフローチャートである。
ロック図である。
ロック図である。
作成アルゴリズムを示すフローチャートである。
の参照/更新アルゴリズムを示すフローチャートであ
る。
図である。
4、2002〜2004、2602〜2604、270
2〜2704、2710 計算機サイト 105〜107、805〜807、1105〜110
7、2005〜2007、2605〜2607、270
5〜2707 サーバ計算機 108、109、110 クライアント計算機群 108−1〜108−n クライアント計算機 111、116、121 部分ファイル管理部 112、117、122、1112、1117、112
2、2012、2017、2022、2612、261
7、2622、2712 分散ファイル管理部 113、118、123、2713 ネットワークイン
タフェース 114、119、124、814、819、824、2
714 状態管理部 115、120、125 記憶装置 126a〜126f、202−1〜202−n 部分フ
ァイル 131〜133 内部ネットワーク 401 負荷情報テーブル 402 記憶装置負荷情報テーブル 403 ネットワーク負荷情報テーブル 501 分散ファイル管理テーブル 601、1301、1401〜1403、1601〜1
603、1701〜1703、2201〜2203、2
301〜2303 部分ファイル管理テーブル 811、812、813 外部状態管理部 901 外部負荷情報テーブル 1131、1132、1133 分散ファイル移動部 1201 アクセス情報テーブル 1901 接続情報テーブル 2031、2032、2033 分散ファイルコピー部 2631、2632、2633 部分ファイルサイズ決
定部 2711 管理サーバ計算機
Claims (31)
- 【請求項1】データを記憶する記憶手段を有する複数の
サーバ計算機と1または複数のクライアント計算機とが
接続されているネットワークに接続された分散ファイル
管理装置であって、 前記複数のサーバ計算機の負荷情報を保持して管理する
状態管理手段と、 前記クライアント計算機からの分散ファイルの処理要求
に対応して、前記分散ファイルの部分ファイルを特定
し、前記状態管理手段で管理されている前記負荷情報に
基づいて、前記部分ファイルを処理するサーバ計算機を
決定する分散ファイル管理手段と、 を備える、ことを特徴とする分散ファイル管理装置。 - 【請求項2】前記状態管理手段は、他の分散ファイル管
理装置へ前記負荷情報を通知し、また、他の分散ファイ
ル管理装置から通知されたサーバ計算機の負荷情報を外
部負荷情報として保持する外部状態管理手段を備える、
ことを特徴とする請求項1記載の分散ファイル管理装
置。 - 【請求項3】前記外部状態管理手段は、マルチキャスト
によって前記他の分散ファイル管理装置へ前記負荷情報
を通知する、ことを特徴とする請求項2記載の分散ファ
イル管理装置。 - 【請求項4】前記外部状態管理手段は、前記他の分散フ
ァイル管理装置のうち、隣接する他の分散ファイル管理
装置に前記負荷情報を通知する、ことを特徴とする請求
項2または3記載の分散ファイル管理装置。 - 【請求項5】複数のサーバ計算機と、1または複数のク
ライアント計算機と、前記複数のサーバ計算機及び前記
1または複数のクライアント計算機を接続するネットワ
ークとを備えた分散ファイル管理システムにおいて、 前記複数のサーバ計算機の各々は、 分散ファイルの一部または全部を構成する部分ファイル
を記憶する記憶手段と、 負荷情報を保持して管理する状態管理手段と、 前記クライアント計算機からの分散ファイルの処理要求
に対応して、前記分散ファイルの部分ファイルを特定
し、前記状態管理手段で管理されている前記負荷情報に
基づいて、前記部分ファイルを処理するサーバ計算機を
決定する分散ファイル管理手段と、 を備える、 ことを特徴とする分散ファイル管理システム。 - 【請求項6】前記状態管理手段は、他のサーバ計算機へ
前記負荷情報を通知し、また、他のサーバ計算機から通
知された当該他のサーバ計算機の負荷情報を外部負荷情
報として保持する外部状態管理手段を備える、ことを特
徴とする請求項5記載の分散ファイル管理システム。 - 【請求項7】前記外部状態管理手段は、マルチキャスト
によって前記他のサーバ計算機へ前記負荷情報を通知す
る、ことを特徴とする請求項6記載の分散ファイル管理
システム。 - 【請求項8】前記複数のサーバ計算機は、1または複数
のサーバ計算機群にグループ分けされており、 前記外部状態管理手段は、前記1または複数のサーバ計
算機群のうち、所定のサーバ計算機群に属する他のサー
バ計算機へ前記負荷情報を通知する、 ことを特徴とする請求項6または7記載の分散ファイル
管理システム。 - 【請求項9】前記複数のサーバ計算機は、1または複数
のサーバ計算機群にグループ分けされており、 前記外部状態管理手段は、前記1または複数のサーバ計
算機群のうち、隣接するサーバ計算機群に属する他のサ
ーバ計算機に前記負荷情報を通知する、 ことを特徴とする請求項6または7記載の分散ファイル
管理システム。 - 【請求項10】前記分散ファイル管理手段は、前記部分
ファイル毎のアクセス情報、前記負荷情報、及び前記外
部負荷情報に基づいて移動する部分ファイルと移動先の
他のサーバ計算機を決定し、該部分ファイルを該サーバ
計算機へ移動する分散ファイル移動手段を備える、こと
を特徴とする請求項2乃至4記載の分散ファイル管理装
置または6乃至9記載の分散ファイル管理システム。 - 【請求項11】前記分散ファイル移動手段は、前記負荷
情報に含まれる前記記憶手段の負荷が所定の値よりも大
であることを検知し、前記外部負荷情報と前記アクセス
情報に基づいて移動する部分ファイルと移動先の他のサ
ーバ計算機を決定し、該部分ファイルを該他のサーバ計
算機へ移動する、ことを特徴とする請求項10記載の分
散ファイル管理装置または分散ファイル管理システム。 - 【請求項12】前記分散ファイル移動手段は、前記負荷
情報に含まれる前記記憶手段の残容量が所定の値より小
であることを検知し、前記外部負荷情報と前記アクセス
情報に基づいて移動する部分ファイルと移動先の他のサ
ーバ計算機を決定し、該部分ファイルを該他のサーバ計
算機へ移動する、ことを特徴とする請求項10記載の分
散ファイル管理装置または分散ファイル管理システム。 - 【請求項13】前記分散ファイル移動手段は、前記負荷
情報に含まれる前記ネットワークの負荷が所定の値より
も大であることを検知し、前記外部負荷情報と前記アク
セス情報に基づいて移動する部分ファイルと移動先の他
のサーバ計算機を決定し、該部分ファイルを該他のサー
バ計算機へ移動する、ことを特徴とする請求項10記載
の分散ファイル管理装置または分散ファイル管理システ
ム。 - 【請求項14】前記分散ファイル移動手段は、前記負荷
情報、前記外部負荷情報、前記アクセス情報、及び前記
クライアント計算機と前記複数のサーバ計算機との間の
接続情報に基づいて、前記部分ファイルを保持している
記憶手段を有するサーバ計算機と処理要求を行ったクラ
イアント計算機との間の通信コストを求め、該通信コス
トよりも小の通信コストとなる他のサーバ計算機を決定
し、該他のサーバ計算機へ前記部分ファイルを移動す
る、ことを特徴とする請求項10記載の分散ファイル管
理装置または分散ファイル管理システム。 - 【請求項15】前記分散ファイル移動手段は、前記部分
ファイルの移動先となる前記他のサーバ計算機に対し
て、予め前記部分ファイルの移動が可能か否かを確認す
る、ことを特徴とする請求項10乃至14記載の分散フ
ァイル管理装置または分散ファイル管理システム。 - 【請求項16】前記分散ファイル移動手段は、前記部分
ファイルを前記他のサーバ計算機へ移動した際に、前記
他のサーバ計算機から前記サーバ計算機に他の部分ファ
イルを移動する、ことを特徴とする請求項10乃至15
記載の分散ファイル管理装置または分散ファイル管理シ
ステム。 - 【請求項17】前記分散ファイル移動手段は、前記部分
ファイルを移動することができる他のサーバ計算機の候
補をリストにし、該リストに基づいて、前記部分ファイ
ルを移動する他のサーバ計算機を決定する、ことを特徴
とする請求項10乃至16記載の分散ファイル管理装置
または分散ファイル管理システム。 - 【請求項18】前記分散ファイル移動手段は、前記部分
ファイルの移動と共に、前記部分ファイルを作成したサ
ーバ計算機に関する情報を前記他のサーバ計算機に送
る、ことを特徴とする請求項10乃至17記載の分散フ
ァイル管理装置または分散ファイル管理システム。 - 【請求項19】前記分散ファイル管理手段は、前記部分
ファイル毎のアクセス情報、前記負荷情報、及び前記外
部負荷情報に基づいて、コピーする部分ファイルとコピ
ー先の他のサーバ計算機を決定し、前記部分ファイルを
前記他のサーバ計算機にコピーする分散ファイルコピー
手段を備える、ことを特徴とする請求項2乃至4、6乃
至18記載の分散ファイル管理装置または分散ファイル
管理システム。 - 【請求項20】前記分散ファイルコピー手段は、前記負
荷情報に含まれる前記記憶手段の負荷が所定の値よりも
大であることを検知し、前記外部負荷情報と前記アクセ
ス情報に基づいてコピーする部分ファイルとコピー先の
他のサーバ計算機を決定し、該部分ファイルを該他のサ
ーバ計算機へコピーする、ことを特徴とする請求項19
記載の分散ファイル管理装置または分散ファイル管理シ
ステム。 - 【請求項21】前記分散ファイルコピー手段は、前記負
荷情報に含まれる前記ネットワークの負荷が所定の値よ
りも大であることを検知し、前記外部負荷情報と前記ア
クセス情報に基づいてコピーする部分ファイルと移動先
の他のサーバ計算機を決定し、該部分ファイルを該他の
サーバ計算機へコピーする、ことを特徴とする請求項1
9記載の分散ファイル管理装置または分散ファイル管理
システム。 - 【請求項22】前記分散ファイルコピー手段は、前記負
荷情報、前記外部負荷情報、前記アクセス情報、及び前
記クライアント計算機と前記複数のサーバ計算機との間
の接続情報に基づいて、前記部分ファイルを保持してい
る記憶手段を有するサーバ計算機と処理要求を行ったク
ライアント計算機との間の通信コストを求め、該通信コ
ストよりも小の通信コストとなる他のサーバ計算機を決
定し、該他のサーバ計算機へ前記部分ファイルをコピー
する、ことを特徴とする請求項19記載の分散ファイル
管理装置または分散ファイル管理システム。 - 【請求項23】前記分散ファイルコピー手段は、前記部
分ファイルのコピー先となる前記他のサーバ計算機に対
して、予め前記部分ファイルのコピーが可能か否かを確
認する、ことを特徴とする請求項19乃至22記載の分
散ファイル管理装置または分散ファイル管理システム。 - 【請求項24】前記分散ファイルコピー手段は、前記部
分ファイルを前記他のサーバ計算機へコピーした際に、
前記他のサーバ計算機から前記サーバ計算機に他の部分
ファイルをコピーする、ことを特徴とする請求項19乃
至23記載の分散ファイル管理装置または分散ファイル
管理システム。 - 【請求項25】前記分散ファイルコピー手段は、前記部
分ファイルをコピーすることができる他のサーバ計算機
の候補をリストにし、該リストに基づいて、前記部分フ
ァイルをコピーする他のサーバ計算機を決定する、こと
を特徴とする請求項19乃至24記載の分散ファイル管
理装置または分散ファイル管理システム。 - 【請求項26】前記分散ファイルコピー手段は、前記部
分ファイルをコピーする複数のコピー先の他のサーバ計
算機を選択し、選択された前記複数の他のサーバ計算機
へマルチキャストによって同時に前記部分ファイルをコ
ピーする、ことを特徴とする請求項19乃至25記載の
分散ファイル管理装置及び分散ファイル管理システム。 - 【請求項27】前記状態管理手段で管理されている前記
負荷情報は、前記記憶手段の容量及び負荷、並びに前記
ネットワークと前記複数のサーバ計算機との間の通信負
荷を含む、ことを特徴とする請求項1乃至26記載の分
散ファイル管理装置または分散ファイル管理システム。 - 【請求項28】さらに、前記サーバ計算機は、前記部分
ファイルを前記記憶手段に書き込み、また、前記部分フ
ァイルを前記記憶手段から読み出す部分ファイル管理手
段を備える、ことを特徴とする請求項1乃至27記載の
分散ファイル管理装置または分散ファイル管理システ
ム。 - 【請求項29】前記分散ファイル管理手段は、 前記クライアント計算機からの前記処理要求が分散ファ
イルの作成要求の場合には、該分散ファイルを複数の部
分ファイルに分割し、分割した部分ファイルを保持する
サーバ計算機を前記状態管理手段で管理されている前記
負荷情報に基づいて決定し、 前記クライアント計算機からの前記処理要求が分散ファ
イルの参照要求または更新要求の場合には、前記参照要
求または前記更新要求の処理の対象となる部分ファイル
の存在を決め、前記処理要求を処理するサーバ計算機を
前記状態管理手段で管理されている前記負荷情報に基づ
いて決定する、 ことを特徴とする請求項1乃至28記載の分散ファイル
管理装置または分散ファイル管理システム。 - 【請求項30】前記分散ファイル管理手段は、前記クラ
イアント計算機からの情報に基づいて、分散ファイルの
一部または全部を構成する前記部分ファイルのサイズを
決定する部分ファイルサイズ決定手段を備える、ことを
特徴とする請求項1乃至29記載の分散ファイル管理装
置または分散ファイル管理システム。 - 【請求項31】前記分散ファイル管理手段は、分散ファ
イルに記録されているデータの種類に基づいて、前記分
散ファイルの一部または全部を構成する前記部分ファイ
ルのサイズを決定する部分ファイルサイズ決定手段を備
える、ことを特徴とする請求項1乃至29記載の分散フ
ァイル管理装置または分散ファイル管理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11011513A JP2000207370A (ja) | 1999-01-20 | 1999-01-20 | 分散ファイル管理装置及び分散ファイル管理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11011513A JP2000207370A (ja) | 1999-01-20 | 1999-01-20 | 分散ファイル管理装置及び分散ファイル管理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000207370A true JP2000207370A (ja) | 2000-07-28 |
Family
ID=11780101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11011513A Pending JP2000207370A (ja) | 1999-01-20 | 1999-01-20 | 分散ファイル管理装置及び分散ファイル管理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000207370A (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000322292A (ja) * | 1999-05-10 | 2000-11-24 | Nec Corp | クラスタ型データサーバシステム及びデータ格納方法 |
| WO2004056054A1 (ja) * | 2002-12-17 | 2004-07-01 | Fujitsu Limited | 負荷分散方法及びその装置 |
| JP2004252934A (ja) * | 2002-06-12 | 2004-09-09 | Hitachi Ltd | 複製ボリュームを管理するための方法と装置法 |
| EP1465072A3 (en) * | 2003-03-17 | 2004-12-29 | Hitachi, Ltd. | Computer system with distributed file system for managing distributed files |
| JP2006350470A (ja) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | データ管理装置および方法 |
| US7415518B2 (en) | 2001-11-21 | 2008-08-19 | Fujitsu Limited | File server program |
| JP2009537918A (ja) * | 2006-05-23 | 2009-10-29 | ノーリャン・ホールディング・コーポレイション | 分散ストレージ |
| US7657653B2 (en) | 2002-12-17 | 2010-02-02 | Fujitsu Limited | Load decentralization method and apparatus thereof |
| JP2011065314A (ja) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | ファイル管理方法及びストレージシステム |
| US8037045B2 (en) | 2004-02-18 | 2011-10-11 | Dai Nippon Printing Co., Ltd. | Computer system and file storage/read-out method |
| JP2011215928A (ja) * | 2010-03-31 | 2011-10-27 | Nec Corp | コンテンツ配信システム、情報管理サーバ及びプログラム |
| JP2013025519A (ja) * | 2011-07-20 | 2013-02-04 | Nec Biglobe Ltd | 記憶装置共用システム、管理装置、アクセス制御装置、その方法およびプログラム |
| US8442957B2 (en) | 2001-09-26 | 2013-05-14 | Emc Corporation | Efficient management of large files |
| JP2013093050A (ja) * | 2013-02-04 | 2013-05-16 | Intec Inc | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
| JP2014229235A (ja) * | 2013-05-27 | 2014-12-08 | 富士通株式会社 | ストレージ制御装置、ストレージ制御方法およびストレージ制御プログラム |
| WO2016110985A1 (ja) * | 2015-01-08 | 2016-07-14 | 株式会社日立製作所 | 管理方法及び管理装置並びに記憶媒体 |
| JP2017146764A (ja) * | 2016-02-17 | 2017-08-24 | 日本電信電話株式会社 | データ再配置システム、データ再配置装置、及びデータ再配置方法 |
| JP2018036978A (ja) * | 2016-09-02 | 2018-03-08 | 日本電信電話株式会社 | 振分装置、通信システム及びデータ振分方法 |
| JP2021119438A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、強制移動対象データ選択装置、強制移動先選択装置、および、データ管理方法、並びに、プログラム |
| JP2021119437A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06243074A (ja) * | 1993-02-18 | 1994-09-02 | Fuji Xerox Co Ltd | ファイルサービスシステム |
| JPH06332782A (ja) * | 1993-03-22 | 1994-12-02 | Hitachi Ltd | ファイルサーバシステム及びそのファイルアクセス制御方法 |
| JPH09212405A (ja) * | 1996-02-05 | 1997-08-15 | Mitsubishi Electric Corp | ファイル管理方法およびファイル管理装置 |
| JPH10334061A (ja) * | 1997-06-04 | 1998-12-18 | Fujitsu Ltd | 負荷分散システム |
-
1999
- 1999-01-20 JP JP11011513A patent/JP2000207370A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06243074A (ja) * | 1993-02-18 | 1994-09-02 | Fuji Xerox Co Ltd | ファイルサービスシステム |
| JPH06332782A (ja) * | 1993-03-22 | 1994-12-02 | Hitachi Ltd | ファイルサーバシステム及びそのファイルアクセス制御方法 |
| JPH09212405A (ja) * | 1996-02-05 | 1997-08-15 | Mitsubishi Electric Corp | ファイル管理方法およびファイル管理装置 |
| JPH10334061A (ja) * | 1997-06-04 | 1998-12-18 | Fujitsu Ltd | 負荷分散システム |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000322292A (ja) * | 1999-05-10 | 2000-11-24 | Nec Corp | クラスタ型データサーバシステム及びデータ格納方法 |
| US8442957B2 (en) | 2001-09-26 | 2013-05-14 | Emc Corporation | Efficient management of large files |
| US7415518B2 (en) | 2001-11-21 | 2008-08-19 | Fujitsu Limited | File server program |
| JP2004252934A (ja) * | 2002-06-12 | 2004-09-09 | Hitachi Ltd | 複製ボリュームを管理するための方法と装置法 |
| WO2004056054A1 (ja) * | 2002-12-17 | 2004-07-01 | Fujitsu Limited | 負荷分散方法及びその装置 |
| JPWO2004056054A1 (ja) * | 2002-12-17 | 2006-04-20 | 富士通株式会社 | 負荷分散方法及びその装置 |
| US7657653B2 (en) | 2002-12-17 | 2010-02-02 | Fujitsu Limited | Load decentralization method and apparatus thereof |
| EP1465072A3 (en) * | 2003-03-17 | 2004-12-29 | Hitachi, Ltd. | Computer system with distributed file system for managing distributed files |
| US7107323B2 (en) | 2003-03-17 | 2006-09-12 | Hitachi, Ltd. | System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules |
| US7325041B2 (en) * | 2003-03-17 | 2008-01-29 | Hitachi, Ltd. | File distribution system in which partial files are arranged according to various allocation rules associated with a plurality of file types |
| US7620698B2 (en) | 2003-03-17 | 2009-11-17 | Hitachi, Ltd. | File distribution system in which partial files are arranged according to various allocation rules associated with a plurality of file types |
| US8037045B2 (en) | 2004-02-18 | 2011-10-11 | Dai Nippon Printing Co., Ltd. | Computer system and file storage/read-out method |
| JP2006350470A (ja) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | データ管理装置および方法 |
| JP2009537918A (ja) * | 2006-05-23 | 2009-10-29 | ノーリャン・ホールディング・コーポレイション | 分散ストレージ |
| JP2011065314A (ja) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | ファイル管理方法及びストレージシステム |
| JP2011215928A (ja) * | 2010-03-31 | 2011-10-27 | Nec Corp | コンテンツ配信システム、情報管理サーバ及びプログラム |
| JP2013025519A (ja) * | 2011-07-20 | 2013-02-04 | Nec Biglobe Ltd | 記憶装置共用システム、管理装置、アクセス制御装置、その方法およびプログラム |
| JP2013093050A (ja) * | 2013-02-04 | 2013-05-16 | Intec Inc | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
| JP2014229235A (ja) * | 2013-05-27 | 2014-12-08 | 富士通株式会社 | ストレージ制御装置、ストレージ制御方法およびストレージ制御プログラム |
| WO2016110985A1 (ja) * | 2015-01-08 | 2016-07-14 | 株式会社日立製作所 | 管理方法及び管理装置並びに記憶媒体 |
| JP2017146764A (ja) * | 2016-02-17 | 2017-08-24 | 日本電信電話株式会社 | データ再配置システム、データ再配置装置、及びデータ再配置方法 |
| JP2018036978A (ja) * | 2016-09-02 | 2018-03-08 | 日本電信電話株式会社 | 振分装置、通信システム及びデータ振分方法 |
| JP2021119438A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、強制移動対象データ選択装置、強制移動先選択装置、および、データ管理方法、並びに、プログラム |
| JP2021119437A (ja) * | 2020-01-30 | 2021-08-12 | 日本電信電話株式会社 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラム |
| JP7376894B2 (ja) | 2020-01-30 | 2023-11-09 | 日本電信電話株式会社 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム |
| JP7385214B2 (ja) | 2020-01-30 | 2023-11-22 | 日本電信電話株式会社 | データ管理システムおよびデータ管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000207370A (ja) | 分散ファイル管理装置及び分散ファイル管理システム | |
| US7634566B2 (en) | Arrangement in a network for passing control of distributed data between network nodes for optimized client access based on locality | |
| JP4265245B2 (ja) | 計算機システム | |
| CN103608796B (zh) | 大规模存储系统 | |
| US6925504B1 (en) | Methods and apparatus for obtaining content from a content-originating device within a computerized network | |
| US5715395A (en) | Method and apparatus for reducing network resource location traffic in a network | |
| JP2003248611A (ja) | 記憶管理統合システム、および、その記憶管理制御方法 | |
| US20100138540A1 (en) | Method of managing organization of a computer system, computer system, and program for managing organization | |
| JPH103421A (ja) | 仮想ファイル管理システム | |
| JP4151322B2 (ja) | ネットワーク管理プログラム及びネットワーク管理方法 | |
| US20060168156A1 (en) | Hierarchical system configuration method and integrated scheduling method to provide multimedia streaming service on two-level double cluster system | |
| US7069276B2 (en) | Computer system | |
| US20050149468A1 (en) | System and method for providing location profile data for network nodes | |
| JPH1155645A (ja) | マルチメディア配信運用管理システム | |
| JP2004302564A (ja) | ネームサービス提供方法及びその実施装置並びにその処理プログラム | |
| US20060136487A1 (en) | Clustering apparatus and method for content delivery system by content classification | |
| JP7365832B2 (ja) | デバイス管理システム及びその制御方法 | |
| JP3835199B2 (ja) | 分散管理型ネットワークファイルシステム及びファイル方法 | |
| CN117041258B (zh) | 一种bim工程信息管理系统 | |
| JPH10320261A (ja) | ファイル蓄積管理システム | |
| JP3861875B2 (ja) | 電子メールサーバシステム,電子メールサービス方法およびプログラム並びにサーバ装置 | |
| CN117082066A (zh) | 一种进程跨云迁移的方法、装置、设备以及可读存储介质 | |
| JP6012409B2 (ja) | 画像管理装置、画像管理方法及びプログラム | |
| JP2730094B2 (ja) | 電子メールシステムにおけるメールボックス制御方式 | |
| JP2008165833A (ja) | サーバ分散管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050324 |