p2p-sim-develop Mailing List for p2p-sim

SourceForge Headquarters 225 Broadway Suite 1600 San Diego, CA 92101 +1 (858) 454-5900

松永です。
  
主要な処理とこれに紐づくタスクを全て書き出しました。
ファイルUP/DOWN周り以外は、これで全部臭いんですが、漏れてたらすみません。
  
階層化クラスタリングがうまく運用されれば、結構性能良いと思います。
  
タスクについては、擬似言語っぽい文章で内容を説明していますが、
これは、「こんな感じの処理をやる」って意味でして、
全くこれと同じ処理になるわけではありません。
  
厳密な処理としては全然変わってくると思います。
(詳細設計まで書くとしたら、数十倍に膨らむっぽい)
  
申し訳ないのですが、管理するデータの内容については、ほとんど触れていません。
(一部のデータについては、処理概要から汲みとれるかもしれません)
  
いいかげんな説明ですみません。
   
  自分は以下の方式のクラスタリング、ファイルキー収集のシミュレーター、本体の作成を開始します。
  
***************************************************************************************************************************************
[ファイル検索処理]
  
 ユーザーが設定した検索用クラスタ情報でクラスタリングを行い、指定されたキーワードで検索を行う。
 ユーザーが設定した検索用クラスタ情報の数分だけ並列で実行する。
   
 以下のタスクを実行する。
 ※各タスクの処理はもうちょっと下にまとめて記載
  
 ・ノード情報取得要求送信タスク
  ノード情報送信要求を送信
    
 ・ノード情報取得タスク
  ノード情報収集
    
 ・ノード情報取得要求への応答タスク
  収集したノード情報を伝播
    
 ・ノード情報リストタイムアウトタスク
  古いノード情報を破棄
   
 ・ファイルキー収集タスク
  検索用のファイルキーを収集
   
 ・ファイルキー取得要求への応答タスク
  自身のファイルキーを伝播(自身のファイルキー)
   
 ・ファイルキーリストタイムアウトタスク
  古いファイルキーを破棄
    
 ・検索タスク 
  検索＆検索結果保存
    
 ・ファイルキー取得要求への応答タスク
  自身のファイルキーを伝播(ユーザーが設定した検索用クラスタ情報に属したものが、たまたま自身のファイルキーに存在すれば、これを伝播する)
  
[自ファイルキー伝播処理]
  
 自身のファイルキーを適切な位置に伝播するためのクラスタリング処理。
 自身のファイルキー群をクラスタ情報が近いもの同士で切り分けて、
 切り分けたそれぞれの中で時分割でクラスタキーワードを変更しながら、
 自身のノード情報(アドレス、クラスタ情報、保有ファイルキー数)を周囲に伝播して、ファイルキーを伝播する。
 各クラスタキーワードに紐づくファイルの数で、時分割に差をつける。（数が多いほど、長い時間をとる）
   
 本処理は複数個(定数個。未定)で並列で処理する。
   
 以下のタスクを実行する。
 ※各タスクの処理はもうちょっと下にまとめて記載
  
 ・ノード情報取得要求送信タスク
  ノード情報送信要求を送信
    
 ・ノード情報取得タスク
  ノード情報収集
    
 ・ノード情報取得要求への応答タスク
  収集したノード情報を伝播
    
 ・ノード情報リストタイムアウトタスク
  古いノード情報を破棄
    
 ・ファイルキー取得要求への応答タスク
  自身のファイルキーを伝播(自身のファイルキー)
 
  ***************************************************************************************************************************************
[クラスタリング関連タスク群]
  
 クラスタリングを行う。
 クラスタ情報単位でタスクを作成する。
   
 以下情報にアクセスする。
  
 ・自身のクラスタ情報
 ・自身のノード情報
 ・自身が収集したノード情報リスト
 ・クラスタ情報リスト
  
-------------------------------------------------------------------------------------------------------------------------------------
・ノード情報取得要求送信タスク
  
 処理対象ノード情報リスト = ノード情報リストから、ノード情報取得済みフラグがOFFのノードを選び出す。
   
 if(処理対象ノード情報リストが0件か？) {
  // 0件
  ノード情報リストの全てのノードのノード情報取得済みフラグをONにする。
  処理対象ノード情報リスト = ノード情報リスト
 }
   
 ノード情報取得要求送信ノードリスト = 処理対象ノード情報リストから、クラスタ情報の優先度が高い順に数件のノードを選ぶ。
   
 ノード情報取得要求送信ノードリストの全ノードに対して、ノード情報取得要求を送信する。
 ノード情報取得済みフラグをONにする。
 ★ついでに、自ノード情報も送信する。
  
-------------------------------------------------------------------------------------------------------------------------------------
・ノード情報取得タスク
  
 受信済みノード情報リスト = 受信キューから受信したノード情報を取り出す。
 
   ノード情報リストに受信済みノード情報リストのノード情報を追加する。
 既存ノードの場合、より新しい情報であれば、情報を上書きする。
 ★新しいクラスタ情報が発見されれば、クラスタ情報リストにクラスタ情報を追加する。←クラスタ情報のブラウズに使用する
   
 ノード情報リストを自クラスタ情報の優先度で降順ソートする。
 
   if(ノード情報リストがn件を超えたか?) {
  // n件を超えた
  ノード情報リストのn件目以降を破棄する
 }
  
-------------------------------------------------------------------------------------------------------------------------------------
・ノード情報取得要求への応答タスク
  
 ノード情報取得要求リスト = 受信キューからノード情報取得要求を取り出す。
 
   for(インデックス = 0; インデックス < ノード情報取得要求リストの要素数; インデックス++) {
  
  ノード情報リストから優先度上位n位のノード情報を取り出して、ノード情報取得要求リスト[インデックス]の要求発信元へ送信する。
  ★ついでに、自ノード情報も送信する。
 }
  
-------------------------------------------------------------------------------------------------------------------------------------
・ノード情報リストタイムアウトタスク
  
 for(インデックス = 0; インデックス < ノード情報リストの要素数; インデックス++) {
  
  ノード情報リスト[インデックス]の残り時間をデクリメントする。
 }
  
 for(インデックス = 0; インデックス < ノード情報リストの要素数; インデックス++) {
  
  if(ノード情報リスト[インデックス]の残り時間 <= 0) {
   ノード情報リスト[インデックス]を破棄する。
  }
 }
  
***************************************************************************************************************************************
[ファイルキー収集関連タスク群]
  
 ファイルキーの収集、検索を行う。
 クラスタ情報単位でタスクを作成する。
 
   以下情報にアクセスする。
  
 ・自身のクラスタ情報
 ・自身のクラスタ情報に紐づいたファイルキーリスト
 ・自身が収集したファイルキーリスト
 ・自身の検索キーワードリスト
 ・検索キーワード別検索結果リスト
 ・自身のノード情報
 ・自身が収集したノード情報リスト
  
-------------------------------------------------------------------------------------------------------------------------------------
・ファイルキー取得要求送信タスク
  
 処理対象ノード情報リスト = ノード情報リストから、ファイルキー取得済みフラグがOFFのノードを選び出す。
 
   if(処理対象ノード情報リストが0件か？) {
  // 0件
  ノード情報リストの全てのノードのファイルキー取得済みフラグをONにする。
  処理対象ノード情報リスト = ノード情報リスト
 }
   
 ファイルキー要求送信ノードリスト = 処理対象ノード情報リストから、クラスタ情報の優先度が高い順に数件のノードを選ぶ。
 
   ファイルキー要求送信ノードリストの全ノードに対して、自クラスタ以下の階層のファイルキー取得要求を送信する。
 ファイルキー取得済みフラグをONにする。
  
-------------------------------------------------------------------------------------------------------------------------------------
・ファイルキー収集タスク
  
 受信済みファイルキーリスト = 受信キューから受信したファイルキーを取り出す。
  
 ファイルキーリストに受信済みファイルキーリストに取り込む。
 ★新しいクラスタ情報が発見されれば、クラスタ情報リストにクラスタ情報を追加する。←クラスタ情報のブラウズに使用する
 
   ファイルキーリストを自クラスタ情報の優先度で降順ソートする。
 
 
 if(ファイルキーリストがn件を超えたか?) {
  // n件を超えた
  ファイルキーリストのn件目以降を破棄する
 }
  
-------------------------------------------------------------------------------------------------------------------------------------
・ファイルキー取得要求への応答タスク
  
 ファイルキー取得要求リスト = 受信キューからファイルキー取得要求を取り出す。
 
   for(インデックス = 0; インデックス < ファイルキー取得要求リストの要素数; インデックス++) {
  
  指定された階層以下のファイルキーを、ファイルキー取得要求リスト[インデックス]の要求発信元へ送信する。
 }
  
-------------------------------------------------------------------------------------------------------------------------------------
・ファイルキーリストタイムアウトタスク
  
 for(インデックス = 0; インデックス < ファイルキーリストの要素数; インデックス++) {
    
  ファイルキーリスト[インデックス]の残り時間をデクリメントする。
 }
  
 for(インデックス = 0; インデックス < ファイルキーリストの要素数; インデックス++) {
    
  if(ファイルキーリスト[インデックス]の残り時間 <= 0) {
   ファイルキーリスト[インデックス]を破棄する。
  }
 }
  
-------------------------------------------------------------------------------------------------------------------------------------
・検索タスク
  
 for(インデックス = 0; インデックス < 検索キーワードリストの要素数; インデックス++) {
   
  検索対象リスト = 検索キーワードリスト[インデックス]のキーワードで検索されていないファイルキーを、ファイルキーリストから取得する。
    
  for(インデックス2 = 0; インデックス2 < 検索対象リストの要素数; インデックス2++) {
    
   検索結果リスト = 検索対象リストを検索キーワードリスト[インデックス]のキーワードで検索し結果を取得する。
     
   検索結果リストの内容を検索キーワード別検索結果リストへ取り込む。
     
  }
 }
  
***************************************************************************************************************************************
[その他検討中]
  
ファイルのダウンロードは今まで検討していたやり方でOKぽい。
  
ファイル全ブロックのの1/nを超えたら、そのファイルキーの伝播を始める。
ただし、検索者側は完全なファイルを持つノードを見つけない限り、不完全なファイルのファイルキーを表示させない。
（不完全なファイルがネットワークに残るのを防ぐため）
  
クラスタ階層のブラウズはツリー構造で行う。
ツリーを開くことでリアルタイムでクラスタキーワードを切り替えて、その階層の情報を収集する。
各階層には、ノードする、完全・不完全ファイル数を表示する。
   
  以上
   
   
---------------------------------
Start Yahoo! Auction now! Check out the cool campaign

p2p-sim-develop Mailing List for p2p-sim

p2p-sim-develop — 開発者よ集え！