MISC

2009年7月28日

PCクラスタ上のスケジューラを利用したMapReduceの実装

研究報告ハイパフォーマンスコンピューティング(HPC)
  • 山下 尊也
  • ,
  • 廣安 知之
  • ,
  • 吉見 真聡
  • ,
  • 三木 光範
  • ,
  • 中尾 昌広

2009
13
開始ページ
1
終了ページ
4
記述言語
日本語
掲載種別
出版者・発行元
情報処理学会

MapReduce はクラスタなどの並列計算機上で,巨大なデータセットに対し分散並列処理を行うのを支援する目的で,Google によって考案されたソフトウェアフレームワークである.本研究では,クラスタのジョブスケジューラを利用した MapReduce のシステムを提案している.これにより,共用計算機などで,ジョブスケジューラを利用してジョブを投入しなければならない場合においても,MapReduce を実行することが可能となる.本研究では,Microsoft Windows HPC Server V3 を OS とする Windows クラスタを対象に基礎的なシステムを構築し,その性能の検討を行った.提案システムを Hadoop との比較を行った結果,提案するシステムは Hadoop と同様に分散処理可能であり,かつ,資源の利用を細かく決めることが可能であることが確認できた.In this paper, the MapReduce implementation using cluster's job scheduler was introduced. MapReduce is the software framework which was developed by Google for performing distributed and parallel operations. Using the proposed system, users can use MapReduce algorithms even on clusters where all jobs should be submitted over cluster's scheduler. In this paper, the implementation system was developed on the cluster whose OS is Microsoft Windows HPC Server V3. Through the system experiments, the proposed system was compared with Hadoop and the following two topics were described. First of all, user can perfume MapReduce algorithm using the proposed system and the parallel efficiency was almost same as that of Hadoop. Secondly, using the proposed system, the administration of the resource utility is easier than Hadoop because the proposed system can use cluster scheduler.

リンク情報
CiNii Articles
http://ci.nii.ac.jp/naid/110007995408
CiNii Books
http://ci.nii.ac.jp/ncid/AN10463942
URL
http://id.ndl.go.jp/bib/024776616
URL
http://id.nii.ac.jp/1001/00062774/
ID情報
  • ISSN : 1884-0930
  • CiNii Articles ID : 110007995408
  • CiNii Books ID : AN10463942

エクスポート
BibTeX RIS