MISC

2014年10月

HBase/Hadoopを利用したJ-PARC運転データアーカイビング用ツールの開発

Proceedings of 11th Annual Meeting of Particle Accelerator Society of Japan (インターネット)
  • 菊澤 信宏
  • ,
  • 池田 浩
  • ,
  • 吉位 明伸*
  • ,
  • 加藤 裕子
  • ,
  • 大内 伸夫

開始ページ
794
終了ページ
798
記述言語
日本語
掲載種別

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。また、検索時間は旧システムと比較して最大で1/5程度まで短縮化された。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めている。本件は、これらのデータベースシステム用ツールの作成上の問題点、および、新しいHBase/Hadoopのバージョンへの対応に関する問題点と、その検討・解決方法について報告するものである。

リンク情報
URL
https://jopss.jaea.go.jp/search/servlet/search?5047485

エクスポート
BibTeX RIS