Innovating@Sun コミュニティ ご購入について (0120-33-9096) マイ・アカウント 日本 [Change] 日本語

独立行政法人 宇宙航空研究開発機構

概要

宇宙と航空の分野で最先端の研究開発に取り組む独立行政法人宇宙航空研究開発機構(JAXA)は、その代表的な研究活動の1つである数値流体力学(CFD)の数値シミュレーションにスーパーコンピュータを活用している。この数値シミュレーションでは、膨大なデータ量を扱うストレージ環境がシミュレーション結果そのものに大きく影響する。十分な容量と高い処理能力がなければ、スーパーコンピュータの性能を活かすことができないからだ。

そのスーパーコンピュータの性能向上にともない、JAXAの調布航空宇宙センターにある情報・計算工学センターはストレージ・システムの能力増強を決断。25GB/秒のスループットと11ペタバイト(PB)という大容量、そしてファイル・システムの冗長化によってハードウェア/ソフトウェアいずれの障害にも耐えられる新ストレージ・システムを計画した。

そして、それを可能にしたのがSun StorageTek SAM-QFSソフトウェアであった。新システムにより、研究者は「より大きな数値シミュレーションが可能になった」こと、システム管理者は「データ管理を容易に行える」ことを高く評価している。

主な課題
得られた結果
  • スーパーコンピュータの計算性能を十分に活かす高速ストレージ・システムの構築
  • 10PB以上の大規模ストレージ容量の管理
  • ファイル・システムの冗長化
  • 25GB/秒のスループットを持つストレージ・システムを構築
  • 11PBの大容量でも階層型ストレージ管理(HSM)により容易なデータ管理を実現
  • ファイル・システムの冗長化で稼動停止のない環境を実現

導入された主な製品

Sun StorageTek SAM-QFS
高性能ファイルシステムに対応したアーカイブ機能とバックアップ機能を統合し、優れたスケーラビ...
詳細はこちら
Solaris 10 OS
1000種類以上のx86プラットフォームやSPARCプラットフォームでサポートされており、...
詳細はこちら

東京都調布市に本社を置く独立行政法人宇宙航空研究開発機構(JAXA)は、2003年10月1日、宇宙科学研究所(ISAS)、航空宇宙技術研究所(NAL)、宇宙開発事業団(NASDA)の三機関の統合によって誕生した。現在取り組んでいる主な事業は、ロケット・輸送システム、国際宇宙ステーション・有人宇宙開発、人工衛星・探査機、人工衛星による宇宙利用、宇宙科学研究、基盤技術研究、航空技術研究、宇宙ビジネス連携など。

種子島宇宙センター(鹿児島県熊毛郡南種子町)と内之浦宇宙空間観測所(鹿児島県肝属郡肝付町)のロケット発射施設のほか、調布航空宇宙センター(東京都調布市)、筑波宇宙センター(茨城県つくば市)、相模原キャンパス(神奈川県相模原市)、角田宇宙センター(宮城県角田市)の4か所に規模の大きな事業所がある。

宇宙航空という最先端の領域で研究開発に取り組む組織として、JAXAは積極的にコンピュータを活用してきている。なかでも大きなコンピューティング・パワーを必要としているのが、数値流体力学(CFD)を中心とした数値シミュレーションを行う研究開発本部・数値解析グループだ。

数値流体力学に代表される数値計算では、空間に格子を張って解析を行う。格子点の数が多いほど一般に得られる解の質が向上するが、格子の点数に比例してデータ量が増えていく。そこで、データの読み込みから、スーパーコンピュータでの計算、そしてデータの書き出しと保存といった一連のプロセスで計算時間を少しでも多く確保するには、データの読み書きを高速化することか不可欠となる。

「JAXAは、スーパーコンピュータの計算能力だけではなく、ストレージ・システムに対してもスピードと容量の両面で高い性能を常に必要としています」と、JAXA 研究開発本部 数値解析グループ 計算情報基盤セクションリーダの藤田直行氏。

数値解析グループでは、2002年春にはすでに総容量650テラバイト(TB)ものストレージ・システムを使用していた。容量の内訳は、ハードディスクが実効50TBとテープ・ライブラリが600TB。また、Sun StorageTek SAM-QFSソフトウェアによって、ハードディスクとテープ・ライブラリの間でデータを自動的に移し替える階層型ストレージ管理(HSM)が実装されていた。

それから5年-。ストレージ・システムにも能力を増強するべき時がやってきた。

「5年の間に、コンピュータの処理速度は15倍ほどになりました。この速度をフルに活かすには、ストレージ・システムの強化も必要でした」と、藤田氏。

高速なコンピュータでは、より多くの点を持つ格子の計算が可能なため、計算のデータ量も当然のように増えていく。ストレージ・システムの容量制限に足を引っ張られて計算を妥協せざるをえないというのでは本末転倒である。また、コンピュータの計算能力が向上すればするほど、ファイル・システムのI/O性能がボトルネックになり始めていた。この2つの理由から、スーパーコンピュータの処理能力に見合った、規模拡大と性能向上がストレージ・システムの側にも求められたのである。

新ストレージ・システムに対してJAXAが設定した要求仕様は、スループット、容量、冗長化の3点がポイントになっていた。

まず、スループットについては「25GB/秒」を要求。「3,000CPU/約1万のコアを持つスーパーコンピュータをフル稼動させるには、トータル値で25GB/秒の能力が必要だと算定しました」と、藤田氏は説明する。

ストレージ・システム全体の容量については、既存容量(0.65PB)×コンピュータ性能の向上率(15倍)=9.75PBとの計算に基づき、端数を繰り上げて10PBとした。この10PBという大容量のテープ管理ができること、さらに、速やかに旧システムからのデータ650TBを移行できることが求められた。

藤田直行 氏
独立行政法人
宇宙航空研究開発機構
研究開発本部
数値解析グループ
計算情報基盤セクションリーダ
藤田直行 氏
新城淳史 氏
独立行政法人
宇宙航空研究開発機構
研究開発本部 数値解析グループ
燃焼・乱流セクション
主任研究員 博士(工学)
新城淳史 氏
阿部浩幸 氏
独立行政法人
宇宙航空研究開発機構
研究開発本部 数値解析グループ
燃焼・乱流セクション
研究員 博士(工学)
阿部浩幸 氏

冗長化は、ファイル・システムにハードウェア/ソフトウェア障害が発生したことを想定しての対策である。

「既存のストレージ・システムでは、ファイル・システムが単一障害点になっており、そこが止まると計算ジョブを走らせることができませんでした。そこで、新ストレージ・システムでは、ファイル・システムを冗長化することによって、稼動停止を避けようと考えました」(藤田氏)というわけだ。

以上の条件を含む要求仕様書に基づいて2007年10月に行われた競争入札で、ストレージ・システム管理ソフトウェアにSun StorageTek SAM-QFSソフトウェアを含んだシステム提案が落札された。2009年4月の本稼動開始を目指して、システム構築が始まった。

図1 数値シミュレーションに使用しているJAXAスーパーコンピュータ・システム(JSS)概略構成。調布航空宇宙センター内にあるスーパーコンピュータとストレージ・システムをSINET3経由でリモート利用する仕組みになっている
図1 数値シミュレーションに使用しているJAXAスーパーコンピュータ・システム(JSS)概略構成。調布航空宇宙センター内にあるスーパーコンピュータとストレージ・システムをSINET3経由でリモート利用する仕組みになっている

新しいストレージ・システムは、3台の富士通製SPARC Enterprise M9000サーバ、容量1PBの富士通製ディスクアレイ、容量10PBのIBM製テープ・ライブラリというハードウェア構成。SPARC Enterprise M9000では、Solaris 10 OSが動作し、その上でSun StorageTek SAM-QFSソフトウェアが稼動している(図1)。

Sun StorageTek SAM-QFSは高速ファイル共有機能により、スーパーコンピュータに対して共有ファイル・システムを供給。さらに、スーパーコンピュータの処理データをHSM方式でディスクからテープへ自動的にアーカイブするなど、効率のよいデータ管理機構も提供する。

また、サーバを3台構成にすることで、これらの機能を負荷分散、そして1台に障害が発生しても残りのサーバがその役割を引き継ぐことが可能な冗長化構成をとっている。

このシステムは国立情報学研究所(NII)が運営する学術情報ネットワーク「SINET3」にも接続されており、角田宇宙センター、相模原キャンパス、筑波宇宙センターの3事業所をはじめとする各事業所からも同等に利用できる。また、外部からの関係者がインターネット経由で利用することも可能だという。

画面1 「液体燃料微粒化過程の数値解析」では、数百TBのデータを使用して数値シミュレーションを行う
画面1 「液体燃料微粒化過程の数値解析」では、数百TBのデータを使用して数値シミュレーションを行う

新ストレージ・システムの搬入と設置・構築が完了したのは、2009年1月のこと。3ヶ月のテスト・検証期間を経て、サービスインは2009年4月1日。新ストレージ・システムのテストにも参加したJAXA 研究開発本部 数値解析グループ 燃焼・乱流セクション 主任研究員 博士(工学)の新城淳史氏は、利用者としての立場からストレージ性能の向上を歓迎している。

新城氏が現在取り組んでいる研究テーマの1つは、噴射された液体ロケット燃料が霧になっていく過程を数値シミュレーションで明らかにする「液体燃料微粒化過程の数値解析」(画面1)。何十億、何百億もの格子点を用い、ミクロン(μm)サイズの多数の液滴粒子を何万ステップもかけてシミュレーションしていくと、数百TBもの容量になります。

計算規模が大きくなると、I/Oにかかる時間も計算自体にかかる時間も増えます。コンピュータの利用時間は限られていますので、I/O時間を短縮して実計算の時間を確保することは重要なことです」新城氏は、大型の数値シミュレーションの実行には、高速なI/Oが欠かせないと新ストレージ・システムの性能向上に期待を寄せる。

乱流の研究に携わっているJAXA 研究開発本部 数値解析グループ 研究員の阿部浩幸氏も、大きなデータ容量を求めている一人だ(図3)。

「2003年に行ったレイノルズ数41400(当時世界最高レイノルズ数)の平行平板間乱流の直接数値シミュレーション(DNS)では、大小様々な渦を忠実に計算するため約14億点の格子数を要しました。この計算は、3次元時間進行型の数値計算で、より高度な解析を行うため時系列にデータを蓄積した結果、データの総容量は数10TBまでに上りました。乱流のDNSでは、大容量のストレージが必要不可欠です」(阿部氏)

数値解析グループで行われている数値シミュレーションでは、世界初となるような成果も上げてきており、各国の研究機関からの注目度も高い。また、他の研究機関との競争も激しいことから、新ストレージ・システムに対する研究者の期待は自然と大きくなる。

図3 乱流の数値シミュレーションには大きなデータ容量が必要。乱流の複雑さはレイノルズ(Re)で決まり、JAXAのスーパーコンピュータではRe=41,400までの直接数値シミュレーション(DNS)に成功している
図3 乱流の数値シミュレーションには大きなデータ容量が必要。乱流の複雑さはレイノルズ(Re)で決まり、JAXAのスーパーコンピュータではRe=41,400までの直接数値シミュレーション(DNS)に成功している

一方、システム管理者の立場から藤田氏が高く評価しているのは、Sun StorageTek SAM-QFSソフトウェアによるデータ管理のしやすさだ。

藤田氏は「計算機を使用したということはすなわち研究の資産ですので、将来役立てるよう、漏れなく消さずにアーカイブしておくのは研究機関としての使命だと考えています」と世界に冠たる研究機関としてのアーカイブの重要性を説明する。しかし新ストレージ・システムではこうしたデータ管理も効率化できているという。

「この新ストレージ・システムには、データをバックアップするという概念がありません。階層型ストレージ管理(HSM)によって、ハードディスク上のデータは自動的に2本のテープへとアーカイブされ、そのうちの1本がバックアップテープとしての役割も果たします」(藤田氏)というのが、その理由。

「将来的には、各事業所にある一般データのディザスタ・リカバリ先としても役立てていこうと考えています」と、藤田氏は付け加える。

最先端の数値シミュレーションが必要とする大容量のストレージ・システムへの高速アクセスと、効率的な管理を可能にするストレージ・ソリューション Sun StorageTek SAM-QFS。11PBという世界最大規模の巨大ストレージ・システムをハンドリングする実力は、数値シミュレーション以外でも、威力を発揮していくことになりそうだ。

導入された主な製品

Sun StorageTek SAM-QFS
高性能ファイルシステムに対応したアーカイブ機能とバックアップ機能を統合し、優れたスケーラビ...
詳細はこちら
Solaris 10 OS
1000種類以上のx86プラットフォームやSPARCプラットフォームでサポートされており、...
詳細はこちら

関連事例

独立行政法人 宇宙航空研究開発機構
宇宙と航空の分野で最先端の研究開発に取り組むJAXA。 最先端の数値流体力学のシ...
詳細はこちら
Japan International Cooperation Agency (JICA): Japanese Overseas Migration Museum[English] (www.sun.com)
日本人の海外移住100年超の歴史を伝える海外移住資料館は、デジタル資料の展示端末...
詳細はこちら
千代田区
昼間人口100万人超に合わせた情報システムを支える共通基盤をSolaris 10...
詳細はこちら
ご意見・ご感想をお聞かせください
この記事は参考になりましたか?
     

コメントがございましたらご記入ください