【歴史】楽天の急成長を支えてきた、サンによるマイグレーション。  楽天とサンのパートナーシップは、1997年の楽天創業時から続いている。当初、一台のSun Enterprise[tm] 450というシンプルな構成から始まったシステムは、Sun Enterprise 420R、Sun Enterprise 4500へと進化。あわせてWebサーバ、アプリケーション・サーバ、データベース・サーバの3層構造が取られ、垂直／水平、両方向でシステム強化が図られた。 2001年にはデータベース・サーバとしてSun Enterprise 10000を3台、さらに2002年にSun Fire 15Kを2台と、その当時のハイエンド・マシンを相次いで導入。急激なビジネスの拡大と発展を、最先端のサンテクノロジとサーバ・パフォーマンスを最大限に活用することで可能としてきた。 2002年の導入当初はスケーラビリティとパフォーマンスに有り余るほどの余裕を見せていたSun Fire 15Kも、楽天の急激なビジネスの発展の前にはさすがに限界を見せ始めるようになってきた。そこで、再びシステムのマイグレーションが図られることとなった。 ページ先頭へ 【背景】急テンポの成長から生じた、いい意味での誤算。  「既存のSun Fire 15Kの限界は、今年2004年初めにはすでに予測していました。」と、開発本部 サーバ構築・運用部の朱 文山氏。同社の生命線であるEコマース・システムを日々、現場で見守っている。 クリックで拡大 トランザクションの増加と 折々のサン製品導入過程 システム全体の運用管理のとりまとめ役である早瀬千善氏（開発本部サーバ構築・運用部部長）も続けて語ってくれた。 「朱とともにCPU稼動率など具体的な数値を月位で集計し、その上で前年の実績をベースに今年の稼動状況の予測を立てます。この時期にはこのくらいの利用がある、と。年初の予測ですでに、今のままのシステムでは来年は迎えられないと分かっていたのですが、さらにそのトレンド予測が上回ってしまったのです。具体的な理由は判断できませんが、楽天ゴールデンイーグルスの発足が、その理由のひとつとなったかもしれませんね。」

楽天株式会社 開発本部 サーバ構築・運用部 朱 文山 氏 楽天株式会社 開発本部 サーバ構築・運用部 部長 早瀬 千善 氏 楽天株式会社 システムインテグレーション本部 副本部長 廣川 謙介 氏

このままではサービス低下などの障害が発生しかねないという予測はかねてよりなされていたが、それが予想外の負荷増大により、前倒しの傾向となった。早ければ11月にはSun Fire 15Kの持つパフォーマンスを全て使い果たしてしまう可能性も少なくないと、とも予測されたそうだ。つねに目を見張るほどの早いテンポで利用者を増加、それに呼応してシステム増強を繰り返してきたが、実に50年ぶりの新規参入のプロ球団として大きな話題を振りまいた楽天球団創設など、楽天の積極的な経営展開がそのテンポをさらに加速させ思わぬ誤算を生んだといえるだろう。

ページ先頭へ

【対策】次世代フラッグシップ・サーバを日本で初めて発注。 

「データベース・サーバは、クリスマス商戦が本格化する12月からお正月にかけての期間は決して止めるわけにはいきません。ですから、マイグレーションするのであれば、1カ月程度のアローアンスを見込んで遅くとも10月中に完了するということが必須条件でした。」と、今回のマイグレーションを統括したシステムインテグレーション本部 副本部長の廣川謙介氏は語る。

こうした基本スケジュールのもと、朱氏や早瀬氏によって各種のデータが集められ、次期マシンの選定などの検討が始められたのが2004年6月。具体的なシステム構成や予算が練り上げられ、メンバーもキャスティングされ、7月には正式なプロジェクトとして立ち上げられた。

そこで採用されたのが、Sun Fire E25K。最先端のCMT（Chip Multithreading Technology）採用のハイエンド・サーバである。

「システムで一番基本となるデータベースのマイグレーションですから、リスクは極力避けなければならない。そこでやはり次もサンで、ということになりました。これまで長い関係の中でも、問題となるようなことは何もなかったですし。」と早瀬氏。

もちろん、他のメーカーの機種も検討はしたが、システム変更に伴って増大するリスクやコスト、完了までの期間を考慮すると、やはり他メーカーを選択する理由はなかったそうだ。

今回、楽天が選択したSun Fire E25K/UltraSPARC[R] IV 1.2GHzプロセッサの組み合わせは、日本初の発注だった。

Sun Fire E25Kはサンのサーバ・ラインナップの中でもその頂点に君臨するハイエンド・マシン。新開発のUltraSPARC IVプロセッサを最大72個搭載でき、144の演算スレッドの同時実行を可能とする優れた拡張性と高い可用性を備えた最先端マシンだ。実は楽天が次期サーバの選定を進めていた時、このマシンはリリースされたばかり。しかもUltraSPARC IV 1.2GHzプロセッサにいたっては出荷前という状況だった。

発表後まもないニューマシンと未体験のプロセッサという組み合わせに、不安はなかったのだろうか。

その点を廣川氏はこう説明してくれた。「これまでサンのハイエンド・マシンを使い続けてきて、次の選択肢を探した時、Sun Fire E25Kがそこにあった。ニューマシンということで確かにリスクはあったとは思いますが、これまでの経験からサンの製品を信頼していました。」

またUltraSPARC IVプロセッサについて早瀬氏もサンへの信頼を語る。「私たちがコミットできるのは少なくともOSの部分まで。その下のCPUに関しては、ベンダーの領域と認識しています。サンのCPUに関しては、これまでの経験から問題のあるものが出てくることはないと思っていました。」

ページ先頭へ

【実行】わずか1カ月半で、「楽天市場」全体の移行を実現。 

実際の移行作業が始まったのは、9月20日。この日、今回の販売パートナーである伊藤忠テクノサイエンス株式会社（CTC）からセットアップされたSun Fire E25Kが引き渡され、楽天側の作業が開始された。

アプリケーションやデータベースのインストールやデータ移行、各種のテストを済ませ、10月17日にプレ移行、そして11月1日には本格移行を達成した。プレ移行まで1カ月足らず、本番稼動まで半月弱。しかも、作業に当たったのは5縲鰀6人程度。このわずかな期間と人員で、日本最大級の規模と利用者数を誇る Eコマース・サイトのマイグレーションを完了させたのだ。

「今回が特別だったわけではありません。Sun Enterprise 10000からSun Fire 15K、さらに今回のSun Fire E25Kへ、たびたび主要マシンを切り替えてきましたが、そうした流れの中で私たちはフェイルオーバーで切り替えられるよう、システム全体のアーキテクチャを構築することを目指してきました。今回の迅速なマイグレーションも、その成果だと思っています。」と廣川氏は語る。

楽天の急速な成長と同じかそれ以上のテンポで拡張できるようシステム構築のポリシーを立て、それに従ってすみずみにいたるまでシステムを作り込んでいる、というわけだ。そのポリシー実現に、Solarisオペレーションシステムがもたらす高次元の柔軟性や可用性が大きく寄与していることは言うまでもないだろう。

加えて「以前のSun Fire 15Kへの移行時に手順化されている部分がかなり社内に蓄積されています。そういう経験値があったことも大きかったですね。」と廣川氏。

その手順について早瀬氏が説明してくれた。「アプリケーションをインストールする際も、こういう方法で行った方がいいとか、完了したらこの点を確認するなど、機能テストに関して細かい点まで確立しています。各種の手順は、前回のものがそのまま活用できましたので、その点で考えたり悩んだりすることはほとんどなかったですね。」この他、日頃から行っている各種のメンテナンス作業や更新作業から得た豊富な経験やノウハウも、作業のスピードと精度の向上に大きな役割を果たしている。

クリックで拡大
システム概要

プレ移行では、8つある楽天のドメインのうち、2つが新システムへ移行された。本格移行までの期間で細部をチェックした後、11月1日に残り6ドメインが新システム上で稼動開始された。この間、システムを止めたのはプレ移行時に5時間、本格移行の際はわずか5分。プレ移行時、あらかじめ全ドメインを移行しておいたため、本番稼動時はスイッチを切り替えるだけの作業だったそうだ。こうして、Sun Fire E25Kへの完全移行が実現された。

この間、全く問題がないわけではなかったが、楽天とCTC、データセンターの3者によって各種対策が実行され、解決された。

「移行に際して発生する問題も含めて、CTCさんが負った部分は大きいですね。OSやミドルウェア・レベルではかなりご尽力いただきました。」と廣川氏は感謝の意を表す。

ページ先頭へ

【目標】従来ハイエンド・マシンの約1.6倍のパフォーマンスを確保。 

マイグレーションにあたって、従来システムの約1.6倍のパフォーマンス確保が目標とされた。「そのレベルのパフォーマンスがあれば、2004年の年末から翌2005年は問題なくサービスできるだろうという予測のもとに目標値を設定しました。ただ、この予測は検討していた当時、最速だった UltraSPARC IV 900GHzプロセッサによるものですが。」と朱氏。実際に導入されたのはUltraSPARC IV 1.2GHzプロセッサのため、この目標は当然クリアされている。

続けて早瀬氏は「UltraSPARC IVはマルチスレッドということで、そういう水平方向へのパフォーマンス向上という点でも期待しました。実際、処理量は増えましたね。」と語る。

「スペース面でも、従来3台のSun Enterprise 10000で稼動していたものが2台のSun Fire E25Kに減って、その分、筐体が少なくなり、より狭い設置スペースになりました。」と、廣川氏はそのメリットをあげた。

「今後サーバ負荷がどのように推移するか、正確に予測することは難しいですね。今年はトレンドを外しましたが、それが一時的なものなのか、今後も継続するものなのかは精査してみなければ分かりません。また、システム内で動いているデータやアプリケーションもユーザにご利用いただくことで増える負荷もありますし、アプリケーションを変えることで加わる影響などもあります。そういう様々な要因がありますので、正確な予測はなかなか難しいものです。」

ページ先頭へ

【将来】予測の難しい将来を担保する選択肢を提供し続けるサン。 

今回のマイグレーションでは、サン・マイクロシステムズ・ファイナンス（SMF）が利用されている。

「システムの導入に際するSMFからのトータル的な提案の中にSun UAP下取りプログラムの利用があり、2台のSun Fire E25Kは、従来の機種を下取りに出して導入しました。サーバは固定資産ですから、ただ廃棄するよりも下取りしていただいた方が除却損が抑えられます。またキャッシュ・インがあるため、キャッシュ・フロー面からもメリットがあります。」と、廣川氏はSun UAPアップグレード下取りプログラムを利用した理由を語ってくれた。

SMFの利用は、今回が初めてだそうだ。「もちろん、リースということでキャッシュ・アウトを抑えるというメリットもありますが、その他にも理由があります。これまでの経緯からすると、次のマイグレーションもサン製品である確率は高い。場合によってはUltraSPARCプロセッサのリプレイスということも考えられます。その場合でもSMFであればスムーズに移行できますし、今回のようにキャッシュ・アウトを抑えることもできる。将来もそういう選択ができるということは、大きな魅力です。」と廣川氏。

今回のマイグレーションを機に、これまで利用していたSun Fire 15KはUltraSPARC III Cu 1.2GHzプロセッサにアップグレードされ、今も稼動を続けているという。このマシンもUltraSPARC IVプロセッサに対応しているため「将来取れうる選択肢の幅は広がった」（廣川氏）と考えている。

楽天のように急成長を遂げている企業にとって、予測の難しい将来を担保できる選択肢をひとつでも多く確保しておくことが成長を維持していくために欠かせない。その点、テクノロジの面からはもちろん、キャッシュ・フローの面からも、将来を担保する選択肢を様々に提供しているサンの姿勢を廣川氏始め楽天のスタッフは評価している。

最新のオペレーティングシステムSolaris 10についても「x86への対応やマルチスレッド、セキュリティ、高速化されたネットワークまわりなどが、同じアーキテクチャでできる点には期待している」と、早瀬氏も選択肢が増えることを歓迎している。アクティブに、アグレッシブにビジネスを拡大し続けている楽天。目標とする「世界一のインターネットサービス企業」の達成に向けて、サンはこれからも最先端のテクノロジ開発と充実したサービスとシステムの提供で支え続ける。

クリックで拡大		クリックで拡大

本誌の全部または一部をサン・マイクロシステムズ株式会社の許可なく、無断で転用することは禁止します。

© 2006 Sun Microsystems, Inc. All rights reserved. ●Sun、Sun Microsystems、サンのロゴマーク、Solaris、Solarisのロゴマーク、Java、Java Coffee Cupのロゴマーク、Sun Fireは、米国Sun Microsystems, Inc.の米国およびその他の国における商標または登録商標です。●すべてのSPARC商標は、米国SPARC International, Inc. のライセンスを受けて使用している同社の米国およびその他の国における商標または登録商標です。SPARC商標がついた製品は、米国Sun Microsystems, Inc. が開発したアーキテクチャに基づくものです。●本文中に記載の各社の社名、製品名は、各社の商標または登録商標です。

ご意見・ご感想をお聞かせください

この記事は参考になりましたか？ 参考にならない   参考になった   非常に参考になった コメントがございましたらご記入ください

ページ先頭へ