自社データセンターを移転してインフラを大刷新した話~前編~

f:id:UT__TA:20211122104837p:plain
システム技術部 基盤グループの高橋 佑太です。

突然ですが、2021年3月に約3年間という長期渡り実施していた、当社データセンターをアット東京データセンターに移転する計画が完了を迎えました。2000年に当時イー・ウィング証券としてサービスを開始後、約20年お世話になった旧データセンターから、新たにアット東京データセンターに移転し、インフラを最適化していった理由・方法についてご紹介いたします。

前編では、プロジェクトの背景等全体感をご紹介し、後編ではより具体的な方法論についてご紹介いたします。

今回は、当社のシステム基盤を支えるデータセンター・ファシリティ・サーバ・ネットワークといったインフラの話が中心となりますがお付き合いいただければと思います。

背景:システム基盤が会社経営上の大きな課題となっていた

創業20年来、増改築を積み重ねた当社システムには以下のような課題を抱えていました。

  1. 安全性・堅牢性の課題 2011年の東日本大震災を境に、データセンターを含めたシステムに求められる安全性・堅牢性への要求が非常に高くなった結果、現在のロケーションを含め根本的な対応を検討する必要があった。
  2. リソースの非効率化 証券システムは「寄付き」「大引け」など、システム負荷が集中するタイミングがあります。この証券固有の突発的な処理増大は、平時と比べ数百倍に達するもので、システムリソースが効率的に利用できない状況が増加してきました。
  3. 拡張性・柔軟性の欠如 拡大する当社の口座数・トランザクション数に対応するため、より強力で柔軟なコンピューティングリソースを求め、EOL間近のハードウェアやアーキテクチャの異なるインフラを統一し、より強力なスペックをもつハードウェアに刷新していく必要がありました。

拘り:内製による世界最高レベルのデータセンターと超高集約システム基盤への移行

先にあげた経営上の課題を解消すべく、現システム関連部署プロパーによる内製でのシステム基盤の抜本的な見直しプロジェクトを立案、安全を確保しながら、よりTCOを抑えることが可能な次世代システム基盤の構築を決定しました。

まずはじめに、システム基盤の抜本的な見直しにおけるデータセンターの選定においては、JDCC(日本データセンター協会)が定義するデータセンターの品質指標を元に、自然災害(津波・河川氾濫や大地震、伴う大規模停電)における対策の最高水準であるティア4であるアット東京データセンターを採用しました。

次に、高集約な次世代システム基盤の検討においては、「仮想化」(※1)によりハードウェア障害の影響縮小と高集約化を同時に実現し、システムリソースを効率的に利用できるようにすると同時に、「L2延伸技術」(※2)により、当社サーバ群に一切の変更を加えずに移行することで、物理的な輸送に伴う故障リスクや、システム変更に伴うリスクを大幅に削減しながら、新データセンターへシステムを移転することができました。

また、当社ではシステムリソースを「サブスクリプション」(※3)として契約できる日本ヒューレット・パッカード社の「HPE GreenLakeフレックスキャパシティ」サービス(※4)により、システム増強時の過剰な投資リスクを低減しながら、最新ハードウェアへの移行を行い、システムコストの全体的な圧縮に成功しました。

f:id:UT__TA:20211115132951p:plain
(※5)効果の一部

  • ※1. 「仮想化」とは物理ハードウェア上に仮想化ソフト(ハイパーバイザー)を導入し、その上で必要なOS(オペレーションシステム)を仮想化して稼働させる技術を指します。
  • ※2. 「L2延伸技術」とは新旧のデータセンターを論理的に1つのデータセンターとして利用するためのネットワーク技術を指します。
  • ※3. 「サブスクリプション化」とはハードウェアの購入体系を従来の一括購入からサブスクリプション=従量課金へシフトしシステムリソースの利用量に応じた課金契約のことを指します。
  • ※4. 日本ヒューレット・パッカード合同会社 お客様導入事例https://www.hpe.com/jp/ja/customer-case-studies/servers-superdome-kabucom.html
  • ※5. サーバ機器・ネットワーク機器・インターネット回線・データセンター費用・主要ミドルウェアライセンス費用から試算

システムインフラ構成

前編の最後に、当社システムインフラが当案件によりどれくらい集約されたのか?の一部をご紹介します。

規模 移転前 移転後
ラック数 120本 54本
サーバ数 2,048台(765台) 1,248台(198台)

※(物理サーバ数)

仮想化を推し進めつつ、不要サーバの統廃合によりおおよそ3分の1程度に集約、圧縮しています。特に、物理サーバ数の削減によりラック数や電源、空調などあらゆるファシリティコストの削減に繋がっています。

後編へ続く:どの様にして、移転プロジェクトを進めていったのか。

前編として、自社データセンターの移転を決めた背景、課題・対策の全体感をご紹介しました。 続く後半では、実際にプロジェクト遂行にあたって、参加メンバー各位からの内容を交えご紹介したいと思います。

自社データセンターを移転してインフラを大刷新した話~後編~