OpenStack Summit Tokyoに参加してみた
2 likes•662 views
2015/11/25 NTTG内報告会でのNTTレゾナント発表資料です．
![• ディストリビューション
– RDO (Icehouse) & CentOS 6
• OpenStackの構築自動化
– Puppet
•RDOに同梱されたPuppet manifestを流用・カスタマイズ
– PXE boot & kickstart [New!]
•コンピュートノード構築は 40台/日 程度の実績あり
• 監視・運用
– Zabbixで監視
– Redmineで障害管理
– 24時間体制のオペレーションセンタ（アウトソーシング）
8
1. NTTレゾナントのOpenStack
デプロイと運用](https://image.slidesharecdn.com/20151125ntt-ropensummittokyo-151130052723-lva1-app6892/85/OpenStack-Summit-Tokyo-8-320.jpg)
OpenStack Summit Tokyoに参加してみた
- 1. OpenStack Summit Tokyo に参加してみた NTTレゾナント ビジネスプラットフォーム事業部サービス基盤部門 通山 和裕
- 2. 自己紹介 通山和裕 2010年～2014年6月 NTTコミュニケーションズ OCNフレッツ系NW開発 2014年7月～ (現職) NTTレゾナント 全社共通基盤の設計・構築・運用 弊社のOpenStack環境について発表しました Oct 27 • 11:15am - 11:55am @Main Conference OpenStack at NTT Resonant: Lessons Learned in Web Infrastructure
- 6. 1. NTTレゾナントのOpenStack • プライベートクラウドとして利用 – 社内のサービス開発者に仮想サーバを提供 • 2014年10月～ 商用利用開始 – 80以上のサービスを収容 – 月間1億ページビュー以上 – ハイパーバイザ 約400台 • Cell × 2 – 物理CPUコア 4,800 – 収容仮想サーバ 1,800以上 用途・スケール 6 Launch
- 7. Dashboard 1. NTTレゾナントのOpenStack 利用コンポーネント (Icehouse Release) 7 Horizon Neutron Nova Glance Cinder Swift Keystone Network Hypervisor Image Block Storage Object Storage Identity Virtual Router and LAN Virtual Load Balancer Virtual server VM Template Image snapshot Virtual volume RESTful file store Replication 弊社利用コンポーネント VM VM VM APP OS APP OS APP OS designed by Freepik Trove Heat Orchestration Database services Ceilometer Telemetry L3以上はNW機器にお任せ VM/HVのNW制御のみ Cinder無し Ephemeral Diskのみ
- 8. • ディストリビューション – RDO (Icehouse) & CentOS 6 • OpenStackの構築自動化 – Puppet •RDOに同梱されたPuppet manifestを流用・カスタマイズ – PXE boot & kickstart [New!] •コンピュートノード構築は 40台/日 程度の実績あり • 監視・運用 – Zabbixで監視 – Redmineで障害管理 – 24時間体制のオペレーションセンタ（アウトソーシング） 8 1. NTTレゾナントのOpenStack デプロイと運用
- 9. 9 Node Type OpenStack Components RabbitMQ (MQ) and MariaDB (Database) HAProxy (LB) and Pacemaker (HA cluster) Top cell Controller Nova, Glance, Keystone, Neutron, Horizon RabbitMQ Mirrored queue Nova, Keystone, Neutron, Horizon, DB, MQ Child cell Controller Nova RabbitMQ Mirrored queue MQ Database N/A MariaDB Galera Cluster N/A Swift Proxy Swift, Glance N/A Swift, Glance Swift Storage Swift N/A N/A Compute Nova, Neutron N/A N/A ノード種別とHA設計 1. NTTレゾナントのOpenStack
- 10. 2. Summitに参加した所感 発表内容の抜粋と反応 10 • 設計系：レゾナントのOpenStack実装 – 各コンポーネントの冗長化方法を一覧で公表 (前述) – スマホで写真を撮る人が大量発生 • 運用系：ログ大杉問題 • めっちゃ頷いて同意している複数名 Opsっぽい • Devらしき方々、苦笑い • docomoさんの発表でもログの話題が • 将来計画：LBaaSに取り組みたい話 – 現在、某LBアプライアンスを利用中 – メーカが公開しているLBaaSプラグインを使うつもり – 発表後、ベンダ(販社)から「協力したい」とメールが来た いろいろと話した中から抜粋します
- 11. 2. Summitに参加した所感 Summit参加のふりかえり 11 • ○Summitを通じてOpenStack開発の空気を知れる – Design Summit ＝ 方針決定の現場 – OpsとしてDevを把握する必要性 – Webや書籍では得られない”体感” • ○自分たちのOpenStackのレベルがつかめる – まだまだやるべきことがあるな、と再認識する – 類似事例・仲間の発見 • △発表・聴講であっぷあっぷ – Summit中に個別MTG・ビジネス相談ができるのがたぶん理想 • △もっとDesign Summitも見た方がよかった？ – 何が盛り上がってるのか？ 優勢な案は何か？ – Conferenceは動画がアップロードされるし… AM11:52 売り切れ ×ステーキランチの枯渇が早すぎる
- 12. VMVM 2. Summitに参加した所感 • VMのサイジングをやり直す必要性 – 稼働開始時：旧DCのVMスペックをほぼそのままOpenStackのフレーバに適用 • 旧DCからOpenStack環境へのスムーズな移転を最優先 • ディスクの割当過多 ⇒ 割当ディスクが枯渇（平均利用率 20%程度） • CPU、メモリがもったいない… • 既存VMから割当ディスクを返してもらう施策を発動 – 割当ディスクを縮小したフレーバを新たに用意 – 既存1800VM+を縮小後のフレーバに移行したい – but OpenStackの機能で割当ディスクサイズの縮小はできない …ので 12 弊社の施策 - 現在進行形 rsync ディスク縮小後VM既存VM 変態的？ 同名・同IPアドレス HV qcow2 qcow2 guestmount guestmount HV
- 13. 2. Summitに参加した所感 13 PaypalもrsyncでVMの移行を実施していた ( 'A`)人('A` )ﾅｶｰﾏ https://goo.gl/Vnj6YI PayPal's Cloud Journey From Folsom to Kilo -- What We Learned in the Upgrade CERNがCell v1を工夫して使っている話も共感(top cellとchild cellの不整合云々) Unveiling CERN Cloud Architecture https://goo.gl/Vnj6YI