Apache Spark+Zeppelinでアドホックなネットワーク解析
- 2. 自己紹介 佐藤 哲大（tetz） 某ネットワークベンダで、SDN（っぽい）仕事をして ます ネットワークプログラマビリティ勉強会の企画、運営 をしてます http://network-programmability.connpass.com/ 2
- 3. 全体像 3 Netflow コレクタ （自作） Apache SparkとApache Zeppelinでデータ アナリストちっくにアドホックにネットワークトラ フィックを解析するっていう、ゆるふわネタ
- 4. 既成可視化ツールとの違い さまざまな観点からアドホックに可視化できる 期間 集約（インターフェース、ユーザ、サーバ、アプリケー ション） 上記集約の組み合わせ グラフ形式（棒、エリア、円、離散） とはいえ、ネットワークトラフィックの見たい観点 なんて、そんな多様ではないかも。。。 4
- 5. 自作Netflowコレクタ 5 flow record FLOW-RECORD match ipv4 protocol match ipv4 source address match ipv4 destination address match transport source-port match transport destination-port match application name collect counter bytes collect counter packets collect timestamp absolute first collect timestamp absolute last テンプレートフローセットから データフローセットを動的に解析し、 適切なフィールド名になる https://github.com/tetsusat/fnfc ルータの設定
- 6. ちなみに fluentd-plugin-netflow + MongoDB Output Pluginでも大体同じことができます 6 fluentd-plugin- netflow ＊作成されるレコードの構成およびフィールド名が若干違うので、適宜読み替え る必要があります
- 7. Stratio Spark-MongoDB MongoDB上のコレクションに対してSpark SQLの処理 を可能にするライブラリ 7 https://github.com/Stratio/Spark-MongoDB
- 8. • MongoDBのnetflowデータベースのrecordsコレクションをSpark DataFrame へ読み込み Apache Spark + Apache Zeppelin 1/6
- 9. • MongoDBから読み込んだデータフレーム （org.apache.spark.sql.DataFrame）のスキーマ Apache Spark + Apache Zeppelin 2/6
- 10. • アプリケーション毎のバイト数 Apache Spark + Apache Zeppelin 3/6 %sql SELECT record.application_name, sum(record.client_bytes) bytes FROM records GROUP BY record.application_name
- 11. • アプリケーション毎のバイト数（WHERE句をパラメータ化） Apache Spark + Apache Zeppelin 4/6 %sql SELECT record.application_name, sum(record.client_bytes) bytes FROM records WHERE record.ipv4_src_addr="${src}" AND record.ipv4_dst_addr="${dst}" GROUP BY record.application_name
- 12. • 問題点 • 通信のタイミングは、セッション毎に様々なので、そのままでは集約できない • 集約されない結果、グラフ描画ライブラリの処理しきれないほどのレコード 時系列データをグラフ化する際の課題 • 解決策 • セッションのタイミングを特定間隔のタイムスロットに割り当てる
- 13. • 30分毎に集約 タイムスロットへ割り当て timestamp bytes packets 2016-04-01 00:11:11 1111 111 2016-04-01 00:22:22 2222 222 2016-04-01 00:33:33 3333 333 2016-04-01 00:44:44 4444 444 2016-04-01 00:55:55 5555 555 2016-04-01 01:07:06 6666 666 元データ 1回目の SQLクエリー の結果 2回目の SQLクエリー の結果 Timeslot列 の追加 Timeslot列で Bytes&Packet列 を集約 timestamp bytes packets timeslot 2016-04-01 00:11:11 1111 111 2016-04-01 00：00：00 2016-04-01 00:22:22 2222 222 2016-04-01 00：00：00 2016-04-01 00:33:33 3333 333 2016-04-01 00：30：00 2016-04-01 00:44:44 4444 444 2016-04-01 00：30：00 2016-04-01 00:55:55 5555 555 2016-04-01 00：30：00 2016-04-01 01:07:06 6666 666 2016-04-01 01：00：00 bytes packets timeslot 3333 333 2016-04-01 00：00：00 13332 1332 2016-04-01 00:30:00 6666 666 2016-04-01 01:00:00
- 14. • 特定の1日で30分毎のバイト数を集計 Apache Spark + Apache Zeppelin 5/6 %sql SELECT from_unixtime(m.timeslot*(30*60)) dtime, sum(m.bytes) bytes FROM ( SELECT record.client_bytes bytes, floor(unix_timestamp(record.absolute_first)/(30*60)) timeslot FROM records WHERE record.absolute_first >= "2016-03-24" AND record.absolute_first < "2016-03-25“ ) AS m GROUP BY m.timeslot ORDER BY m.timeslot
- 15. • アプリケーション毎に30分毎に集約 タイムスロットへ割り当て（2） timestamp bytes packets app 2016-04-01 00:11:11 1111 111 http 2016-04-01 00:22:22 2222 222 http 2016-04-01 00:33:33 3333 333 ftp 2016-04-01 00:44:44 4444 444 tftp 2016-04-01 00:55:55 5555 555 http 2016-04-01 01:07:06 6666 666 ftp timestamp bytes packets app timeslot 2016-04-01 00:11:11 1111 111 http 2016-04-01 00：00：00 2016-04-01 00:22:22 2222 222 http 2016-04-01 00：00：00 2016-04-01 00:33:33 3333 333 ftp 2016-04-01 00：30：00 2016-04-01 00:44:44 4444 444 tftp 2016-04-01 00：30：00 2016-04-01 00:55:55 5555 555 ftp 2016-04-01 00：30：00 2016-04-01 01:07:06 6666 666 http 2016-04-01 01：00：00 bytes packets app timeslot 3333 333 http 2016-04-01 00：00：00 8888 888 ftp 2016-04-01 00:30:00 4444 444 tftp 2016-04-01 00:30:00 6666 666 http 2016-04-01 01:00:00 元データ 1回目の SQLクエリー の結果 2回目の SQLクエリー の結果 Timeslot列 の追加 Timeslot&App列で Bytes&Packet列 を集約
- 16. • 特定の1日で30分毎のバイト数を集計（アプリケーション毎の集約） Apache Spark + Apache Zeppelin 6/6 %sql SELECT from_unixtime(m.timeslot*(30*60)) dtime, m.app, sum(m.bytes) bytes FROM ( SELECT record.client_bytes bytes, record.application_name app, floor(unix_timestamp(record.absolute_first)/(30*60)) timeslot FROM records WHERE record.absolute_first >= "2016-03-24" AND record.absolute_first < "2016-03-25“ ) AS m GROUP BY m.timeslot, m.app ORDER BY m.timeslot
Editor's Notes
- #9: 擬似データ生成コード var app = [ {id:'3:21', name: 'ftp'}, {id:'3:25', name: 'smtp'}, {id:'3:69', name: 'tftp'}, {id:'3:80', name: 'http'}, {id:'3:', name: 'secure-http'}, {id:'13:1', name: 'unknown'}, {id:'13:41', name: 'syslog'}, {id:'13:49', name: 'exchange'}, {id:'13:49', name: 'rtp'}, {id:'13:479', name: 'ping'}, {id:'13:497', name: 'ms-update'} ] for (var i = 0; i < 100000; i++) { var src_ip = 3221225985 + Math.floor( Math.random() * 100 ); // 192.0.2.1-100 var dst_ip = 3221226085 + Math.floor( Math.random() * 100 ); // 192.0.2.101-200 var index = Math.floor( Math.random() * 11 ) var app_id = app[index]["id"] var app_name = app[index]["name"] var pkts = 1 + Math.floor( Math.random() * 100 ); // 1-100 var byte = pkts * (64 + Math.floor( Math.random() * 1437 )); // 64-1500 var date = new Date(); date.setTime(date.getTime() - Math.floor( Math.random() * 7 * 24 * 3600 * 1000 )) db.records.save( { template_id: 256, "exporter" : "192.0.2.1", record: {ipv4_src_addr: src_ip, ipv4_dst_addr: dst_ip, client_bytes: byte, client_pkts: pkts, application_id: app_id, application_name: app_name, absolute_first: date, absolute_last: date}}); }