IIJmio meeting #3 スピードテストについて考える
12 likes52,123 views
この資料はIIJmio meeting #３で発表されたものです。詳細は下記blogをご覧下さい。 http://techlog.iij.ad.jp/archives/1059
IIJmio meeting #3 スピードテストについて考える
- 4. ‐ 4 ‐ みんな大好きスピードテスト 表示される「結果」 • ダウンロード速度 … ○ ○ Kbps • アップロード速度 … ○ ○ Kbps • 遅延 (ping値) … ○ ○ミリ秒 大変シンプル • わかりやすい • 数字なので比較しやすい でも、ちょっと待ってください！
- 5. ‐ 5 ‐ スピードテストは何を測っているのか インターネット MVNO事業者 MNO事業者 （キャリア) スピードテスト サーバ 基地局 端末の対応周波数 無線機の性能 CPU速度 基地局の混雑 地上ネットワーク の混雑 MNO～MVNO 相互接続の混雑 MVNO～ インターネット 接続の混雑 インターネット 全体の混雑 スピードテスト サーバの混雑 スピードテストの計測結果に含まれる要素付近の電波状況 MNOの責任範囲端末の責任範囲 MVNOの責任範囲 スピードテスト 提供者のの責任範囲
- 6. ‐ 6 ‐ 意味のある計測を行うためには 「ボトルネック」になり得る箇所は、たくさんあります • スピードテストでは、 それらすべての要素を総合した結果だけが表示されます 数字の比較に必要な前提 • 比較対象以外がボトルネックになっていないか？ • 比較対象以外の条件を固定できるか？
- 7. ‐ 7 ‐ 改めて インターネット MVNO事業者 MNO事業者 （キャリア) スピードテスト サーバ 基地局 端末の対応周波数 無線機の性能 CPU速度 基地局の混雑 地上ネットワーク の混雑 MNO～MVNO 相互接続の混雑 MVNO～ インターネット 接続の混雑 インターネット 全体の混雑 スピードテスト サーバの混雑 スピードテストの計測結果に含まれる要素付近の電波状況 MNOの責任範囲端末の責任範囲 MVNOの責任範囲 スピードテスト 提供者のの責任範囲 比較したいのはここ！ ほかの条件は固定可能？ (条件は時々刻々変化するので実質不可能)
- 8. ‐ 8 ‐ 基地局の話 同じ場所でも、異なる基地局の電波をつかんでいる可能性 があります • 基地局によって、混雑の度合いが異なる可能性があります • 例えば、繁華街などの混雑するエリア…… • 混雑するエリア以外でも エリアの境界では 複数の基地局が見えることが あります。 • 同じ端末でも時間によって 別の基地局をつかんでいることも NTT DoCoMo テクニカルジャーナル Vol.12 No.3 FOMAの無線ネットワーク設計概要 その2 無線ネットワーク設計とパラメータ最適化の事例 https://www.nttdocomo.co.jp/corporate/technology/rd/technical_journal/bn/vol12_3/051.html
- 9. ‐ 9 ‐ 意外な要素が影響することも Windows Update • モバイル回線でWindows Updateを実行する人も いらっしゃるようです • 転送量が結構多いです • ほぼ同じタイミングに集中して発生します こういった「混雑」による速度低下も、もちろん通信サービスの 「品質」の一部です とはいえ、以下の二つがごちゃ混ぜに評論されていると、もやもやす る気持ちも…… • 外的要因による一時的な速度低下 • 恒常的な設備不足による速度低下
- 10. ‐ 10 ‐ スピードテストの結果を見るときは…… 周辺の条件も意識してください • 比較に耐えうる条件がそろえられる？ • 完全にそろえることは不可能です → 結果も察してください 混雑の「波」を意識してください • 一日の中での変化 • 週の中での変化 • 世間で発生するイベント (Windows Update、アプリの大型アップデート等) あまり数値にはこだわらないでください • 実は、計測結果の数値自体にも悩ましい点があります →次のネタへ続く
- 12. ‐ 12 ‐ 理想的な通信速度は青線(A) 現実の通信速度は赤線(B) 計測結果を一つの数字(○○Kbps)で現わすためには、 何らかの”加工”が必要になります スピードテストの「計測値」 瞬間の速度 経過時間 (A) (B)
- 13. ‐ 13 ‐ 考えられる加工方法 平均を取る • ○○Kbyteの転送にかかった時間で平均を取る • 単純に○○秒間の平均を取る 最大速度 • 瞬間最大の速度で代表する ピークカット • 不安定と思われる計測結果を除外する ※次ページで説明します 上記複数の組み合わせ 等、様々な”加工”が考えられます。
- 14. ‐ 14 ‐ ピークカットとは 速度が安定していない(と推測される)部分をカットして 平均を取る 総務省: インターネットのサービス品質計測等の在り方に関する研究会（第2回） 資料2－4 株式会社イードプレゼンテーション資料 より、引用 http://www.soumu.go.jp/main_sosiki/kenkyu/speed_measurement/02kiban04_03000123.html
- 15. ‐ 15 ‐ どの加工が「正しい」と言うわけではない 「スピードテスト」アプリ毎に異なる処理 加工の方法によって、異なる値が出る 「○○Kbps」という表記に、絶対的な尺度であると 思いがちだが、実際には絶対的な尺度ではない (同一アプリならともかく) アプリ間で数字を比べることはできない さらに、悩ましい点が……
- 16. ‐ 16 ‐ 「バースト」型の通信を計測する 例: • 通信開始から75KByte分は 3000Kbpsで通信 • それ以降は200Kbpsで通信 通信量: 150KByte 通信時間: 3.2秒 瞬間最大速度: 3000Kbps 平均速度: 375Kbps ※説明がしやすいように、きりの良い数値を使用しています ※理想的な通信速度制御が行われていると仮定します 後のスライドでも、 この条件は変更しません 375Kbps
- 17. ‐ 17 ‐ 計測のための通信量を変更する 速度制御方法は変更していないのに、平均速度が変わる • 計測のための通信量を 150KByte → 300KByteに変更 • 計測結果の平均速度が 375Kbps → 260Kbps に変化 通信量: 300KByte 通信時間: 9.2秒 瞬間最大速度: 3000Kbps 平均速度: 260Kbps 260Kbps
- 18. ‐ 18 ‐ 速度計測のサンプリング間隔を変更する 瞬間の速度を求める方法 瞬間の速度≃ある区間の速度 = (直前のカウンタの値 – 現在のカウンタの値) サンプリング時間 サンプリング時間の粒度によって、 得られる値が異なる サンプリング0.3秒 最高速度 2066Kbps サンプリング0.5秒 最高速度 1320Kbps サンプリング1秒 最高速度 760Kbps
- 19. ‐ 19 ‐ サンプリングのタイミング サンプリングのタイミングがズレると、計測値が変わる 例: • 計測サーバの応答が0.2秒遅延した場合 • 計測結果の最高速度が 2066Kbps → 1133Kbps に変化 サンプリング0.3秒 最高速度 1133Kbps サンプリング0.3秒 最高速度 2066Kbps
- 20. ‐ 20 ‐ バーストする通信速度を計測するのは難しい 平均速度では特徴を表せない • 平均の取り方によっても値が違ってくる 最高速度を調べることは難しい • サンプリング時間を長くすると、ピークが丸まった数値が出る • サンプリング時間を短くすると、ちょっとした揺らぎで数値が大きく変わ る バースト型の通信においては、 シンプルな数値で「速度」を代表させることは困難
- 22. ‐ 22 ‐ より詳細な調査の試み 単純なスピードテストでは、「通信速度」を表現できません 「通信速度」を可視化できないか、チャレンジしてみました 以下のような構成で、通信速度を0.1秒単位でグラフ化します Wi-Fi • ノートPCにLTE対応USBモデムを接続 (IIJmioのSIMを装着) • スマートフォンは、Wi-FiでノートPCに接続 • スマートフォンのアプリからの通信を、ノートPC上でグラフ化 クーポンOFF 200Kbps (バーストあり)
- 23. ‐ 23 ‐ デモ
- 25. ‐ 25 ‐ Ookla Speedtest.net スピードテストのような連続的な通信は、 200Kbps付近に制御される
- 26. ‐ 26 ‐ RBB TODAY SPEED TEST Speedtest.netとは異なる傾向 計測期間中に、複数回パルス的な通信を発生させている？
- 27. ‐ 27 ‐ Twitter Twitterの「更新」は瞬間的な通信 ほぼ200Kbps制限にかかっていない ※参考: クーポンON時
- 28. ‐ 28 ‐ Web閲覧 (Yahoo) HTTPリクエストが途切れた後、再度バーストしている 1ページ表示する間でも、複数回のバーストが発生 1ペジ目表示 バナー広告 2ページ目表示 画像表示
- 29. ‐ 29 ‐ Pixiv 大きな画像の表示は「連続的な通信」になる 200Kbps制限がかかり、あまり快適ではない 画像の拡大 画像の拡大サムネイル
- 30. ‐ 30 ‐ LINE 無料通話 通話中も200Kbpsに満たない帯域しか利用していない 音声通話では「遅延時間」が通話品質に影響する
- 31. ‐ 31 ‐ LINE トーク(チャット) ほとんど通信が発生していない
- 32. ‐ 32 ‐ radiko.jp 通話と違い、散発的な通信 (Apple HTTP Live Streaming) 通信が一度途切れるので、バーストし放題
- 33. ‐ 33 ‐ Lord of Knights (オンラインゲーム) タブを切り替えると通信発生。バーストで速やかに終了 未キャッシュのカード画像を大量に取得する時は遅い
- 34. ‐ 35 ‐ まとめ スピードテストが「測っている」対象を意識 • 測りたい箇所だけを測れる訳ではない • 比較のための条件統一が困難 • 計測結果の変動要因にも意識を向けて スピードテストの結果は絶対的な尺度ではない • スピードテストの「計測値」は加工されている • 加工方法によって異なる結果になる • バースト型の通信をスピードテストで評価するのは困難 バーストが有効に働く通信・働かない通信 • 通信の状況を詳細に見ると、興味深いです