Evaluacion de la Calidad Subjetiva de Juegos Online segun el Dispositivo de Acceso
0 recomendaciones637 vistas
Este documento presenta los resultados de una evaluación de la calidad subjetiva de juegos online según el dispositivo de acceso. Se simuló un escenario con varios jugadores compartiendo una conexión y se midieron parámetros como el retardo, jitter y pérdidas para diferentes tamaños de buffer y anchos de banda. Los resultados muestran que el retardo y jitter aumentan significativamente con el tráfico de fondo, superando los límites de calidad para la experiencia de juego. El modelo G permite calcular un MOS que refleja la degradación
Evaluacion de la Calidad Subjetiva de Juegos Online segun el Dispositivo de Acceso
- 1. EVALUACIÓN DE LA CALIDAD SUBJETIVA DE JUEGOS ONLINE SEGÚN EL DISPOSITIVO DE ACCESO GTC Communication Technologies Group José Mª Saldaña Julián Fernández-Navajas José Ruiz-Mas Luis Casadesus Universidad de Zaragoza
- 2. Índice - I. Introducción II. Trabajos relacionados III. Pruebas y resultados IV. Conclusiones
- 3. Índice - I. Introducción II. Trabajos relacionados III. Pruebas y resultados IV. Conclusiones
- 4. Introducción - Internet no fue diseñada para servicios con requerimientos de tiempo real. - Primeros servicios: e-mail, transferencia de ficheros URSI 2012, Elche
- 5. Introducción - Pero estos servicios se están usando cada vez más: VoIP, videoconferencia, juegos online URSI 2012, Elche
- 6. Introducción - Problema: usamos una red best effort para un servicio de tiempo real. Los usuarios demandan una calidad similar a la que están acostumbrados (p. ej. Teléfono vs VoIP) Debemos encontrar la relación entre la calidad subjetiva y los parámetros de red: - Retardo, pérdidas, ancho de banda, jitter. URSI 2012, Elche
- 7. Introducción - E-Model: Herramienta de la ITU para estimar la calidad en función del retardo, pérdidas, codec. - Baterías de encuestas para elaborar un modelo de MOS (Mean Opinion Score) URSI 2012, Elche
- 8. Juegos FPS online - Requerimientos de tiempo real muy estrictos: - Interactividad (ver vídeo) - Los jugadores son (muy) exigentes URSI 2012, Elche
- 9. FPS online games - Características del tráfico: - - UDP Paquetes pequeños (100 bytes máximo) Alta frecuencia (de 25 a 85 pps) No existe un MOS para todos los juegos - Algunos son más sensibles al retardo, otros a las pérdidas o al jitter, etc. URSI 2012, Elche
- 10. Índice - I. Introducción II. Trabajos relacionados III. Pruebas y resultados IV. Conclusiones
- 11. II. Trabajos Relacionados - Dimensionado del buffer - Medir la calidad subjetiva para juegos online
- 12. II. Trabajos Relacionados - Dimensionado del buffer - Medir la calidad subjetiva para juegos online
- 13. Dimensionado del buffer - Los jugadores usan redes de acceso - Consideraremos por tanto router de gama media-baja - Buffer pequeños (decenas de kilobytes) Políticas Drop-tail FIFO URSI 2012, Elche
- 14. Dimensionado del buffer - Propuestas de dimensionado: - Rule of the thumb: C x RTT - Maximiza la ocupación del buffer Añade mucho retardo - Stanford model: C x RTT / sqrt(N) - Tiny buffer: 20 a 50 paquetes URSI 2012, Elche
- 15. Dimensionado del buffer Mayor retardo Buffer más grande Mayor jitter Menores pérdidas URSI 2012, Elche Menores pérdidas Buffer más pequeño Menor jitter Mayores pérdidas
- 16. II. Trabajos Relacionados - Dimensionado del buffer - Medir la calidad subjetiva para juegos online
- 17. Calidad subjetiva en FPS - MOS en función del retardo (dependencia lineal) C. Schaefer, T. Enderes, H. Ritter, M. Zitterbart. “Subjective quality assessment for multiplayer real-time games”. In Proc 1st workshop on Network and system support for games (NetGames '02). ACM, New York, NY, USA, 74-78. 2002. - Influencia del retardo y pérdidas (sin proponer un MOS) S. Zander, G. Armitage, “Empirically Measuring the QoS Sensitivity of Interactive Online Game Players”. In Proc. Australian Telecommunications Networks & Applications Conference (ATNAC 2004), Sydney, Australia, Dec. 2004. Diferente comportamiento frente a pérdidas: URSI 2012, Elche Halo: Deja de funcionar con 4% de pérdidas Quake III: Funciona hasta con 35%
- 18. Calidad subjetiva en FPS - Retardo y jitter, por separado M. Dick, O. Wellnitz, L. Wolf. “Analysis of factors affecting players' performance and perception in multiplayer games”. In Proc. 4th ACM SIGCOMM workshop on Network and system support for games (NetGames '05). ACM, New York, NY, USA, 1-7, 2005. - Primer MOS, adaptado del E-model A. F. Wattimena, R. E. Kooij, J. M. van Vugt, O. K. Ahmed, “Predicting the perceived quality of a first person shooter: the Quake IV G-model”. In Proc. 5th SIGCOMM workshop Network and system support for games (NetGames '06), ACM, New York, NY, USA, 2006. - Sólo consideran retardo y jitter Juego estudiado: Quake IV G-model: Es el que usaremos URSI 2012, Elche
- 19. Índice - I. Introducción II. Trabajos relacionados III. Pruebas y resultados IV. Conclusiones
- 20. Resultados previos VoIP - El E-Model usa el retardo y las pérdidas. - No se usa el jitter, porque se implementa un buffer de dejitter URSI 2012, Elche
- 21. Resultados previos VoIP - El MOS decrece monótonamente al aumentar el tráfico de fondo: E-Model MOS 5 4.5 4 MOS 3.5 3 2.5 1 call 5 calls 10 calls 15 calls 20 calls 2 1.5 1 400 450 500 550 600 650 700 750 background traffic (kbps) URSI 2012, Elche 800 850 900 950 1000
- 22. Escenario considerado Un número de jugadores comparte la conexión (mismo router) Tráfico del juego + tráfico de fondo buffer Internet . . . Usuarios URSI 2012, Elche Router Servidor del juego
- 23. Metodología - El mismo escenario que en VoIP - Juego FPS: Quake IV - Trazas de tráfico obtenidas del CAIA project - Consideramos el tráfico cliente-aservidor (el más restrictivo, que coincide on el uplink) URSI 2012, Elche
- 24. Metodología - Histogramas de tiempo entre paquetes y pps: - 40.7 kbps / usuario 40 50 60 70 80 90 100 110 bytes 79.5 bytes media URSI 2012, Elche 0 10 20 30 40 50 60 70 ms 64 pps
- 25. Metodología - 20 jugadores comparten una conexión - Buffer: Drop-tail, tamaño medido en kB Ancho de banda Tamaños 2 Mbps 3 Mbps URSI 2012, Elche 10 kB 20 kB 50 kB 100 kB
- 26. Metodología - Tráfico de fondo compartiendo la conexión - - 50% paquetes: 40 bytes 10% paquetes: 576 bytes 40% paquetes: 1500 bytes RTT de la red (30 ms) añadido offline Tráfico del juego + tráfico de fondo buffer Internet . . . Usuarios URSI 2012, Elche Router Servidor del juego
- 27. Resultados: Retardo RTT, 2 Mbps 450 10 kB 20 kB 400 50 kB 100 kB 350 300 ms 250 200 150 100 50 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 28. Resultados: Retardo RTT, 2 Mbps 450 10 kB 20 kB 400 50 kB 100 kB 350 300 ms 250 200 Límite ancho banda: 40.7 x 20 = 814 kbps 150 100 50 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 29. Resultados: Retardo RTT, 2 Mbps 450 10 kB 20 kB 400 50 kB Retardo inaceptable 100 kB 350 300 ms 250 200 150 100 50 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 30. Resultados: Retardo RTT, 3 Mbps 450 10 kB 20 kB 400 50 kB 100 kB 350 300 ms 250 200 150 100 50 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 31. Resultados: Retardo RTT, 3 Mbps 450 10 kB 20 kB 400 50 kB 100 kB 350 300 ms 250 200 Límite ancho banda: 40.7 x 20 = 814 kbps 150 100 50 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 32. Resultados: Retardo RTT, 3 Mbps 450 10 kB 20 kB 400 50 kB Retardo inaceptable 100 kB 350 300 ms 250 200 150 100 50 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 33. Resultados: jitter Jitter, 2 Mbps 110 10kB 100 20 kB 50 kB 90 100kB 80 ms 70 60 50 40 30 20 10 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 34. Resultados: jitter Jitter, 2 Mbps 110 10kB 100 20 kB 50 kB 90 Por encima del límite, el jitter baja, porque el buffer está siempre lleno 100kB 80 ms 70 60 50 Ancho de banda 40.7 x 20 = 814 kbps 40 30 20 10 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 35. Resultados: jitter Jitter, 3 Mbps 110 10kB 100 20 kB 50 kB 90 100kB 80 ms 70 60 50 40 30 20 10 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 36. Resultados: jitter Jitter, 3 Mbps 110 10kB 100 20 kB El pico baja al aumentar el ancho de banda 50 kB 90 100kB 80 ms 70 60 50 40 30 20 10 0 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 37. Resultados: Pérdidas Pérdidas de paquetes, buffer 10kB, 2 Mbps 45% juego (79 bytes media) 40 bytes 40% 576 bytes 1500 bytes 35% 30% 25% 20% 15% 10% 5% 0% 0 200 400 600 800 1000 1200 1400 1600 1800 tráfico de fondo (kbps) URSI 2012, Elche 2000 2200 2400 2600 2800 3000
- 38. Resultados: Pérdidas Pérdidas de paquetes, buffer 10kB, 2 Mbps 45% juego (79 bytes media) 40 bytes 40% 576 bytes 1500 bytes 35% 30% Los paquetes pequeños tienen ventaja en el buffer medido en bytes 25% 20% 15% 10% 5% 0% 0 200 400 600 800 1000 1200 1400 1600 1800 tráfico de fondo (kbps) URSI 2012, Elche 2000 2200 2400 2600 2800 3000
- 39. Resultados: Pérdidas Pérdidas de paquetes, buffer 10kB, 3 Mbps 45% juego (79 bytes media) 40 bytes 40% 576 bytes 1500 bytes 35% 30% 25% 20% 15% 10% 5% 0% 0 200 400 600 800 1000 1200 1400 1600 1800 tráfico de fondo (kbps) URSI 2012, Elche 2000 2200 2400 2600 2800 3000
- 40. Resultados: MOS - Fórmula del MOS en el G-Model: x = 0.104*ping_average + jitter_average MOS = -0.00000587 x3 + 0.00139 x2- 0.114 x + 4.37 - Las pérdidas no se consideran mientras no sobrepasen el 35% URSI 2012, Elche
- 41. Resultados: MOS MOS G-Model, 2 Mbps 5 4.5 4 MOS 3.5 3 2.5 2 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 42. Resultados: MOS MOS G-Model, 2 Mbps 5 4.5 Buena calidad 4 MOS 3.5 Calidad media 3 2.5 2 Mala calidad 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 43. Resultados: MOS MOS G-Model, 2 Mbps 5 El retardo y el jitter crecen 4.5 El retardo crece y el jitter baja No decrecimiento monótono 4 MOS 3.5 3 2.5 2 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 44. Resultados: MOS MOS G-Model, 2 Mbps 5 Los buffer pequeños presentan el mejor comportamiento 4.5 4 MOS 3.5 3 2.5 2 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 45. Resultados: MOS MOS G-Model, 3 Mbps 5 4.5 4 MOS 3.5 3 2.5 2 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 46. Resultados: MOS MOS G-Model, 3 Mbps 5 4.5 Buena calidad 4 MOS 3.5 Calidad media 3 2.5 2 Mala calidad 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 47. Resultados: MOS MOS G-Model, 3 Mbps 5 Valores aceptables de MOS por encima del límite de ancho de banda 4.5 4 MOS 3.5 3 2.5 2 10 kB 20 kB 1.5 50 kB 100 kB 1 0 200 URSI 2012, Elche 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 tráfico de fondo (kbps)
- 48. Índice - I. Introducción II. Trabajos relacionados III. Pruebas y resultados IV. Conclusiones
- 49. Conclusions - - Access networks with low-end routers Importance of the buffer size Small buffers are better for real-time apps Buffer implementation can penalyze big packets We cannot separately study each network impairment Need for subjective quality estimators to calculate MOS If delay and jitter are the considered impairments, the jitter peak produces a MOS valley URSI 2012, Elche