Etude directique-evaluation-qo s-sondes-fixes-nov2012

Evaluation de la qualité de service mobile à partir
de sondes fixes
Etude menée par la société Directique
Novembre 2012
ISSN : 2258-3106

AVERTISSEMENT
L’Autorité de régulation des communications électroniques et des Postes (ARCEP) a
confié à la société Directique une étude sur l’évaluation de la qualité de service
mobile à partir de sondes fixes.
La méthodologie utilisée et les résultats obtenus sont de la seule responsabilité de la
société Directique et n’engagent pas l’Autorité.
Si toutefois les parties intéressées ont des observations à formuler, elles sont invitées
à faire part de leurs commentaires à l’ARCEP.

Evaluation de la qualité de service mobile à
partir de sondes fixes
2012

FRD–28/11/12 2
INTRODUCTION.................................................................................................................................3
1. PRINCIPES DE L’ETUDE......................................................................................................3
1.1 INFLUENCE DES CONDITIONS RADIO SUR LA QUALITE DE SERVICE ..........................3
1.2 PLAN D’EXPERIENCE ...........................................................................................4
1.3 PROTOCOLES DE MESURE ...................................................................................5
1.4 LOCALISATION DES MESURES ..............................................................................6
1.5 REPARTITION DES MESURES DANS LE TEMPS ET VOLUMETRIE ...............................6
1.6 DISPOSITIF TECHNIQUE .......................................................................................7
2 SYNTHESE DES RESULTATS...........................................................................................9
2.1 EXPERIENCES REALISEES....................................................................................9
2.2 ENSEIGNEMENTS TRANSVERSAUX SUR LA SENSIBILITE DE LA QOS ......................23
2.3 ANALYSE DE LA DISPERSION DES DEBITS MESURES.............................................25
2.4 GESTION DES CONTRAINTES LIEES AU DEPLOIEMENT DE SONDES FIXES...............27

FRD–28/11/12 3
INTRODUCTION
Cette étude s’inscrit dans le cadre des travaux de l’ARCEP en matière de suivi de la qualité de
service offerte par les opérateurs et vise à tester la mise en place d’un dispositif automatique de
mesure de la qualité de service des réseaux mobiles localisé de manière fixe, en dehors des
réseaux des opérateurs (appelé ci-après « sonde fixe »).
L’objectif de ce dispositif de mesure est multiple, il peut permettre de :
- monitorer le réseau d’un opérateur en un point donné
- mesurer la qualité de service sur une zone plus large, en augmentant le nombre de points
de mesure.
Dans le cadre de cette étude, nous avons souhaité effectuer plusieurs expériences de mesure de
la qualité de service d’un réseau en des points donnés, sur une certaine période de temps afin,
notamment, de rendre compte de l’influence des conditions de réception radio, de l’heure de la
journée et de la localisation des mesures sur la qualité de service fournie.
Cette étude a permis également de tirer des enseignements sur la mise en œuvre opérationnelle
d’un dispositif automatique de mesure de la qualité de service des réseaux mobiles.
1. PRINCIPES DE L’ETUDE
La qualité de service perçue par les utilisateurs des services de données sur les réseaux mobiles,
dépend de tous les maillons de la chaine permettant d’acheminer et de traiter les données : le
terminal et son paramétrage, l’accès radio (qualité du signal, niveau de charge sur la cellule), le
raccordement des équipements radio au cœur de réseau, les équipements de traitement et
optimisation des flux (compression, transcodage, etc.), les équipements d’interconnexion au
réseau Internet, les performances des serveurs et leur optimisation en fonction du navigateur du
client.
Parmi tous ces facteurs, la présente expérimentation s’est attachée à :
 identifier les paramètres influant effectivement sur la qualité de service, et les indicateurs
significatifs;
 mettre au point un plan d’expérience (protocole de mesure, nombre et règles de localisation
des sondes, volumétrie, etc.) qui permette de recueillir des données statistiquement
représentatives;
 tester un dispositif technique (sondes et serveur de collecte de données) en évaluant
notamment les contraintes opérationnelles liées à la mise en place et la maintenance de la
solution.
Cette étude ne visant à pas comparer les résultats des quatre opérateurs mobiles, les
résultats ont été anonymisés.
1.1 Influence des conditions radio sur la qualité de service
Notre expérience, et la connaissance des réseaux, nous montre que l’accès radio joue sur la
qualité de service (accessibilité et débits utile) par plusieurs facteurs :
 le RSCP mesure la puissance du canal pilote d’une cellule et traduit notamment
l’affaiblissement de la propagation. A l’intérieur d’un bâtiment, le RSCP est notamment

FRD–28/11/12 4
sensible aux matériaux utilisés et l’épaisseur des cloisons. Le RSCP ne mesure ainsi
pas directement la puissance du canal utilisé pour le trafic de données mais permet de
fournir une bonne indication de l’atténuation de ce canal.
 le EC/I0 correspond au rapport entre le RSCP et la puissance reçue sur la totalité des
5 MHz de la bande de fréquence. Ce rapport varie avec la charge de trafic et les
conditions de couverture radio (nombre de cellules visibles et niveaux de puissance de
ces cellules) ;
 la technologie (3G, HSPA, bi fréquence …) à condition que le terminal en ait la
capacité ;
 le trafic data total au même instant sur la même cellule (aux périodes où deux
terminaux trafiquent en même temps le débit est divisé par deux).
En chaque point situé en bonne condition radio, il est important de mesurer le débit optimal, qui est
le débit maximum en l’absence d’autre trafic sur la cellule. Ce débit maximal sera facile à déduire
des mesures, car c’est le plafond très souvent atteint des débits instantanés. L’influence des
conditions radio et du trafic ne peut alors que réduire le débit maximal.
Les autres réductions par rapport à la qualité de service optimale, liées au réseau de transport et
aux plates-formes de traitement des flux sont relativement indépendantes des conditions radio.
Elles dépendent essentiellement du trafic global géré par ces équipements à chaque instant, donc
de la localisation géographique et du trafic observé sur cette localisation en fonction de la plage
horaire.
Il est important d’évaluer distinctement les deux ensembles de facteurs dans le plan d’expérience
et l’analyse des résultats : conditions radio et trafic local d’une part (expériences 1 et 4),
localisation géographique et trafic global d’autre part (expérience 3).
Il s’agira également d’apprécier l’influence de l’instant (heure, jour, période de l’année) auquel est
effectuée la mesure sur les résultats (expérience 0) et d’étudier la corrélation entre niveau de
champ et débits (expérience 2).
1.2 Plan d’expérience
L’élaboration du plan d’expérience consiste à définir des situations précises permettant de mettre
en évidence l’influence de chacun des facteurs objets de cette étude (localisation, conditions radio,
trafic et moment de la mesure) indépendamment des autres.
La première étape de l’expérience a donc consisté à cartographier les conditions radio dans les
locaux choisis pour héberger les sondes en relevant les indicateurs de conditions radio (Rxlevel en
2G, RSCP et EC/I0 en 3G). L’objectif de cette phase était d’identifier dans chaque bâtiment des
lieux de mesures sujets à des conditions de réception différentes.
Les mesures sont ensuite lancées en continu à toutes les heures de la journée. Cette répartition
temporelle permet de distinguer les différences de qualité de service selon le moment où est
effectuée la mesure.
Une sonde a été laissée au même lieu de mesure durant toute l’étude afin d’étudier l’évolution de
la qualité de service sur une longue période. Hormis lors de l’expérience 4, qui ne comportait que
deux sondes, les expériences consistaient à installer les trois autres sondes dans un même lieu
pendant des cycles de mesure de 2 semaines. A l’issue de chaque cycle de mesure, ces sondes
ont été déplacées dans d’autres bâtiments ou d’autres lieux représentatifs de conditions de trafic et
de réception différentes.

FRD–28/11/12 5
1.3 Protocoles de mesure
 Protocole
La mesure des débits montants et descendants a été réalisée en lançant un téléchargement de
fichier et en relevant le volume transféré chaque seconde pendant une période de 10 secondes.
Ce protocole a été préféré à celui qui consiste à transférer des fichiers de volume fixe. En effet, la
transmission de fichiers de volume fixe risque de générer des durées, soit trop courtes si le débit
est très élevé sur le point de mesure, soit trop longues sur les points à très faible débit. Si la durée
est trop courte le débit n’a pas le temps de monter en régime et le débit mesuré est sous-évalué.
Une durée très longue n’apporte quant à elle aucune information supplémentaire mais peut gêner
le cadencement des mesures à un rythme suffisant. En effet, afin d’éviter que les mesures
n’interfèrent entre elles, les mesures susceptibles d’être réalisées en concurrence en cas
d’itinérance ou en cas de sondes rapprochées ont été effectuées en décalé en assurant un
intervalle d’au moins 30 secondes.
Pour chaque mesure, ont été enregistrés :
- l’instant de lancement de l’opération (action API), avec précision en millisecondes
- l’instant de début de transfert des données
- le volume transféré ensuite seconde par seconde
- l’instant de fin de transfert (soit interruption au bout de 10 secondes, soit en fin de fichier)
- le volume total transféré (somme des volumes par seconde)
- les éventuels échecs de transfert (hors délai ou échecs commentés par un code d’erreur)
 Aspect indicateurs
Nous avons mesuré deux indicateurs de débit distincts, basés sur l’identification de deux
délais incluant ou non la phase de connexion serveur avant téléchargement :
 débit « applicatif » : volume de données téléchargées relativement au délai total entre l’action
API de commande de chargement et fin de chargement ;
 débit de transfert des données : ce même volume de données relativement au délai entre le
début et la fin de transmission des données proprement dites.
Le débit applicatif est plus représentatif de la vision client. Le débit de transfert est plus
représentatif de la bande passante capillaire du réseau, c’est-à-dire la bande passante réellement
disponible pour la transmission des paquets.
La différence entre le délai applicatif et le délai de transfert contient en tête le délai d’exécution de
l’API, le délai de résolution DNS (si requête DNS), le délai de connexion avec le serveur et les
échanges de commandes, et en queue le délai entre fin de chargement, et remontée de
l’événement par l’API Pour un fichier donné, le délai de transfert est ainsi, par construction, plus
court que le délai applicatif. Le débit applicatif est donc plus faible que le débit de transfert.
Ces indicateurs sont complétés par :
 le taux d’échec de la transaction : taux de mesures où le débit applicatif est inférieur à
200kbit/s ;
 le débit crête : débit maximal par seconde observé sur la durée du téléchargement. C’est ce
débit qui se rapproche le plus du débit « optimal » du réseau, que l’on observerait en l’absence
de trafic concurrent sur le lieu de mesure.

FRD–28/11/12 6
1.4 Localisation des mesures
Le choix et la gestion des localisations est un élément clé de l’étude, puisque qu’il conditionne la
pertinence des résultats vis-à-vis des objectifs.
Ce choix a donc été effectué en vue de comparer les résultats entre plusieurs conditions
géographiques différentes.
Ensuite, c’est le choix des points de mesure au sein des immeubles qui a permis de trouver des
conditions radio suffisamment variées pour obtenir une répartition des mesures par plages de
RSCP, et par plages de EC/I0, et ainsi analyser l’influence de ces deux facteurs sur les débits et les
échecs.
Outre les locaux de l’Autorité et de Directique nous avons positionné des sondes dans des
bâtiments en zone dense à Paris, en zone de moyenne densité en banlieue de Toulouse et en
zone rurale à Blonville sur Mer en Normandie.
1.5 Répartition des mesures dans le temps et volumétrie
Le cycle de mesures et la durée de chaque expérience ont été choisis pour obtenir un bon
compromis entre le nombre de mesures par créneau horaire et la limite d’usage raisonnable des
abonnements.
Pour pouvoir comparer les écarts à la moyenne des différents indicateurs qui nous intéressent
(niveaux de champ, débits…) nous devons garantir la précision statistique des résultats.
Soit p, l’écart à la moyenne considéré et n le nombre de mesures, la précision statistique avec un
intervalle de confiance de 95% est donné par la formule suivante : 1.96*racine(p*(1-p)/n)
Le facteur 1.96 est dérivé de l’approximation gaussienne de la loi de distribution binomiale.
La précision la plus mauvaise étant atteinte avec p=0.5, on obtient ainsi une précision statistique
de 3% avec n=1000 mesures et de 2,2% avec n=2000 mesures.
A raison de 6 mesures par heure par sonde et par opérateur, plus de 2000 mesures ont été
réalisées sur chaque sonde et chaque expérience, En comparant l’écart à la moyenne des
résultats moyens d’une sonde à l’autre sur une expérience donnée, on obtient donc une précision
statistique sur une heure donnée de l’ordre de 2%.
Au total, ce sont plus de 100 000 mesures qui ont été réalisées entre le 24 aout et le 12 novembre
2012 (hors mesures de préparation)

FRD–28/11/12 7
1.6 Dispositif technique
Le dispositif technique mis en place pour mesurer automatiquement la qualité de service des
services mobiles est constitué de 4 sondes. Chaque sonde est composée d’un PC relié à 4
smartphones Android équipés de Mobispeed (un par opérateur) et branchée sur le secteur. La
sonde positionnée à l’extérieur est placée dans une boîte hermétique en plastique à l’abri des
intempéries.
Mobispeed est une application de mesure de la qualité de service pour Smartphones qui permet
de mesurer la disponibilité et la rapidité du réseau cellulaire ou wifi en un point donné tout en
collectant des données liées à la couverture radio et au terminal. C'est un outil de mesures de
bout-en-bout complet et entièrement paramétrable. Il peut fonctionner en mode totalement
autonome, dans une mallette comportant 4 terminaux identiques sur chacun des 4 réseaux, et ne
nécessite pour seule installation qu’un seul branchement sur une prise de courant.
La collecte des données dans un serveur centralisé permet de disposer en temps réel des
résultats.
Développé pour Android et iOS, Mobispeed est une solution multiplateformes compatible avec un
nombre important de terminaux (Apple, Samsung, HTC, Sony-Ericsson, Lg…etc.) sans
modification du système d’exploitation, et donc représentatif de l'usage des clients. Dans le cadre
de cette étude nous avons utilisé le smartphone Android HTC Desire S.
Mobispeed fournit dans les résultats la suite des débits par seconde tout au long du chargement.
Ceci permet de connaitre, mieux que les simples valeurs de débit max et min, le comportement du
réseau et de détecter les éventuels problèmes répétitifs suspects. Ce type de solution n’est en
revanche pas adapté à la mesure automatique du rapport EC/I0 puisque cet indicateur n’est
accessible qu’en accédant manuellement au menu technique du terminal.
Cette expérience pilote visant à obtenir un maximum de données, il aurait été dommageable de ne
pas mener d’investigations sur l’influence du rapport EC/I0sur la qualité de service obtenue. Nous
avons à ce titre couplé les smartphones à un dispositif permettant de récupérer la trace radio. Ceci
peut être réalisé en reliant 4 smartphones équipés de Mobispeed à un PC équipé du logiciel de
mesure MobiTrace qui permet de récupérer les conditions radios complètes (EC/I0 y compris) à
chaque instant.

FRD–28/11/12 8
 Schéma de fonctionnement : terminaux MobiSpeed + trace radio complète
Si les résultats des tests de débit sont disponibles quasi instantanément sur le serveur de collecte,
le volume des fichiers traces radio ne permet en revanche pas de récupérer ces informations en
temps réel via le réseau mobile car le trafic induit pourrait perturber les mesures. Les PC ne
pouvant être connectés à Internet par câble ou wifi dans les locaux de l’ARCEP, les traces radio
sont récupérées 1 fois par semaine sur clé USB par le technicien en charge de la maintenance des
sondes, puis traitées pour intégrer les niveaux d’ EC/I0 de chaque mesure sur le portail web.
 Aspect serveur
Les mesures ont été réalisées sur un serveur d’OVH disposant d’une bande passante garantie de
1Gbps.

FRD–28/11/12 9
2 SYNTHESE DES RESULTATS
2.1 Expériences réalisées
 Expérience 0 : Mesures en un point fixe sur une durée prolongée
L’objectif principal de cette expérience était d’évaluer l’influence du moment de la mesure (heure,
jour période de l’année) sur les débits applicatifs obtenus, sur une période prolongée (du 24 août
au 12 novembre 2012).
Les profils de débits applicatifs mesurés sur la sonde 0, installée dans un bureau de l’ARCEP
durant toute la durée de l’étude, font apparaître des performances relativement constantes la
semaine. Un opérateur en particulier présente une hausse de performance marquée le weekend.
Figure 1. Profils journaliers de débits
L’influence de l’heure de la journée sur les performances mesurées est, quant à elle, tout à fait
remarquable. Si les débits sont relativement plats durant la journée, les courbes remontent
après 18h pour atteindre un pic de performance entre 2h et 6h du matin.
Débits en kbit/s

FRD–28/11/12 10
Figure 2. Profils horaires de débits
L’influence de la période de l’année sur les performances est plus difficile à interpréter. On peut
néanmoins noter une baisse de la performance marquée pour deux opérateurs à partir de la
semaine 36, coïncidant avec la fin des vacances d’été et la reprise d’activité de septembre.
Figure 3. Profils de débits par semaine
Cette expérience nous permet également d’apprécier le gain en termes de précision statistique
entre une expérience d’une ou deux semaines et une expérience de près de trois mois.
Débits en kbit/s
Débits en kbit/s

FRD–28/11/12 11
h
débit
moyen
Nb
mesures
écart à la
moyenne
précision
statistique
h
débit
moyen
Nb
mesures
écart à la
moyenne
précision
statistique
h
débit
moyen
Nb
mesures
écart à la
moyenne
précision
statistique
0 1684.8465 150 13% 5% 0 1666.8188 292 6% 3% 0 1652.0455 1591 13% 2%
1 1946.1459 155 31% 7% 1 1897.5488 328 21% 4% 1 1917.6017 1594 31% 2%
2 2178.3164 151 47% 8% 2 2116.365 327 35% 5% 2 2118.5099 1620 45% 2%
3 2291.0385 152 54% 8% 3 2287.4419 310 46% 6% 3 2221.2377 1585 52% 2%
4 2298.4466 129 55% 9% 4 2173.4323 268 39% 6% 4 2240.5489 1561 53% 2%
5 2188.0794 134 47% 8% 5 2229.0587 278 42% 6% 5 2276.787 1563 56% 2%
6 2126.9077 147 43% 8% 6 2121.3474 309 35% 5% 6 2177.4918 1550 49% 2%
7 1985.3975 138 34% 8% 7 1943.1005 281 24% 5% 7 1871.0475 1559 28% 2%
8 1395.7092 154 -6% 4% 8 1436.9166 306 -8% 3% 8 1526.5865 1583 4% 1%
9 1214.8859 138 -18% 8% 9 1244.1782 283 -21% 6% 9 1265.0741 1585 -14% 2%
10 1184.7758 151 -20% 8% 10 1169.7076 311 -25% 6% 10 1153.607 1590 -21% 2%
11 1007.1114 162 -32% 10% 11 1062.888 307 -32% 7% 11 1070.5394 1561 -27% 3%
12 1010.5216 137 -32% 11% 12 1037.9338 295 -34% 8% 12 1042.547 1564 -29% 3%
13 1030.4534 137 -31% 11% 13 1053.457 290 -33% 8% 13 1031.7161 1543 -30% 3%
14 954.01546 152 -36% 11% 14 964.25972 309 -38% 8% 14 998.04869 1577 -32% 3%
15 1198.8043 153 -19% 8% 15 1047.5851 299 -33% 8% 15 993.91444 1570 -32% 3%
16 1113.4113 169 -25% 8% 16 1061.3067 306 -32% 7% 16 1032.0959 1531 -30% 3%
17 1022.386 157 -31% 10% 17 1058.0568 315 -32% 7% 17 1000.8154 1548 -32% 3%
18 1107.8386 150 -25% 9% 18 1049.375 294 -33% 8% 18 1012.8059 1552 -31% 3%
19 1117.1832 149 -25% 9% 19 1142.2816 305 -27% 7% 19 1126.9174 1579 -23% 3%
20 1174.2035 150 -21% 8% 20 1228.2209 303 -22% 6% 20 1259.5018 1584 -14% 2%
21 1448.3229 157 -3% 3% 21 1402.4928 298 -11% 4% 21 1341.6553 1603 -8% 1%
22 1298.9357 150 -13% 6% 22 1348.1779 311 -14% 4% 22 1323.3143 1589 -10% 2%
23 1463.6295 150 -2% 2% 23 1449.6966 268 -7% 3% 23 1447.6471 1593 -1% 1%
Total 1466.9072 3572 Total 1464.1386 7193 Total 1464.0656 37775
1 semaine de mesures 2 semaines de mesure 12 semaines
A titre d’exemple, la précision statistique la moins bonne obtenue sur un ensemble aléatoire de 2
semaines de mesures (données extraites sur l’ensemble des 12 semaines) est de 8% à 14h. Ceci
signifie qu’on a 95% de chances que la moyenne des mesures réalisées dans cette tranche
horaire sera supérieure de 36% à 41% [38 - 8% de 38 ; 38 +8% de 38 ] à la moyenne journalière.
Les taux de précision statistique ainsi obtenus avec 2 semaines de mesure sont suffisants pour
permettre de tirer des conclusions quant aux tendances observées.
Visuellement, la représentation des résultats précédents montre que l’allongement de la durée
de l’expérience permet de « lisser » le profil mais qu’une seule semaine de mesure fournit
déjà une bonne indication des phénomènes observés.
Figure 4. Profils horaires selon la durée d'expérience
Débits en kbit/s

FRD–28/11/12 12
 Expérience 1 : Influence de la position dans un bâtiment
L’objectif de cette expérience est d’essayer de mettre en évidence l’influence de la position à
l’intérieur d’un bâtiment sur les conditions radio et les débits obtenus. Après cartographie des
locaux, les sondes ont été installées dans les locaux de l’Autorité aux emplacements suivants :
- Balcon du 11 étage, à l’extérieur côté square (sonde 3)
- A l’intérieur d’un bureau côté square (sonde 0)
- A l’intérieur d’une salle au centre du bâtiment (sonde 2)
- A l’intérieur d’un bureau côté jardin (sonde 1)
Figure 5. Plan des locaux de l'ARCEP
Les mesures de niveau de champ mettent nettement en évidence l’atténuation du signal pilote
lorsque l’on s’enfonce dans un bâtiment. Quel que soit l’opérateur, la sonde 3, positionnée à
l’extérieur reçoit en moyenne 20 dBm de plus que la sonde 2, située dans une pièce sans fenêtre,
en plein cœur du bâtiment.

FRD–28/11/12 13
Figure 6. RSCP moyen par sonde
Le niveau moyen du rapport EC/I0 n’apparait en revanche pas directement corrélé avec la
position dans le bâtiment. Ceci s’explique par le fait que l’atténuation du signal utile
s’accompagne également d’une atténuation des signaux parasites.
Figure 7. EC/I0 moyen par sonde
La mesure la plus pertinente pour évaluer l’impact des conditions de l’expérience sur la qualité de
service est le débit crête, plutôt que le débit applicatif, car il permet de limiter les biais dus à la
variabilité des délais de montée en débit et des conditions de charge radio (cf partie 2.3). Celui-ci
est défini comme le maximum des débits calculés sur chacune des 10 secondes de mesure.
L’indicateur présenté est ainsi la moyenne des débits crête des mesures sur chaque sonde pour
chaque opérateur..
L’expérience ne montre a priori qu’une faible corrélation entre la position à l’intérieur du
bâtiment et le niveau de débit crête. Les débits mesurés sur le réseau de l’opérateur A sur la
sonde 1 située à l’intérieur des locaux de l’ARCEP sont par exemple meilleurs que ceux mesurés à
l’extérieur avec un signal plus fort.

FRD–28/11/12 14
Figure 8. Débits crête moyens par sonde
Les résultats sur les sondes 0 et 1, toutes les deux positionnées en intérieur premier jour, montrent
qu’à quelques mètres de distance et dans des positions comparables à l’intérieur du bâtiment, les
terminaux peuvent présenter sur un même réseau des performances moyennes très variables.
Les mesures ayant été effectuées en zone très dense, les différences observées pourraient être
liées à la diversité des cellules sur lesquelles les sondes se sont connectées et au niveau de bruit
induit par le nombre de cellules visibles. Les principales cellules utilisées par un opérateur et le
nombre de mesures sur chacune d’entre elles sont recensées dans les graphiques ci-dessous.
Répartition des mesures par cellule pour un opérateur
Sonde 0 (intérieur côté square) Sonde 1 (côté jardin)
Sonde 2 (intérieur centre du bâtiment) Sonde 3 (extérieur côté square)
Débits en kbit/s

FRD–28/11/12 15
D’une cellule à l’autre, pour un même opérateur, les débits crêtes moyens atteints varient
sensiblement.
Figure 9. Débit crêtes moyens par cellule
Les graphes ci-dessus montrent que les sondes 0 et 3 partagent en grande partie les mêmes
cellules (525847 et 527476), ce qui ne semble pas surprenant au vu de leur position dans le
bâtiment. La sonde 1 dépend quant à elle d’une autre antenne (525848). La sonde 2 placée au
milieu des locaux fait quant à elle appel aux signaux provenant de chaque côté du bâtiment.
Il est intéressant de noter que, suivant la position dans le bâtiment et pour un même
opérateur, le nombre de cellules auxquelles une sonde se connecte peut être varié : la
sonde 1 ne se connecte quasiment qu’à une seule cellule alors que la sonde 0 se connecte, quant
à elle, à un plus grand nombre de cellules (deux majoritairement mais également
occasionnellement à 6 autres cellules).
A la lumière de cette expérience, l’influence de la seule localisation en indoor plus ou moins
profond ne semble pas apparaître comme un facteur prépondérant vis à vis du niveau de
débit disponible.
 Expérience 2 : Influence du seul niveau de champ sur les débits
Cette expérience a été conçue afin de pouvoir approfondir l’analyse de l’influence du niveau de
champ sur le débit en s’affranchissant du biais introduit par la diversité des cellules et la variabilité
de la charge sur l’accès radio. Pour cela, les sondes ont été installées dans les locaux de
Directique au sein desquels l’utilisation des services de données était prohibée. La disposition était
la suivante :
- au rez-de-chaussée, en zone de champ très fort, à proximité directe d’antennes des
opérateurs C et D(sonde 2) ;
- au sous-sol, à un niveau de champ plus faible (sonde 3) ;
- au sous-sol avec enrobage des terminaux dans des couches d’aluminium afin d’atténuer le
niveau de champ (sonde 1).

FRD–28/11/12 16
Figure 10. RSCP moyen par sonde Figure 11. EC/I0 moyen par sonde
Là encore il est difficile d’établir un lien direct entre les niveaux de champ moyens mesurés
et les niveaux moyens de débit crête atteints. L’opérateur B, par exemple, devrait présenter des
résultats moins bons sur la sonde 3 par rapport à la sonde 2, ce qui n’est pas le cas, de même
pour l’opérateur D.
Figure 12. Débit crête moyen par sonde
L’absence de proportionnalité entre les niveaux de champ et les débits mesurés ne signifie pour
autant pas que ces éléments ne sont pas corrélés. Il est en effet assez évident qu’en deça d’un
certain niveau de champ, si le signal n’est plus suffisant pour être détecté correctement par le
terminal, la qualité de service sur les transferts de données sera très dégradée. Pour illustrer ce
phénomène les nuages de point de chaque opérateur sont présentés ci-dessous.
Débits en kbit/s

FRD–28/11/12 17
Nuages de points des débits crête en fonction du RSCP
Opérateur A Opérateur B
Opérateur C Opérateur D
Selon les opérateurs, le seuil en deçà duquel les performances apparaissent manifestement
dégradées se situe entre -80dBm et -90dBm. Plus le niveau de champ diminue au-delà de ce
seuil, plus le débit maximum disponible diminue également.
 Expérience 3 : Profils horaires dans des villes de tailles différentes
L’objectif de cette expérience était de comparer les résultats obtenus dans des zones
représentatives de densité et d’activités variables en différenciant l’influence des conditions radio
(qu’on a veillé à reproduire au mieux dans le choix des points de mesures au sein de chaque
bâtiment), de l’influence de trafic global géré par le réseau haut vis-à-vis de chaque lieu.
Les sondes étaient disposées dans les lieux suivants :
- sonde 0 : dans un bureau de l’ARCEP ;
- sonde 1 : dans un bâtiment en banlieue toulousaine ;
- sonde 2 : dans les locaux de Directique situés Porte d’Orléans ;
- sonde 3 : dans une maison en Normandie.

FRD–28/11/12 18
Figure 13. EC/I0 par sonde
Figure 14. RSCP par sonde
Les débits présentés dans cette expérience sont, comme pour l’expérience 0, des débits
applicatifs, afin de traduire l’ensemble des facteurs pouvant affecter la qualité perçue par
l’utilisateur.

FRD–28/11/12 19
Figure 15. Profil de débit sonde 0 (ARCEP)
Sur la sonde 0, installée dans un bureau de l’ARCEP, les profils de débit mettent en évidence
l’influence de l’activité de bureau avec un débit qui commence à remonter en soirée. La nuit, les
débits disponibles sont deux fois plus élevés que le jour. Les performances obtenues sur
l’ensemble des réseaux sont moins élevées que dans les autres lieux mais relativement
homogènes entre les opérateurs. En journée l’écart maximum de performances entre deux
opérateurs est de l’ordre de 500 kbit/s.
Figure 16. Profil de débit sonde 1 (Toulouse)
Sur la sonde 1, positionnée dans un bâtiment en banlieue toulousaine, on observe une période
chargée (10h-23h) et une montée progressive des débits la nuit pour un atteindre un pic autour de
3h-6h du matin, pendant les heures de sommeil. Si les profils sont tout à fait similaires d’un
opérateur à l’autre, les performances sont en revanche moins homogènes que sur la sonde 0. Les
performances sur l’opérateur A sont ainsi deux fois plus élevées que celle de l’opérateur B.
Débits en kbit/s
Débits en kbit/s

FRD–28/11/12 20
Figure 17. Profil de débit sonde 2 (Porte d'Orléans)
Sur la sonde 2, située dans les locaux de Directique, les mesures révèlent des performances
élevées et un profil de débit relativement plat au cours de la journée. Cette stabilité relative
s’explique par la restriction de l’usage des services de données imposée dans les locaux de
Directique durant la journée.
Figure 18. Profil de débit sonde 3 (Normandie)
Sur la sonde installée dans une maison située dans la campagne normande, on observe une
baisse des débits en fin de journée, notamment entre 20 et 22h pour les trois opérateurs qui ont
les débits les plus élevés . La zone mesurée ne faisant pas partie d’un quartier accueillant des
entreprises, on n’observe pas d’augmentation des débits en début de soirée. On observe toutefois
une augmentation des débits plus ou moins marquée durant la nuit pour les opérateurs B, C et D.
La densité des habitations étant faible, il n’y a pas d’antenne de l’opérateur A à proximité, la
performance sur ce réseau est par conséquent très limitée et l’influence de la plage horaire est
assez faible sur cet opérateur, ce qui atténue l’effet de la plage horaire sur la moyenne générale.
Cette expérience montre que, moins la zone est dense, plus les différences entre
opérateurs sont importantes en termes de niveaux de débits. Ceci peut s’expliquer par les
Débits en kbit/s
Débits en kbit/s

FRD–28/11/12 21
différences de topologie de réseau (nombre de cellules visibles, puissance des signaux
reçus) entre ces zones. Moins le réseau est dense, plus il probable d’être à des distances
variables des cellules selon les réseaux.
 Expérience 4 : Influence du EC/I0 au sein d’un même appartement
Afin de mesurer la variation des débits mesurés dans un même appartement en étant dans une
zone moins dense qu’à l’ARCEP, 2 sondes ont été installées à l’intérieur d’un appartement situé
au 2ème
étage d’un immeuble haussmannien dans le 14e
arrondissement de Paris. A la différence
de l’expérience 1, le nombre de cellules disponibles sur chacun des opérateurs est beaucoup plus
restreint.
Figure 19. EC/I0 par sonde Figure 20. RSCP par sonde
L’objectif de cette expérience était de placer des sondes dans des conditions d’EC/I0 variées à
l’intérieur d’un même appartement. La figure ci-dessus met en évidence les valeurs moyennes des
conditions radio pour chaque sonde. On observe que la sonde située au milieu de l’appartement
(1) bénéficie à la fois d’un niveau de champ inférieur et d’une qualité de signal plus faible que la
sonde située en premier jour (2)

FRD–28/11/12 22
Figure 21. Débits applicatifs moyens par sonde
Les performances réalisées sur la sonde 2 sont bien meilleures que sur la sonde 1. L’analyse de
ces graphes nécessiterait de pouvoir installer davantage de sondes dans des conditions extrêmes
d’ EC/I0 pour pouvoir tirer une conclusion définitive sur la corrélation entre EC/I0 et performance sur
la base de ces valeurs moyennes mais ces résultats semblent indiquer que le débit mesuré
augmente avec la valeur du EC/I0.
Comme dans l’expérience 1, on constate que des sondes placées à quelques mètres l’une de
l’autre, peuvent, pour un même opérateur, bénéficier de performances différentes.
En observant les résultats de plus près, à l’échelle du nuage de points, la corrélation suspectée se
retrouve confirmée :
Nuages de points des débits applicatifs en fonction du rapport EC/I0
Opérateur A Opérateur B
Opérateur C Opérateur D
Lorsque le rapport EC/I0 est trop faible, les performances sont dégradées. Les débits semblent
augmenter avec le niveau du EC/I0.
Débits en kbit/s

FRD–28/11/12 23
2.2 Enseignements transversaux sur la sensibilité de la QoS
 Influence de la localisation
La localisation géographique des mesures influe à la fois sur le niveau de performances et sur le
profil de performance au cours de la journée. L’expérience 3 a ainsi mis en évidence les
phénomènes suivants :
- en zone dense (sonde 0 et 2), les performances sont relativement homogènes entre les
opérateurs alors qu’en zone moins dense (sonde 3) le niveau moyen de débit est très
variable d’un opérateur à l’autre. Ceci pourrait s’expliquer par les différences de topologie
de réseau (nombre de cellules visibles, puissance des signaux reçus) entre ces zones.
- Les profils de débit dépendent du type d’activité de la zone (bureaux, habitations,
campagne). Sur une zone à forte concentration en bureaux, les performances sont limitées
durant la journée et remontent à partir de 18h, lorsque les employés quittent leur lieu de
travail. En zone résidentielle et en zone rurale (sonde 1), le pic de performance démarre
plus tardivement, lorsque les habitants se couchent.
Les expériences 1, 2 et 4 ont montré qu’il est en revanche plus difficile d’établir une relation directe
entre la localisation à l’intérieur d’un bâtiment et le niveau de performance mesuré compte tenu du
nombre de paramètres susceptibles de varier lorsqu’on se déplace de quelques mètres (niveau de
champ, niveau de bruit, cellules utilisées)
 Influence des conditions radio (RSCP, EC/I0)
L’expérience 2 a montré que le niveau du RSCP n’exerçait une influence significative sur les
performances qu’en deçà d’un seuil situé entre -80 et -90 dBm selon les opérateurs. Du point de
vue théorique, l’existence de ce seuil est assez aisée à comprendre : lorsque quelqu’un parle très
fort, il ne fournit pas davantage d’informations que lorsqu’il parle normalement. En revanche, plus
sa voix est faible, plus son interlocuteur risque de perdre une partie du message.
Il est à noter qu’en un lieu donné, les conditions de niveau de champ n’évoluent que très peu.
Figure 22. Profil horaire de RSCP sur l’expérience 0
Les quelques variations de niveau de champ RSCP peuvent être expliquées par l’utilisation de
cellules différentes lors des mesures, ces changements de cellules étant eux même la
conséquence probable d’une charge ponctuelle importante sur la cellule la mieux reçue au
moment de certaines mesures.

FRD–28/11/12 24
L’analyse des performances mesurées tout au long de l’étude en fonction du niveau du rapport
EC/I0 reflète clairement l’importance de ce facteur vis-à-vis de la qualité perçue par l’utilisateur de
services de données. Cette corrélation n’apparait néanmoins pas linéaire.
Figure 23. Débit en fonction du rapport EC/I0 sur l’ensemble des expériences
En observant l’évolution des niveaux d’ EC/I0 moyens au cours de la journée sur l’ensemble de
l’étude, on retrouve également l’étroite corrélation avec les profils de performances préalablement
mis en évidence :
Figure 24. Profil horaire du rapport EC/I0
Ce résultat remarquable s’explique par la définition mathématique du rapport EC/I0 qui prévoit que
plus une cellule est chargée, plus l’ EC/I0 est faible.
L’exemple ci-dessous permet d’illustrer cette corrélation :
Calcul du rapport EC/I0 sur une antenne isolée émettant un canal pilote d’une puissance de 2W et
d’autres canaux de contrôle d’une puissance de 2W à vide (1) et en charge avec un trafic à 6W
(2)
Débits en kbit/s

FRD–28/11/12 25
(1) A vide
Ec = 2 W
Io = 0 + 2 + 2 = 4 W
EC/I0 = (2/4) = 0.5 = -3 dB
(2) En charge Ec = 2 W
Io = 2 + 2 + 6 = 10 W
EC/I0 = (2/10) = 0.2 = -7 dB
 Influence du moment de la mesure (heure, jour, période)
Les résultats de l’expérience 0 ont permis de mettre en évidence la corrélation entre le moment
auquel la mesure est réalisée et la qualité de service disponible. Quelle que soit la localisation
géographique, on observe des pics de débits la nuit, lorsque le réseau ne sert qu’un nombre
restreint d’utilisateurs. Dans une moindre mesure, on note que les performances semblent plus
élevées les jours de weekend et qu’en période de vacances la performance disponible est
supérieure.
2.3 Analyse de la dispersion des débits mesurés
Quels que soient l’opérateur et l’expérience concernés, l’étude a montré que la mesure de la
qualité perçue par l’utilisateur pour le téléchargement d’un fichier quelconque fait apparaître une
grande dispersion des résultats, même sur des périodes longues.
A titre d’exemple, sur la sonde 2 positionnée rue Leneveux dans l’expérience 4, le nuage de points
des résultats obtenus sur l’opérateur A a la forme suivante :
Figure 25. Débits applicatifs opérateur A, sonde 2, rue Leneveux
Pour expliquer cette dispersion, il convient de considérer l’ensemble des paramètres pouvant
influer sur le résultat d’une mesure.
Le délai de téléchargement d’un fichier observé par l’utilisateur correspond en effet à la somme
- du délai de latence applicative (délai entre le clic sur l’application et la récupération des
premières données au niveau applicatif) (i)

FRD–28/11/12 26
- du délai de montée en charge du débit (délai entre l’instant de récupération des premières
données et l’atteinte du débit crête) (ii)
- du délai de transfert à pleine charge (dépendant du débit max et du volume du fichier) (iii).
(i) L’analyse approfondie des résultats montre que la latence applicative est relativement
homogène et généralement comprise entre 1.5 et 2 secondes.
Figure 26. Latence applicative opérateur A, sonde 2, rue Leneveux
(ii) Les délais de montée en charge du débit sont revanche très variables et participent à la
dispersion des mesures de débit applicatif
Figure 27. Délai de montée de régime opérateur A, sonde 2, rue Leneveux
(iii) On constate également que les débits crête atteints au cours des 10 secondes du transfert
de fichier peuvent également être très dispersés :
Figure 28. Débit crête opérateur A, sonde 2, rue Leneveux
Plusieurs hypothèses peuvent expliquer cette dernière observation :
- Une partie de la dispersion est d’origine arithmétique. Les débits maximum calculés
correspondent en effet au maximum des débits moyens calculés par intervalle d’une

FRD–28/11/12 27
seconde. Cette dispersion pourrait être corrigée en diminuant la durée de l’intervalle
considéré. La valeur de l’intervalle pourrait être réduite à 1/10 s par exemple ; sur cette
durée, à 5Mbit/s, on télécharge environ 30 trames de 1400 octets.
- Le débit maximum disponible sur la cellule n’est pas systématiquement atteint au cours des
10 secondes de mesure. En d’autres termes, le délai de montée en charge du débit est
parfois supérieur au délai de transfert des données. La figure ci-dessous montre en effet
que le débit maximum (mesuré pour un opérateur et une sonde) est atteint dans 22% des
cas pour la dernière seconde de mesure. On peut donc s’attendre à ce qu’il continue à
croître par la suite.
Figure 29. Répartition des débits max par seconde
- Lorsqu’une connexion de données entre le terminal et le réseau est initialisée, la
configuration du bearer (ensemble de paramètres spécifiant la transmission de données)
peut allouer des débits maximum variables adaptés aux conditions radio et aux conditions
de charge sur la cellule. Au cours d’une mesure, en cas de handover entre cellules ou
entre technologies, il est par ailleurs possible de se voir allouer plusieurs débits maximum
différents.
Par ailleurs et par souci de complétude, il convient de noter que d’autres facteurs, qui n’ont pas été
observés au cours de cette étude, peuvent participer à la dispersion des résultats perçus par un
utilisateur en conditions réelles :
- Sur les smartphones, un certain nombre d’applications tournent en tâche de fond et
effectuent des échanges de données sur le réseau (flux météo, messagerie, mises à
jour…) sans que l’utilisateur ne s’en aperçoive. Les traces radio détaillées permettent de
détecter ces collisions et de la neutraliser a postériori. On peut aussi les neutraliser a priori
en bloquant toutes les tâches de fond perturbatrices.
- Sur certains réseaux, il existe des offres prioritaires. Un utilisateur effectuant une mesure
en concurrence avec une offre de faible priorité ou avec une offre de haute priorité
n’obtiendra pas les mêmes performances.
2.4 Gestion des contraintes liées au déploiement de sondes fixes
Les expériences menées dans cette étude ont permis de montrer que le déploiement d’un
dispositif de sondes fixes conçu pour représenter de la manière la plus proche possible la qualité
perçue par les utilisateurs demande de prendre en compte un certain nombre de contraintes
opérationnelles afin d’assurer le bon fonctionnement des mesures.

FRD–28/11/12 28
 Gestion du fair use des abonnements
Toutes les offres proposées par les opérateurs comportent une clause définissant un volume
maximal de données pouvant être échangées chaque mois (clause d’usage raisonnable ou de fair
use).
Compte tenu de la fréquence et du volume des tests, le plafond autorisé peut être atteint au bout
de quelques jours de mesure si les débits sont élevés. Toutes les mesures effectuées au-delà de
ce seuil sont inutilisables car les transferts de données sont soit fortement bridés soit bloqués une
fois le seuil atteint. Un grand soin doit par conséquent être alloué au suivi du volume de données
consommé sur chaque SIM.
Le remplacement des cartes SIM nécessitant l’intervention d’un technicien, les sondes doivent
pouvoir être accessibles aisément ou doivent être équipées d’offres rechargeables en ligne. Dans
le cas de cet étude, lors du redémarrage d’un terminal, le port permettant de récupérer la trace
radio a dû être réinitialisé, et l’application Mobispeed et le logiciel d’enregistrement des traces
relancés
 Suivi du bon déroulement des mesures
L’utilisation intensive de terminaux grand public pour réaliser les mesures peut entrainer des
problèmes de stabilité nécessitant leur redémarrage. Un dispositif de suivi des données remontées
par chaque téléphone a été mis en place à cet effet pour surveiller plusieurs fois par jour la bonne
réalisation des mesures.
 Protection physique de la sonde
L’installation de sondes en extérieur implique de prévoir des protections contre les intempéries.
Une boite hermétiquement fermée et imperméable est à ce titre indispensable pour assurer
l’intégrité du matériel.
 Accès aux données
Si la sonde ne peut être raccordée à un réseau local, la récupération des traces radio ne peut être
effectuée à distance et nécessite l’intervention d’un technicien pour enregistrer les résultats sur un
support de stockage.

Etude directique-evaluation-qo s-sondes-fixes-nov2012

Contenu connexe

En vedette (16)

Similaire à Etude directique-evaluation-qo s-sondes-fixes-nov2012 (20)

Dernier (20)

Etude directique-evaluation-qo s-sondes-fixes-nov2012