Transparence des données
La transparence relative aux choix méthodologiques réalisés est indispensable à l’analyse et l’interprétation par toute personne tierce des résultats présentés. Il s’agit également d’un élément clef pour comparer plusieurs méthodes ou plusieurs campagnes de mesures. Il convient de caractériser l’environnement de test en indiquant si les résultats présentés proviennent de mesures effectuées en crowdsourcing, de drive-test ou encore issus de données provenant directement des réseaux des opérateurs.
Exemple d’informations à fournir pour des tests de navigation web
Paramètres et méthodologie pouvant avoir une influence sur les résultats finaux.
Volumétrie de tests.
Terminaux utilisés.
Nombre et sélection de sites web testés (liste de sites et méthode de sélection des sites web, par exemple une page au hasard parmi les 30 sites web les plus visités dans le pays).
Durée du time out (par exemple 10 secondes).
État du cache web (vidé entre chaque test ou non).
Formules utilisées pour calculer les différents indicateurs présentés.
Au-delà de ces questions, des précautions sont à prendre quant à la propriété des données. Favoriser des formats ouverts (open data) facilite leur utilisation.
Compréhension par le grand public
Publier de l’information à destination du grand public entraîne nécessairement pour le régulateur une analyse de la pertinence de ces informations pour les utilisateurs, fortement conditionnée par la forme sous laquelle elles sont présentées.
Les notions de couverture sont en effet très différentes pour un régulateur (réalité technique de la couverture) et pour un utilisateur (capacité d’usage de ses services). La publication des informations de régulation à destination du grand public peut donc avoir un effet contraire à celui recherché : les utilisateurs constatant une différence nette entre les indicateurs et leur usage, et n’ayant pas nécessairement les compétences techniques leur permettant d’en comprendre les raisons, ils risquent de considérer ces données comme fausses, affaiblissant ainsi la confiance accordée au régulateur.
Dès lors, il convient d’étudier les indicateurs pour permettre une publication qui soit à la fois compréhensible du grand public et utile dans le travail de contrôle du régulateur. Il est possible, par exemple, de subdiviser les informations de couverture en différents niveaux qui permettent à l’utilisateur d’obtenir une information plus proche de son expérience quotidienne, même si elle est imparfaite.
L’une des missions fixées à l’IBPT est de veiller aux intérêts des utilisateurs en tenant compte de l’inclusion sociale, d’un niveau élevé de protection, d’informations claires et de la transparence.
Dans son plan stratégique 2017-2019, l’IBPT a affirmé son intention de fournir aux utilisateurs des informations claires et compréhensibles sur la qualité du service des opérateurs pour que chacun puisse choisir en toute connaissance de cause celui qui lui convient le mieux.
La transparence sur la qualité a aussi pour objectif de pousser les opérateurs à investir dans leurs réseaux, notamment dans les zones souffrant d’un manque de connectivité à haut débit.
Des informations accessibles
Les informations publiées sur la qualité du service se doivent avant tout de répondre à un besoin d’accessibilité. L’interface de visualisation des cartes doit par exemple avoir un design attractif et l’utilisation de ses fonctionnalités doit être aisée.
Mais à côté du développement d’une interface moderne et fluide, l’IBPT a relevé trois principaux défis.
Être proche de la réalité des utilisateurs : les attentes des citoyens sont élevées et ces derniers réagissent vigoureusement lorsqu’ils estiment que les données ne correspondent pas à la réalité vécue. L’IBPT a dès lors choisi de collecter des informations sur la qualité de l’expérience et de les afficher selon plusieurs niveaux. Il a lancé une application de crowdsourcing pour collecter les données fournies par les utilisateurs.
Fournir des informations compréhensibles : les informations publiées sont parfois difficiles à appréhender par les consommateurs. Par exemple, les seize indicateurs de qualité de l’expérience sont plutôt destinés aux experts et sont difficilement synthétisables pour la presse et le grand public. Un travail de vulgarisation est dès lors nécessaire et des discussions relatives à la création d’un indicateur composite ont commencé.
Toucher le plus grand nombre : L’IBPT se heurte à une baisse de notoriété en dehors de sa sphère régulatoire et le grand public ne l’associe pas encore à un défenseur des utilisateurs des secteurs qu’il régule. L’IBPT s’est donc lancé, à la fin de l’année 2018, dans un exercice de changement d’image. Une page Facebook est destinée à promouvoir les outils et une campagne de promotion de l’application de crowdsourcing a permis de multiplier par six son nombre d’utilisateurs.
Agrégation pertinente, représentative et fiable
L’agrégation des indicateurs est aussi élément essentiel de fiabilité des publications des régulateurs. Alors que dans un rapport des données agrégées au niveau national peuvent convenir, sur un format cartographique, les données doivent nécessairement être présentées dans une agrégation plus locale.
Il est important en outre de s’assurer de la représentativité réelle de ces indicateurs. Afin que chacun puisse juger de la fiabilité des résultats présentés, il faut faire preuve de transparence quant au nombre de mesures sous-jacentes aux publications agrégées réalisées. Cela vaut aussi pour les conditions de ces mesures (période, type de terminal, type de mesure, etc.). Il convient également de signaler tout biais dû au dispositif de mesure susceptible d’introduire des distorsions de représentativité ou des problèmes de comparabilité.
En complément, dans le cas où le régulateur publie des informations agrégées par opérateur « toutes technologies (2G, 3G, 4G) confondues », il peut être utile d’indiquer l’impact du mix technologique des opérateurs sur les résultats.
Ces principes demandent une vigilance accrue lorsqu’il s’agit de réaliser une agrégation à un niveau fin (au niveau local ou communal, représentation cartographique, etc.), car la finesse de la maille d’étude multiplie les difficultés de représentativité.
Formats ouverts et utilisables par tous
La mise en « open data » des données, après s’être assuré des droits et avoir choisi la licence de publication adéquate, permet souvent une meilleure appropriation par les utilisateurs experts, les décideurs publics et, de manière indirecte, par les consommateurs (via des réutilisations d’acteurs tiers).
Il est important dans cette démarche d’anticiper et d’accompagner les potentielles réutilisations par un travail sur les formats et les structures de publication des données, de même que sur la documentation de celles-ci : la simplicité de réutilisation, l’ouverture et la pérennité des formats et des structures ainsi que leur bonne compréhension sont des catalyseurs de leur appropriation par les utilisateurs.
Mais publier n’est qu’une première étape : il faut aussi que les données soient connues des potentiels ré-utilisateurs et qu’un accompagnement soit réalisé. Il est ainsi particulièrement utile de fédérer une communauté de ré-utilisateurs pour les familiariser aux données publiées, en permettre une meilleure appropriation, mais aussi pouvoir discuter des interprétations possibles des données au moment de leur retraitement.
Mise à jour régulière des données et conservation de l’historique
Le suivi de la couverture mobile et de la qualité de service nécessite bien sûr que les données publiées soient régulièrement mises à jour : les réseaux mobiles évoluent en effet très rapidement et le résultat en un point donné peut varier de façon importante entre deux mesures espacées de quelques mois.
La conservation de l’historique des données et des indicateurs permet de mettre en valeur la dynamique d’amélioration de la couverture ou de la qualité de service dans un pays.
Permettre une comparaison entre opérateurs
Si des données sont publiées par opérateur, le régulateur doit s’assurer qu’elles puissent être comparées entre elles. Un test de qualité de service peut en effet présenter une forte variabilité de résultat selon l’heure ou le jour auquel il a été fait, le terminal utilisé et sa capacité à prendre en charge les dernières normes, etc.
Les critères pour assurer une bonne comparabilité des mesures
Même terminal utilisé.
Même jour et même heure.
Mêmes protocoles utilisés.
Même position lors du test (intérieur, extérieur, dans un véhicule, etc.).
Si les mesures effectuées ne respectent qu’une partie de ces critères (ce qui est souvent le cas dans un environnement de crowdsourcing), il est nécessaire d’avertir du potentiel biais induit par le protocole de mesure.
Pour autant, des mesures non comparables peuvent être riches en enseignements et apporter une information complémentaire importante pour l’utilisateur, si le régulateur fait preuve de suffisamment de pédagogie dans la publication de ces données.
Comment restituer ?
