Evaluations
Avec la loi de 1996 sur l’air et l’utilisation rationnelle de l’énergie (LAURE), et à plus forte raison depuis l’arrêté du 16 avril 2021 relatif au dispositif national de surveillance de la qualité de l’air ambiant, les différents acteurs de la prévision de la qualité de l’air en France sont tenus d’évaluer les performances de leurs systèmes de prévision, selon les critères préconisés par le référentiel technique national. Ce référentiel est un recueil documentaire composé de guides méthodologiques et de résolutions techniques pour le dispositif national de surveillance de la qualité de l'air ambiant. Il définit notamment des objectifs de qualité et de performance à respecter pour les modèles contribuant à la prévision de la qualité de l’air en France.
Ainsi, afin de s’assurer de la qualité des prévisions établies dans le cadre de PREV’AIR, les résultats issus de la modélisation sont comparés avec les données issues des réseaux de mesure des AASQA. Cette évaluation fait appel à des indicateurs statistiques qui permettent d’étudier le comportement des modèles, et donc les forces et faiblesses des prévisions, notamment vis-à-vis de leur capacité à reproduire les variations et niveaux d’intensité des concentrations observées.
Les principaux indicateurs utilisés dans ce cadre sont les scores de biais moyen, RMSE et corrélation.
Biais moyen : exprimé en µg/m3, c’est un estimateur des écarts entre prévisions et observations. Il indique si la simulation surestime (valeurs positives) ou sous-estime (valeurs négatives) les concentrations réellement mesurées.
avec N le nombre de stations de mesure, Pi la valeur de prévision à la station i, et Oi la valeur observée à la station.
RMSE : « Root Mean Square Error », exprimée en µg/m3. Elle informe sur la capacité du modèle à reproduire les niveaux de concentrations observés et doit être la plus faible possible.
avec N le nombre de stations de mesure, Pi la valeur de prévision à la station i, et Oi la valeur observée à la station.
Corrélation (Pearson) : exprimée sans dimension, elle informe sur la cohérence des variabilités temporelle ou spatiale des concentrations observées et prévues. Plus elle est proche de 1, et plus la simulation reproduit correctement les variations des concentrations observées.
Dans Prevair+, seule la corrélation temporelle est proposée.
avec N le nombre de stations de mesure, Pi la valeur de prévision à la station i, la moyenne des prévisions, Oi la valeur observée à la station, et la moyenne des observations.
Chaque année, une évaluation portant sur l’année précédente est menée par PREV’AIR sur les produits fournis en temps réel par le système. Ces évaluations détaillées font l’objet de rapports de performances publiés sur le site du LCSQA.
Des scores à la station sur des périodes plus restreintes, de trois jours à un an, sont également disponibles au quotidien dans Prevair+. Ces indicateurs de performances sont proposés à partir des données journalières et/ou horaires, et agrégés au niveau régional ou national afin de fournir des indices de performance globaux. Les données de concentration servant de base au calcul de ces scores sont disponibles sous forme de séries temporelles.
Les stations utilisées sont uniquement des stations de fond, catégorisées selon leur typologie (urbaines, périurbaines ou rurales). Sur chacune des périodes considérées dans ces évaluations, seules les stations présentant plus de 75% de données valides sont conservées pour le calcul des scores.