Cartes d'occupation des sols 2009-2011

Même si nous attendons tous de voir des cartes d'occupation des sols de l'année 2016 produites avec Sentinel-2, certains utilisateurs nous ont demandé des cartes correspondant à des millésimes historiques. Theia met à disposition des données Landsat-5 pour les années 2009, 2010 et 2011 avec les niveaux de pré-traitement (corrections atmosphériques, masques de nuages, etc.) nécessaires pour produire des cartes d'occupation des sols avec iota2.

Arthur Vincent et David Morin au Cesbio ont donc passé un peu de temps à préparer des données de référence et à lancer les traitements. L'approche est la même que nous avons déjà décrit pour les données 2014. Les différences principales résident sur le fait que, pour la donnée de référence, nous avons combiné Corine Land Cover 2006 et 2012 (pour 2014 nous avions utilisé seulement 2012). Pour ce qui concerne les images, nous n'avons utilisé que Landsat-5, même si des données Landsat-7 étaient aussi disponibles. Utiliser Landsat-7 nous aurait permis d'augmenter le nombre d'acquisitions disponibles, mais à partir de 2003, ce satellite ne fournissait des données utilisables que sur une fauchée très limitée.

Cette fois, nous n'avons pas multiplié les versions des cartes et nous avons choisi de produire une seule carte par année en utilisant le mode éco-climatique, qui s'est montré plus performant pour les essais sur l'année 2014. Nous avons gardé une nomenclature à 18, classes, même si le découpage des zones artificialisées imperméables en 4 classes (bâti dense, bâti diffus, zones industrielles et commerciales et surfaces route) n'est pas très pertinent à la résolution de 30 m.

Les résultats obtenus viennent d'être mis à disposition ici à nouveau avec l'interface Open Layers réalisée par Arthur. L'icône en haut à droite vous permet de sélectionner les cartes qui seront affichées. A gauche, sous les boutons qui gèrent le niveau de zoom, vous avez la possibilité de sélectionner 2 des cartes pour lesquelles les statistiques de qualité (FScore par classe) seront affichées sous la zone de visualisation. Cela vous permet d'apprécier les différences entre les années. Nous avons aussi inclus la carte 2014 réalisée avec les données Landsat-8.

Nous n'avons pas eu le temps d'analyser les résultats en détail, mais les statistiques de validation (sur plus de 26 millions de pixels!) montrent que les performances sont un peu inférieures à celles de la carte 2014. Nous pensons que la baisse de qualité est principalement due au moindre nombre d'images disponibles (nous aurions finalement dû utiliser aussi Landsat-7) mais aussi au fait que les données Landsat-5 ont une qualité géométrique et radiométrique inférieure à celles de Landsat-8. Le nombre inférieur de données disponibles a un fort impact qui se traduit par une sur-détection de surfaces artificialisées.

Le fait d'avoir des cartes d'occupation des sols sur plusieurs années invite à vouloir faire de la détection d'évolutions, mais il faut être prudent. Avec un taux d'erreur supérieur à 10%, il est impossible d'envisager ce type de détection de façon directe sur les cartes. Si vous souhaitiez faire ce genre d'exercice, il faudrait sans doute fusionner les 4 classes de bâti, mais aussi faire une seule classe avec les pelouses et les landes (et peut-être aussi les prairies) et en faire de même avec les vignes et les vergers. Cela nous ramène à une nomenclature à 11 ou 12 classes, ce qui permet tout de même de faire des analyses intéressantes.

Si vous voulez récupérer les fichiers GeoTiff complets (attention, c'est volumineux!), vous pouvez utiliser les liens suivants :

Caractéristiques du produit Theia OSO pour la carte 2016

Depuis le mois d'avril 2016, le CES OSO a continué à travailler sur la chaîne iota2 afin de préparer l'arrivée des données Sentinel-2. Malheureusement, ces données commencent juste à être disponibles sur les serveurs de Theia et seulement quelques essais de petite envergure ont pu avoir lieu. En conséquence, certaines décisions concernant les caractéristiques de la première version du produit d'occupation des sols ont dû être reportées de quelques mois.

Ce que nous pouvons déjà annoncer est que pour la première version du produit, la carte sera produite sur un millésime de référence allant de janvier à décembre 2016 et diffusée sous forme raster avec des pixels de 20 m. mais le produit avec des pixels de 10 m. sera disponible pour les utilisateurs qui le souhaiteront. Des fichiers vecteurs découpés par région administrative et avec une unité minimale de collecte de 0.1 ha pourront aussi être télé-chargés.

La liste de classes cartographiées sera la suivante :

  1. Cultures annuelles d'été
  2. Cultures annuelles d'hiver
  3. Prairies
  4. Vignes
  5. Vergers et arboriculture
  6. Forêts feuillus
  7. Forêts résineux
  8. Pelouses et pâturages naturels
  9. Landes ligneuses
  10. Surfaces artificialisées imperméables
    1. Urbain continu
    2. Urbain discontinu
    3. Zones industrielles et commerciales
    4. Surfaces route
  11. Surfaces minérales naturelles
  12. Plages et dunes
  13. Eau
  14. Glaciers et neiges éternelles

Le découpage de la classe "Surfaces artificialisées imperméables" en 4 sous-classes n'a pas encore pu être validé en raison du manque de données Sentinel-2 évoqué ci-dessus, mais nous y travaillons pour que début 2017 la carte puisse proposer une nomenclature à 17 classes au lieu de seulement 14.

Les spécifications du produit ne sont pas donc figées afin que les besoins des utilisateurs puissent être pris en compte et le faire évoluer. Les activités de R&D sont en cours et continueront pendant quelques années. La qualité du produit évoluera, mais la continuité sera assurée via des re-traitements. De plus, les données utilisées et les chaînes de traitement sont libres, ce qui donne la possibilité de modification et adaptation pour des besoins spécifiques et donne une indépendance des utilisateurs vis-à-vis de Theia.

iota2 traite du Sentinel-2

Vous connaissez déjà la chaîne iota2 et vous savez qu'elle sait traiter les séries temporelles Landsat8 et générer des cartes d'occupation des sols. Ces derniers jours, Arthur a terminé le code permettant d'utiliser les séries temporelles Sentinel-2. Même si nous n'avons pas encore des séries Sentinel-2 sur toute la France (mais elles devraient arriver bientôt), nous avons utilisé des produits de démonstration fournis par THEIA pour valider la chaîne de traitement.

Tout a l'air de bien marcher et la résolution de 10m. de Sentinel-2 permet d'avoir beaucoup plus de détail au niveau des cartes produites. Voici 2 extraits (près d'Avignon) qui montrent la différence entre Landsat8 (en haut) et Sentinel-2 (en bas). Attention, la comparaison n'a de sens qu'en termes de détail spatial : les cartes ne correspondent pas aux mêmes périodes d'acquisition et les données de référence sont légèrement différentes. Il ne faut pas tirer donc de conclusion par rapport à la qualité thématique de ces cartes.

Le premier extrait montre une zone de végétation naturelle avec un peu d'agriculture.

coudoux.png

Le deuxième extrait montre le Rhône, la Durance et la ville d'Avignon. On peut apprécier le détail dans la ville et aussi les ponts sur le Rhône qui ne sont pas visibles sur la carte à 30 m.

avignon.png

L'utilisation de données à 10 m. de résolution et avec 12 bandes spectrales demande un temps de calcul bien supérieur à celui nécessaire pour traiter les données Landsat8. Heureusement, nous avons aussi optimisé une partie du traitement (le calcul des primitives) qui utilise maintenant une application OTB spécifique. Cela nous permet d'aller plus vite, mais aussi de générer moins de données intermédiaires.

La version de iota2 qui contient ces nouvelles fonctionnalités est accessible ici.

Nouvelles versions de la carte 2014

Nous avons beaucoup travaillé sur la procédure de génération des cartes d'occupation des sols ces derniers mois. Trois axes principaux1 ont été abordés par Arthur et David au Cesbio :

  1. Le portage et la validation de la chaîne de traitement iota2 sur l'infrastructure de calcul à haute performance (HPC) du Cnes.
  2. L'amélioration de la procédure de préparation des données de référence utilisées pour l'apprentissage des classifieurs et la validation des cartes produites.
  3. La mise au point de la stratification qui permet de spécialiser les algorithmes de classification par zone éco-climatique, par exemple.

En utilisant toutes ces nouveautés, nous avons produit beaucoup (vraiment beaucoup!) de cartes sur la France métropolitaine. Nous venons de mettre en ligne quelques exemples sur l'année 2014 en utilisant toutes les données Landsat8 disponibles. Nous avons choisi de vous montrer les 4 cas qui correspondent aux combinaisons suivantes :

  • sur la donnée de référence :
    1. utilisation de 4 classes de surfaces artificielles (abusivement appelées "bâti") : urbain continu, urbain discontinu, surfaces "route" et zones industrielles et commerciales2;
    2. regroupement a posteriori de ces 4 classes3;
  • sur le mode de stratification :
    1. avec stratification par zone éco-climatique4;
    2. sans stratification, mais avec une fusion de plusieurs (10) classifieurs appris sur des tuiles images différentes.

Arthur nous a concocté une interface assez pratique pour la visualisation et la comparaison des différentes cartes. Vous pouvez y accéder ici. L'icône en haut à droite vous permet de sélectionner les cartes qui seront affichées. A gauche, sous les boutons qui gèrent le niveau de zoom, vous avez la possibilité de sélectionner 2 des cartes pour lesquelles les statistiques de qualité (FScore par classe5) seront affichées sous la zone de visualisation. Cela vous permet d'apprécier les différences entre les approches.

Aux 4 nouvelles cartes, nous avons ajouté la version que nous avions publié en début d'année, dont la qualité est inférieure. Si vous regardez la précision globale de cette carte (Overall Accuracy) vous verrez qu'elle est en fait supérieure à celle des nouvelles cartes. Ceci est dû au fait que dans cette ancienne version, nous utilisions beaucoup de pixels d'eau pour la validation, et l'eau est très facile à classer. Le problème principal de cette ancienne version est le sur-classement des zones urbaines au dépens des surfaces minérales naturelles et des vergers. Ceci a été amélioré grâce au travail sur la préparation de la donnée de référence.

Pour comparer des cartes, il est utile de regarder les FScore par classe. Vous verrez ainsi que la stratification éco-climatique apporte des améliorations importantes sur les valeurs moyennes et sur les intervalles de confiance.

Si vous voulez récupérer les fichiers GeoTiff complets (attention, c'est volumineux!), vous pouvez utiliser les liens suivants :

N'hésitez pas à nous faire des retours. Nous continuons à travailler sur les améliorations des méthodes.

Footnotes:

1

Beaucoup d'autres tâches ont été réalisées, dont la préparation de l'ingestion des données Sentinel-2, par exemple.

2

Ces 4 classes correspondent à la nomenclature de Corine Land Cover, dont les polygones du millésime 2012 ont été affinés en utilisant une procédure développée par David et Marcela et décrite dans cette présentation (à partir de la planche 33).

3

L'apprentissage et la classification sont toujours faits avec les 4 classes séparées, mais elles sont regroupées à la fin, ce qui permet d'augmenter la précision de la carte en échange d'une perte de finesse thématique. Mais les pixels de 30 m. de Landsat ne nous permettent d'être très précis pour ces classes.

4

Nous avons utilisé la carte publiée par Joly et al.

5

Nous utilisons cette métrique, car elle combine les erreurs d'omission et de commission.

Prototype sur la France entière avec Landsat8 en 2014

En préparation de la journée utilisateurs du CES OSO de mardi 16/02, voici une carte d'occupation des sols sur la France métropolitaine produite à partir de données Landsat-8 de 2014 (N2A Theia). Le produit est visualisable ici.

Il s'agit d'un premier jet qui contient des artefacts notamment dus à une production en 2 lots (nord/sud).

Ce lien te permet de récupérer le geotiff complet : http://cyan.ups-tlse.fr:8080/geoserver/SudOuest/wcs?service=WCS&version=1.0.0&request=GetCoverage&coverage=SudOuest:Mosaic_France2014_V1_ColorIndexedT&bbox=100020.0,6111270.0,1110150.0,7121400.0&resx=30&resy=30&crs=EPSG:2154&format=geotiff

Pour récupérer seulement une petite région, on peut changer le lien. Il contient tous les paramètres nécessaires : bouning box (bbox) et résolution. Les coordonnées de la boîte englobante sont données en Lambert-93.

Merci beaucoup à Marcela pour ce travail. Merci aussi à Arthur et Benjamin pour les développements informatiques qui permettront de déployer la chaîne sur le cluster du CNES pour pouvoir accélérer les traitements et soulager nos collègues du CESBIO.

Nous allons continuer à améliorer la chaîne de production et générer de nouvelles versions du produit dans les semaines à venir.

iota2

iota2: Infrastructure pour l'Occupation des sols par Traitement Automatique Incorporant les Orfeo Toolbox Applications est le nom de la prestigieuse chaîne de production de cartes d'occupation des sols du CESBIO. Son code source est disponible ici.

La chaîne est en mutation pour pouvoir être intégrée dans le centre de production que le CNES met à disposition de Theia. Le travail n'est pas complètement terminé, mais nous commençons à voir le bout du tunnel.

Nous sommes (nous = Arthur, Marcela et Benjamin, je ne fais pas grand chose) en train de valider l'équivalence entre la version actuelle et celle qui a servi à faire les produits prototypes. Quand cette étape sera terminée, nous écrirons le manuel d'installation et d'utilisation.

La chaîne ne nécessite qu'une version récente de l'OTB et quelques modules Python. Elle tourne sous GNU/Linux disposant de GCC4.8 ou plus récent.

Nous avons même un logo :

iota2-logo.png

Prototypes de cartes d'occupation des sols

Introduction

Dans la phase de R&D du CES OSO du Pôle Theia, des expérimentations sont réalisées pour recueillir les retours des futurs utilisateurs du produit Occupation des sols.

Dans ce but, des exemples de prototypes de produits sont mis à disposition. Ces produits contiennent des erreurs et ne doivent être considérés que comme des documents de travail.

Les produits sont mis à disposition avec la licence Open Data Commons Attribution Licence. Cette licence permet de :

  • partager : copier, distribuer et utiliser les données
  • créer des produits dérivées à partir de ces données
  • adapter : modifier, transformer la base de données

sous la contrainte d'attribution : vous devez citer la source de la base de données (le CESBIO) dans toute utilisation ou diffusion.

Prototypes de produits

2013

Ces cartes ont été produites avec des images du satellite Landsat-8 (résolution 30 m. et 7 bandes spectrales) acquises avec une revisite de 16 jours.

Les acquisitions on démarré le 12 avril 2013 et s'étalent jusqu'au 30 décembre 2013. Chaque point de la surface a été vu (hors nuages et autres artefacts) entre 8 et 25 fois, et en moyenne, 16 fois. Sur les Pyrénées, il y a des zones qui, à cause des nuages, ont été vues peu de fois, et on remarque des artefacts dans les cartes.

Les images Sentinel-2, avec une résolution spatiale de 10 m., une revisite de 5 jours et 12 bandes spectrales, permettront la génération de cartes de bien meilleure qualité.

Les cartes sont réalisées en utilisant un apprentissage automatique sur des bases de données de référence dans lesquelles l'occupation des sols est connue pour certains points du territoire. Les bases de données suivantes ont été utilisées :

  • Registre parcellaire graphique (RPG) pour les classes suivantes :
    • cultures annuelles herbacées (été et hiver)
    • cultures ligneuses (vergers, vignes, arboriculture, oliviers)
    • prairies permanentes
    • estives-landes
  • Corine Land Cover 2012 pour les classes
    • Bâti dense
    • Zones industrielles et/ou commerciales
    • Pelouses
    • Plages et dunes
    • Mer et océans
    • Surfaces minérales
    • Glaciers et neiges éternelles
  • BD TOPO pour les classes suivantes :
    • Eau
    • Forêt de feuilles persistantes
    • Forêt de feuilles caduques
    • Forêts mélangées
    • Lande ligneuse

Ces bases de données peuvent correspondre à des périodes différentes et être plus anciennes que la période d'acquisition des images satellite.

Plusieurs versions des cartes ont été réalisées en choisissant des nomenclatures légèrement différentes.

v1

Produit initial avec la nomenclature complète. Une visualisation en ligne ainsi que les statistiques de validation sont disponibles ici.

Le produit à pleine résolution peut être téléchargé ici.

v2

Regroupement des classes suivantes :

  • estives/landes et landes ligneuses
  • élimination des forêts mélangées
  • fusion des classes vergers, oliviers, arboriculture
  • fusion des classes eau et mers et océans

Une visualisation en ligne ainsi que les statistiques de validation sont disponibles ici.

Le produit à pleine résolution peut être téléchargé ici.