Des pixels aux segments pour la classification de séries temporelles d'images via des réseaux de neurones convolutionnels

Mohamed Chelali (1) , Camille Kurtz (2) , Anne Puissant (3) , Nicole Vincent (2)

1 LIPADE (URP_2517) - Laboratoire d'Informatique Paris Descartes
2 LIPADE - EA 2517 - Laboratoire d'Informatique Paris Descartes
3 LIVE - Laboratoire Image, Ville, Environnement

Image time series, such as Satellite Image Time Series (SITS) or MRI functional sequences in the medical domain, carry both spatial and temporal information of the sensed scene. In many applications such as image classification, taking into account such rich information may be crucial and discrimative during the decision making stage. However , the extraction of spatio-temporal features from image time series is difficult due to the complex representation of the data cube. In this article, we present a strategy based on Random Walk to build a novel segment-based representation of the data, passing from a 2D + t dimension to a 2D one, more easily usable and without loosing too much spatial information. Such new representation is then used to feed a classical Convolutional Neural Network (CNN) in order to learn spatio-temporal features with only 2D convolutions and to classify image time series data for a particular classification problem. The interest of this approach is highlighted on a remote sensing application for the classification and the mapping of complex agricultural crops.

Les séries temporelles d'images, telles que les séries temporelles d'images satellites (STIS) ou les séquences fonctionnelles d'IRM dans le domaine médical, fournissent des informations spatiales et temporelles importantes sur une scène observée. Dans de nombreuses applications telles que la classification d'images, la prise en compte de ces informations peut être cruciale et discriminatoire lors de la prise de décision. Cependant, l'extraction de caractéristiques spatio-temporelles à partir de séries temporelles d'images est difficile en raison de la complexité de la structure du cube de données. Dans cet article, nous présentons une stratégie basée sur les marches aléatoires (Random Walk) pour construire une nouvelle représentation des données reposant sur des segments, passant d'une dimension 2D + t à une dimension 2D, plus facilement manipulable et conservant une information spatiale partielle. Cette nouvelle représentation est ensuite utilisée pour définir des caractéristiques spatio-temporelles dans un réseau de neurones convolutionnel (CNN) classique lors d'un apprentissage bout en bout ayant pour objectif de classer des séries temporelles d'images. L'intérêt de cette approche est mis en évidence sur une application de télédétection pour la classification et la cartographie de parcelles agricoles.

Mots clés: Satellite Image Time Series; spatio-temporal features; Random Walk; Convolutional Neural Networks

Mots clés: Séries Temporelles d’Images Satellites (STIS); caractéristiques spatio-temporelles; marche aléatoire; réseaux deneurones convolutionels.

Domaines: Intelligence artificielle [cs.AI]; Traitement des images [eess.IV]

Mohamed Chelali, Camille Kurtz, Anne Puissant, Nicole Vincent. Des pixels aux segments pour la classification de séries temporelles d'images via des réseaux de neurones convolutionnels. Congrès Reconnaissance des Formes, Image, Apprentissage et Perception, Jun 2020, Vannes, France. ⟨hal-02891868⟩