Joint demosaicing and unmixing of multispectral images
Dématriçage et démélange conjoints d'images multispectrales
Résumé
In this thesis, we consider images sensed by a miniaturized multispectral (MS) snapshot camera. Contrary to classical RGB cameras, MS imaging allows to observe a scene on tens of different wavelengths, allowing a much more precise analysis of the observed content. While most MS cameras require a scan to generate an image, snapshot MS cameras can instantaneouslyprovide images, or even videos. When the camera is miniaturized, instead of a 3D data cube, it gets a 2D image, each pixel being associated with a filtered version of the theoretical spectrum it should acquire. Post-processing, called “demosaicing”, is then necessary to reconstruct a data cube. Furthermore, in each pixel of the image, the observed spectrum can be considered as a mixture of spectra of pure materials present in the pixel. Estimating these spectra named endmembers as well as their spatial distribution (named abundances) is called “unmixing”. While a classical pipeline to process MS snapshot images is to first demosaice and then unmix the data, the work introduced in this thesis explores alternative strategies in which demosaicing and unmixing are jointly performed. Extending classical assumptions met in sparse component analysis and in remote sensing MS unmixing, we propose two different frameworks to restore and unmixing the acquired scene, based on low-rank matrix completion and deconvolution, respectively, the latter being specifically designed for Fabry-Perot filters used in the considered camera. The four proposed methods exhibit a far better unmixing enhancement than the variants they extend when the latter are applied to demosaiced data. Still, they allow a similar demosaicing performance as state-of-the-art methods. The last part of this thesis introduces a deconvolution approach to restore the spectra of such cameras. Our contribution lies in the weights of the penalization term which are automatically set using the entropy of the Fabry-Perot harmonics. The proposed method exhibits a better spectrum restoration than the strategy proposed by the camera manufacturer and than the classical deconvolution technique it extends.
Dans cette thèse, nous considérons des images captées par une caméra multispectrale (MS) miniaturisée « snapshot ». Contrairement aux caméras RVB classiques, l’imagerie MS permet d’observer une scène sur des dizaines de longueurs d’onde différentes, permettant une analyse beaucoup plus précise du contenu observé. Alors que la plupart des caméras MS nécessitent un scan pour générer une image, les caméras MS snapshot peuvent fournir instantanément des images, voire des vidéos. Lorsque la caméra est miniaturisée, au lieu d’un cube de données 3D, elle fournit une image 2D, chaque pixel étant associé à une version filtrée du spectre théorique sensé être acquis. Un post-traitement, appelé «dématriçage », est alors nécessaire pour reconstruire le cube de données. De plus, dans chaque pixel de l’image, le spectre observé peut être considéré comme un mélange de spectres de matériaux purs présents dans le pixel. L’estimation de ces spectres nommés endmembers ainsi que leur distribution spatiale (appelée abondances) est appelée « démélange ». Alors qu’un pipeline classique pour traiter les images MS snapshot consiste d’abord à dématricer puis à démélanger les données, les travaux présentés dans cette thèse explorent des stratégies alternatives dans lesquelles le dématriçage et le démélange sont effectués conjointement. En étendant les hypothèsesclassiques rencontrées dans l’analyse des composantes parcimonieuses et dans le démélange MS utilisé en télédétection, nous proposons deux cadres différents pour restaurer et démélanger la scène acquise, basés respectivement sur la complétion de matrice de faible rang et la déconvolution, cette dernière étant spécifiquement conçue pour les filtres Fabry-Pérot utilisés dans la caméra considérée. Les quatre méthodes proposées présentent une bien meilleure qualité de démélange que les variantes qu’elles étendent lorsque ces dernières sont appliquées à des données dématricées. Néanmoins, elles permettent des performances de dématriçage similaires à celles des méthodes de l’état de l’art. La dernière partie de cette thèse introduit une approche de déconvolution pour restaurer les spectres de telles caméras. Notre contribution réside dans les poids du terme de pénalisation qui sont automatiquement fixés en utilisant l’entropie des harmoniques de Fabry-Pérot. La méthode proposéeprésente une meilleure restauration spectrale que la stratégie proposée par le fabricant de la caméra et que la technique de déconvolution classique qu’elle étend.
| Origine | Version validée par le jury (STAR) |
|---|