A statistically constrained internal method for single image super-resolution - Archive ouverte HAL Access content directly
Conference Papers Year :

A statistically constrained internal method for single image super-resolution

Apprentissage mono-image contraint pour la super-résolution

(1, 2) , (2, 3) , (1)
1
2
3

Abstract

Deep learning based methods for single-image superresolution (SR) have drawn a lot of attention lately. In particular, various papers have shown that the learning stage can be performed on a single image, resulting in the so-called internal approaches. The SinGAN method is one of these contributions, where the distribution of image patches is learnt on the image at hand and propagated at finer scales. Now, there are situations where some statistical a priori can be assumed for the final image. In particular, many natural phenomena yield images having power law Fourier spectrum, such as clouds and other texture images. In this work, we show how such a priori information can be integrated into an internal super-resolution approach, by constraining the learned up-sampling procedure of SinGAN. We consider various types of constraints, related to the Fourier power spectrum, the color histograms and the consistency of the upsampling scheme. We demonstrate on various experiments that these constraints are indeed satisfied, but also that some perceptual quality measures can be improved by the proposed approach.
Les méthodes basées sur l'apprentissage profond pour la super-résolution (SR) ont été récemment l'objet de nombreux travaux. En particulier, plusieurs articles ont montré que l'étape d'apprentissage peut être effectuée sur une seule image (approches dites internes). La méthode SinGAN est l'une de ces contributions, où la distribution des patchs de l'image est apprise sur l'image en entrée et propagée à des échelles plus fines. Il existe des situations dans lesquelles des a priori statistiques peuvent être supposés pour l'image finale. En particulier, de nombreux phénomènes naturels produisent des images ayant un spectre de Fourier décroissant selon une loi de puissance, comme les nuages et autres images de texture. Dans cet article, nous montrons comment de telles informations a priori peuvent être intégrées dans une approche de super-résolution interne, en contraignant la procédure d'échantillonnage de SinGAN. Nous démontrons par diverses expériences que ces contraintes sont effectivement satisfaites, mais aussi que certaines mesures de qualité peuvent être améliorées par l'approche proposée.
Fichier principal
Vignette du fichier
Statistically_constrained_single_image_super_resolution_for_texture_images (7).pdf (10.34 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-03766523 , version 1 (01-09-2022)

Identifiers

Cite

Pierrick Chatillon, Yann Gousseau, Sidonie Lefebvre. A statistically constrained internal method for single image super-resolution. International Conference on Pattern Recognition, IAPR, Aug 2022, Montréal, Canada. pp.1322-1328, ⟨10.1109/ICPR56361.2022.9956498⟩. ⟨hal-03766523⟩
37 View
8 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More