Résumé

Le recalage d'images est une technique importante dans de nombreuses applications de vision par ordinateur, telles que la fusion d'images, le suivi d'objets, la reconnaissance de visages, la détection de changements, etc. Les composantes principales du processus de recalage à savoir l’espace des primitives, la mesure de similarité, la stratégie de recherche et d'optimisation, jouent un rôle fondamental dans l’estimation de la meilleure transformation spatiale pour recaler les images multi-dates, qui influence directement la précision et la robustesse de ces méthodes. Cet article se concentre principalement sur les méthodes classique et récentes de recalage d’images, y compris les principes fondamentaux. L'objectif spécifique de cette revue consiste à décrire les méthodes de corrélation d'images basées sur la méthode de Fourier, d'exposer les méthodes sub-pixellique existantes dans le domaine fréquentiel et d'esquisser un résumé sur les études comparatives des méthodes sub-pixelliques de fournir une source de référence complète aux chercheurs impliqués dans le recalage d'images avec la corrélation d'images basée sur la méthode de Fourier.


Mots clés: recalage sub-pixellique, mise en correspondance, corrélation de phase, transformée de Fourier

Introduction

Un des défis majeurs de l’imagerie satellitaire et aérienne est l’analyse et le traitement de plusieurs images dans un référentiel commun. Ce processus, connu sous le nom de recalage, consiste en la «mise en correspondance» de deux images d’une même scène, prises à des instants différents, à partir de différents points de vue, ou par différents capteurs. En effet, il s’agit d’aligner géométriquement l’image à recaler dite image source sur l’image cible, ceci est réalisé en déterminant la transformation qui fournit la correspondance la plus précise entre ces deux images. En effet, le problème de recalage est un point primordial pour la détection des changements et la qualité de recalage dicte la validité et la fiabilité de l’application. Il existe plusieurs approches de recalage dans la littérature. Ces dernières se basent sur la définition de différents critères, dont le choix peut garantir ou non la validité du recalage. La technique de recalage d’images est un problème classique et fait l’objet de recherches actives. Bien que des recherches considérables aient été menées, des défis importants restent à relever. Il existe donc un besoin crucial de développer un algorithme de recalage d’images précis, robuste et efficace, qui nécessite une supervision minimale ou nulle de la part de l’opérateur pour recaler des images multi-temporelles.

Une revue des techniques de recalage d’images les plus courantes a été réalisée dans (Brown, 1992; Eastman et Netanyahu, 2011; Shah et Mistry, 2014; Zitová et Flusser, 2003). Les méthodes existantes peuvent être divisées en deux grandes catégories: les techniques iconiques basées sur le niveau de gris et les techniques géométriques basées sur les primitives géométriques. Plusieurs études ont examiné les améliorations en termes de précision et de fiabilité, ainsi que les moyens d’atténuer les limites des deux groupes de techniques de recalage.

D’une part, les techniques géométriques comportent deux étapes. Tout d’abord, la méthode extrait les primitives de l’image source et de l’image cible. Ensuite, les points correspondants sont mis en correspondance pour obtenir une correspondance correcte et la transformation optimale du modèle entre la paire d’images. L’espace des primitives comprend les coins, les bords et les régions de l’image source et de l’image cible. Comme les coins sont invariants par rapport à la géométrie de l’image, ils permettent d’obtenir des résultats plus précis (Zitová et Flusser, 2003). Les méthodes basées sur les primitives ponctuelles détectent d’abord un ensemble de points d’intérêt candidats en appliquant un détecteur aux deux images (Barazzetti et al., 2017; Lowe, 2004; Yong Li et al., 2008; Harris et Stephens, 1988). Les auteurs passent en revue différents détecteurs des primitives et suggèrent une combinaison de plusieurs détecteurs pour obtenir les meilleures performances. La comparaison entre les détecteurs a montré que les performances diminuent avec l’augmentation des effets de changement de points de vue. Bien que la répétabilité soit la mesure la plus couramment utilisée pour évaluer la précision des points d’intérêt extraits, leur distribution spatiale joue un rôle crucial dans le processus de recalage. Ils doivent être les plus largement répartis sur l’ensemble de l’image pour assurer un recalage précis (Mikolajczyk et Schmid, 2005). L’algorithme le plus populaire est le détecteur de coins de Harris (Harris et Stephens, 1988) qui reste une technique de référence. Le succès du détecteur de Harris réside dans son efficacité à détecter des points d’intérêt stables et répétables dans divers types de déformations de l’image (Zhu et al., 2007; Zhang et al., 2014). Une fois les points d’intérêt détectés, la correspondance des primitives est ensuite effectuée en comparant les descripteurs locaux tels que la transformée des primitives invariantes à l’échelle (SIFT) ou les descripteurs robustes accélérées (SURF). Le descripteur SIFT a été mis au point par Lowe (2004) pour assurer l’invariance des caractéristiques aux variations d’échelle, de rotation et d’illumination de l’image. L’opérateur SIFT peut trouver des correspondances ponctuelles optimales entre les images malgré les erreurs résultant de petites distorsions géométriques (Ye et Tang, 2013). Le recalage basé sur l’algorithme SIFT souffre d’une faible précision et d’une vitesse lente pour les images de télédétection (Wang et.al., 2020, Dong et al., 2018).

D’autre part, les techniques iconiques calculent une mesure de similarité en utilisant les valeurs brutes des pixels de l’image pour un petit modèle dans l’image source et la comparent avec une région similaire dans l’image cible. Par conséquent, un examen des travaux connexes indique que les algorithmes classiques sont très sensibles aux changements d’intensité des pixels introduits par les distorsions locales, les différences d’éclairage, les ombres et les changements d’angle de vue, en plus de l’utilisation d’images multi-capteurs. Les mesures de similarité standard sont la corrélation croisée avec ou sans pré-filtrage, et les propriétés d’invariance de Fourier, comme la corrélation de phase (PC) utilisée comme mesure de similarité (Li et al., 2020). Arya a proposé un algorithme de corrélation normalisé basé sur les M-estimateurs qui réduit l’effet du bruit (Arya, 2007). Les M-estimateurs dans la corrélation d’intensité se sont avérés plus performants que la mesure d’information mutuelle (MI) pour les images médicales (Kim et al., 2004). Georgescu et Meer (2007) ont proposé la mise en œuvre d’un algorithme de descente de gradient utilisant les M-estimateurs et une correction radiométrique. Plusieurs schémas de recalage d’images dans les principaux systèmes terrestres de satellites ont été étudiés (Eastman et al., 2007). Le recalage a été effectué sur une base de données d’images de points de contrôle soigneusement sélectionnés. La corrélation normalisée a été utilisée dans les régions locales après application de la correction topographique et du processus de masquage des nuages.

Récemment, les chercheurs ont commencé à accorder de l’importance à l’application de la corrélation de phase dans le recalage d’images (Konstantinidis et al., 2019; Xu et al., 2019; Ye et al., 2020; Leprince et al., 2007) ont construit un système de recalage automatisé, appelé COSI-Corr, basé sur la corrélation de phase. Scheffler et al. (2017) ont développé une méthode de recalage utilisant le masquage des nuages, appelée AROSICS, basée sur la corrélation de phase. Le recalage de Fourier dans le domaine fréquentiel est adapté pour traiter des images qui ont été à la fois translatées, pivotées et mises à l’échelle les unes par rapport aux autres. Chen et al. (1994) ont proposé un algorithme de correspondance basé à la fois sur la transformée de Fourier invariante par translation et sur la transformée de Mellin invariante par échelle pour faire correspondre des images qui ont subi une rotation et une mise à l’échelle. Abdelfattah et Nicolas (2005) ont démontré une meilleure précision de la transformée de Fourier-Mellin invariante (FMT) par rapport à une corrélation standard pour le recalage d’images radar interférométriques à ouverture synthétique.

Récemment, plusieurs efforts ont été consacrés à l’amélioration des performances des méthodes de recalage basées sur la corrélation de phase. Cependant, une revue unifiée et approfondie de ces développements n’a pas été faite pour résumer et discuter de ce sujet, à l’exception de quelques évaluations des performances, comme Tong et al., (2019) et Alba et al., (2015). Il est donc impératif de faire le point sur la littérature actuelle afin de guider les recherches futures sur ce sujet.

L’objectif de cette revue est de donner un aperçu du processus de recalage des images ainsi qu’une analyse détaillée de la méthode de corrélation d’images basée sur la méthode de Fourier. Ces méthodes sont décrites en fonction des principales lois qui les sous-tendent et un aperçu des méthodes sub-pixellique et hybrides actuellement disponibles est présenté. Le résultat final sera bénéfique pour les développements ultérieurs des méthodes de recalage d’images basée sur la corrélation de phase.

Caractéristiques des méthodes de recalage

Le recalage d’images est le processus d’alignement de deux ou de plusieurs images de la même scène prises à différents moments, depuis différents capteurs ou à partir de différents points de vues (Figure 1). Cette technique consiste à trouver la transformation spatiale T optimale permettant d’aligner une image source IS(x,y) avec une image cible IR(x,y) (Brown, 1992):

IS (x,y) = IR (Tx (x,y),Ty (x,y))

Où Tx et Ty sont les valeurs singulières de la transformation spatiale f.

Les méthodes de recalage se distinguent par la nature des primitives et le critère de similarité permettant de trouver la meilleure correspondance, ainsi que par la stratégie de recherche et d’optimisation capable de réduire le coût des calculs nécessaires à la mise en correspondance des primitives et d’estimer les paramètres optimaux de ce modèle. L’estimation de la meilleure transformation spatiale pour recaler les images multi-dates peut être décomposée en trois composantes principales: l’espace des primitives, la mesure de similarité, la stratégie et l’espace de recherche (Brown, 1992). Ces critères sont déterminants dans la performance et la précision de recalage des images et dépendent de la connaissance des sources de distorsions. Il convient alors de choisir la méthode rigoureuse et efficace parmi différentes alternatives dans l’ensemble du processus de recalage. Chacune des composantes est décrite plus en détail dans les trois sous-sections suivantes.

Espace des primitives

La première étape de recalage de deux images consiste à choisir l’espace des primitives à apparier dans la mise en correspondance. Elles jouent un rôle fondamental dans la procédure de recalage. On distingue les primitives géométriques telles que les points, les contours ou les régions et les primitives iconique basé sur l’intensité (des pixels). Les primitives doivent être visibles sur une série temporelle d’images, ce qui signifie que la stabilité dans le temps et l’invariance aux changements géométriques et radiométriques sont nécessaires (Barazzetti et al., 2017). C’est pourquoi, les algorithmes automatiques doivent être capables de gérer ces différentes variations.

Afin de recaler des images multi-dates, il y a est donc nécessité de choisir des primitives qui permettent de réduire tout d’abord, le bruit du capteur et/ou d’autres distorsions telles que l’illumination solaire et les conditions atmosphériques. Ensuite, elles doivent être des objets distinctifs, qui sont uniformément reparties sur l’image. Quant au coût de calcul, il est essentiel de le minimiser en réduisant la taille de l’espace de recherche des primitives (Brown, 1992)Les primitives géométriques sont utilisées pour établir la correspondance entre l’image source et l’image cible. Nous pouvons distinguer trois types de primitives géométrique: points, ligne et région. Les points sont les primitives les plus recherchées, car leurs coordonnées sont directement utilisées pour déterminer les paramètres de la fonction de transformation qui permet de recaler les deux images (Goshtasby, 2004). Les coins sont les primitives les plus stables pour l’appariement des images; ils sont invariants à la rotation, aux changements d’échelle, et des conditions de prise de vue ou d’occultation.

Les points d’intérêt sont appelés dans la littérature les points de contrôle (PC). Diverses méthodes ont été proposées pour détecter des points d’intérêts (Tableau 1). ils peuvent être classées en deux principales catégories: approche contours (Li et al., 2008; Lowe, 2004) et approche intensité (Anuta, 1970; Bentoutou et al., 2006; Harris et Stephens, 1988). La première approche basée sur le contour détecte d’abord les contours, puis recherche les points de courbures maximales ou des points d’inflexion le long de ces contours. La deuxième approche, qui est la plus utilisée, consiste à repérer les points où l’intensité varie fortement dans une ou plusieurs directions.

Le choix du détecteur approprié est crucial pour une mise en correspondance robuste. La robustesse d’un détecteur dépend de la source des distorsions entre l’image source et l’image cible. En effet, certains détecteurs peuvent être mieux adaptés que d’autres à certains types de distorsion. Étant donné que les images à recaler seront soumises à une ou plusieurs formes de distorsion géométrique et/ou radiométrique, il est impératif de sélectionner le détecteur optimal en fonction de son invariance aux changements d’intensité, à la distorsion géométrique et au bruit. L’évaluation d’un détecteur est basée sur deux critères majeurs, à savoir la répétabilité et la précision de la localisation (Goshtaby, 2012; Schmid et al., 2010). Ces deux critères sont contradictoires car le lissage améliore la répétabilité mais dégrade la précision de localisation (Canny, 1986). Schmid et al. (2010) ont comparé divers détecteurs de coins et ont constaté que le détecteur de coins (Harris et Stephens, 1988) produit la meilleure répétabilité et le meilleur contenu d’information sur un large éventail d’images. Selon Goshtaby (2012), lorsque l’on compare la précision de localisation et la répétabilité des détecteurs de coins avec différents détecteurs de blob, les détecteurs de blob ont tendance à être plus performants que les détecteurs de coins. En termes d’invariance aux changements géométriques, SIFT a produit la meilleure précision de localisation, tandis que le détecteur Laws mask (Laws, 1980) a généré les points les plus répétables et homogénéisés parmi tous les détecteurs testés (Goshtaby, 2012).

Mesure de similarité

Le second critère à optimiser dans le processus de recalage est la mesure de similarité. Il consiste à calculer la similitude entre un ensemble de couples d’objets. De nombreuses mesures de similarité ont été développées à ce jour, elles fournissent des résultats d’appariement assez différents.

La mise en correspondance des primitives iconiques utilise des mesures de similarité comme la corrélation croisée CC (Cross Correlation), la somme des valeurs absolues et la corrélation de phase (Tableau 2). Par contre l’appariement des primitives géométriques est fondé sur la minimisation de la distance entre les descripteurs qui sont construits grâce aux attributs de la primitive géométrique tels que la position, l’échelle et les orientations principales. Une variété de mesures de distance sont définies dans la littérature, comme la différence absolue et la distance partielle de Hausdorff qui sont privilégiées pour les images de télédétection qui nécessitent des méthodes de calcul de distance robustes (Eastman et Netanyahu, 2011).

Le calcul de la mesure de similarité constitue le coût de correspondance Ec. La primitive qui maximise (ou minimise) Ec sera considéré comme l’homologue fiable à la primitive à apparier. Pour réduire l’effet des variations dans l’illumination entre l’image source et l’image cible, il est nécessaire de normaliser les mesures de similarité. La mesure de similarité optimale est choisie de manière à produire les meilleurs résultats d’appariement en présence des distorsions de l’image.

Espace de recherche

Une fois la correspondance entre les primitives est effectuée, on doit définir le type de la transformation pour aligner l’image source par rapport à l’image de référence. Le choix du type de la transformation des images dépend de la nature et la source des distorsions de l’image, et donc même si de nombreux types de distorsions puissent être présents dans l’image, la technique de recalage doit sélectionner la nature de la transformation qui supprimera uniquement les distorsions spatiales entre les deux images dues à la différence entre leurs acquisitions et non aux changements de la surface terrestre. Par conséquent, un recalage précis nécessite un choix adéquat de la transformation optimale qui modélise correctement les distorsions dans la géométrie des images (Brown, 1992).

Les fonctions, utilisées pour recaler les images de télédétection, peuvent être globale ou locale. D’une part, la transformation globale est appliquée de manière identique à tous les pixels de l’image. D’autre part, La transformation locale est basée sur les déformations locales. En effet, chaque segment de l’image possède son propre modèle de transformation. Les transformations locales sont généralement plus précises mais aussi plus exigeantes en termes de calcul (Fonseca et Manjunath, 1996). Si la transformation ne tient pas compte des distorsions de la scène ou si les informations sur la géométrie de prise de vues sont insuffisantes, l’alignement global peut être appliqué à l’aide d’une transformation polynomiale. Cependant, les transformations locales sont nécessaires dans le cas des distorsions de perspective, ou des distorsions non linéaires dues au capteur (Tableau 3). Celles-ci peuvent être construites à partir d’une interpolation par morceaux.

Stratégie de recherche

En raison du coût de temps de traitement élevé associés à l’espace des primitives et le type des mesures de similarité, la dernière étape du processus de recalage consiste à améliorer l’efficacité des algorithmes en optimisant le choix de l’espace et de la stratégie de recherche. Cette dernière doit être conçue de manière à limiter le nombre des mesures de similarité et des primitives à calculer afin de trouver en un temps raisonnable la transformation spatiale optimale. Cette exigence est d’autant plus grande que la distorsion locale de l’image à recaler est importante (Brown, 1992; Eastman et Netanyahu, 2011). Il existe diverses stratégies de recherche parmi lesquelles les techniques multi-échelles, la relaxation, la programmation linéaire, la programmation dynamique, les algorithmes génétiques et le gradient stochastique (Tableau 4).

Méthodes de recalage des images

Selon la nature des primitives choisies, deux approches se distinguent (Brown, 1992): le recalage géométrique et le recalage iconique. La première approche s’effectue en deux étapes. La première étape consiste à extraire les primitives géométriques (points, courbes, surfaces…) à l’aide des détecteurs. Dans la deuxième étape, les primitives géométriques sont ensuite appariées deux à deux en utilisant une description construite sur leurs voisins.

La deuxième approche s’appuie sur l’intensité du voisinage du pixel de l’image cible Tr et celle de chaque pixel de la zone de recherche dans l’image source Ts. Ce voisinage est appelé un template ou fenêtre de corrélation. Elle est souvent connue sous le nom de template matching ou de la mise en correspondance par la corrélation. La mise en correspondance est réalisée en calculant une mesure de similarité entre Tr et Ts. Afin d’améliorer la robustesse et la précision des techniques géométriques et iconiques, des méthodes hybrides combinant ces différentes approches ont été proposée²s dans la littérature (Rasmy et al., 2021).

Le recalage des images basé sur la méthode de Fourier est une technique de recalage iconique, qui est théoriquement plus précise, plus efficace et peu sensible au bruit ou à la variation du contraste. C’est pourquoi elle a suscité beaucoup d’intérêt dans les communautés de la vision par ordinateur, de la photogrammétrie et de la télédétection. En raison de ses avantages remarquables, la corrélation de phase a été recommandée dans de nombreux articles de synthèse et ouvrages sur le recalage d'images (Tong et al., 2019).

La corrélation de phase est une méthode permettant de mesurer les déplacements entre plusieurs images, et elle a été utilisée pour la première fois pour le recalage d’images dans les années 1970. Ces dernières années, le recalage d’images par la transformée de Fourier a fait des progrès substantiels en termes de précision, de robustesse et d’efficacité. Malgré les efforts récents pour améliorer les performances, une revue unifiée de ces développements a reçu moins d’attention. Par conséquent, une revue de la littérature actuelle s’avère nécessaire pour résumer et décrire ce sujet en pleine expansion.

Dans cette revue, nous présentons un aperçu des théories fondamentales qui sous-tendent la méthode de Fourier, ainsi qu’une analyse des méthodes actuelles de recalage hybride et subpixellique et discutons des défis et des orientations futures de la recherche.

Principe de la corrélation de phase

Il convient de rappeler que la méthode de corrélation de phase fournit un pic net distinct au point de co-registration. Le principe de la corrélation de la phase est le suivant:

Soient et deux images qui diffèrent seulement d’une translation de vecteur (Δx, Δy ) tel que:

Avec i1: L’image de référence et i2: L’image cible.

On note I1 et I2 leurs transformées de Fourier. D’après la propriété de translation «Theorem shift»:

où wx et wy sont les composante de fréquence des colonnes et lignes de l’image.

On calcule le spectre de puissance croisé [wx, wy] de ces deux images est défini comme suit:

où * représente le conjugué d’un nombre complexe.

Le déplacement relatif des images peut donc être estimé à partir de la pente 2D de la phase du spectre croisé normalisé. En appliquant la transformée de Fourier inverse F-1 à (3), on obtient la fonction de corrélation suivante:

Le déplacement relatif des images peut alors être estimé à partir des coordonnées du pic de corrélation. Dans le cas d’un déplacement sub-pixellique, ce pic n’est plus une fonction delta de Dirac, mais une version sous-échantillonnée d’un noyau de Dirichlet (Foroosh et al., 2002). Un traitement supplémentaire est alors nécessaire pour calculer les composantes du véritable vecteur de déplacement de l’image.

Recalage hybride basé sur la corrélation de phase

Ces dernières années, diverses approches hybrides combinant à la fois des méthodes basées sur les primitives iconiques et des méthodes basées sur les primitives géométriques ont été développées afin d’obtenir un recalage d’image fiable et précis. Dans Huang et al., (2004), les auteurs ont proposé une méthode hybride de recalage d’images basée sur un détecteur entropique et une mesure de similarité robuste. Leur approche consiste en deux étapes: l’extraction des régions saillantes invariantes à l’échelle pour chaque image et l’estimation des correspondances en utilisant une correspondance conjointe entre plusieurs paires de caractéristiques de régions et le coefficient de corrélation entropique. Les résultats expérimentaux sur des images médicales ont montré que la méthode proposée présente une excellente robustesse au bruit de l’image. Dans (Mekky et Kishk, 2011), le concept de la pyramide hiérarchique basée sur les ondelettes est combiné avec MI et SIFT pour aligner les images médicales. Cette approche est comparée à différentes méthodes de recalage d’images, à savoir la corrélation croisée, le recalage hiérarchique basé sur MI, le recalage utilisant les caractéristiques SIFT et la technique de recalage hybride décrite dans Suri et al. (2009). L’idée de cette étude était donc d’étudier les performances de la méthode proposée avec les résultats obtenus par les mêmes algorithmes dans le domaine spatial. Les résultats expérimentaux ont montré que les méthodes de recalage proposées dans le domaine des ondelettes pouvaient atteindre de meilleures performances que celles dans le domaine spatial. Ezzeldeen et al. (2010) ont mené une étude comparative entre une technique basée sur la transformée de Fourier rapide (FFT), une technique basée sur les contours, une technique basée sur les ondelettes, une technique basée sur le réseau neuronal couplé par impulsion de Harris (PCNN) et une technique basée sur le moment de Harris pour les images de télédétection Landsat Thematic Mapper (TM) et SPOT. Il a été observé que la technique la plus appropriée était la FFT, bien qu’elle ait le RMSE le plus élevé, supérieur à 2, alors que la méthode qui a détecté le plus grand nombre de points de contrôle dans les deux images était la technique basée sur les ondelettes. Dans Feng et al., (2019), un algorithme de recalage pour les images de télédétection à différentes résolutions spatiales (3,7, 16 et 30 m) en deux étapes a été proposé. Dans la première étape, les points correspondants sont détectés et mis en correspondance à l’aide de l’algorithme SIFT. Après avoir éliminé les valeurs aberrantes à l’aide de la méthode RANSAC (Random Sample Consensus), une fonction de poids est introduite pour distribuer le poids aux différents points d’intérêt afin d’améliorer les performances du modèle projectif local. Ensuite, un deuxième recalage est appliqué en utilisant l’estimation de Huber et le tenseur de structure (ST) à l’échelle plus fine pour minimiser l’influence des aberrations restantes sur le modèle de transformation. Les résultats montrent que l’algorithme proposé peut atteindre une précision de recalage fiable pour des différents types de terrain. Dans (Zheng et Zheng, 2019), une autre approche basée sur la corrélation de phase et le détecteur affine de Harris a été proposée pour les images de bâtiments extérieurs. Tout d’abord, les zones de chevauchement des images de référence et des images cibles sont déterminées à l’aide des paramètres de translation récupérés par la corrélation de phase. Ensuite, les points d’intérêt sont détectés à l’aide du détecteur affine de Harris et mis en correspondance avec la corrélation croisée normalisée (CCN). Les résultats de l’expérience montrent que la méthode d’appariement des primitives atteint une précision d’environ 69,2 % pour 13 paires de points d’intérêt appariés.

Bien que la plupart des approches parviennent à un résultat raisonnable, leurs performances ont tendance à être fortement affectées par la présence de distorsions locales. La connaissance des caractéristiques de chaque type de distorsion locale doit être prise en compte pour concevoir et développer une approche de recalage robuste pour les images de télédétection à très haute résolution spatiale (THRS). De plus, le rééchantillonnage préalable de l’image cible avant d’effectuer le processus de corrélation introduisait une mesure erronée de la similarité et réduisait la précision de tous le processus de corrélation, et donc de tous le processus de recalage (Leprince et al., 2007b).

Recalage subpixellique par la transformée de Fourier

La mise en correspondance précise des images est une étape cruciale du recalage d’images de télédétection multi-sources dont l’éclairage peut être très différent. Pour ces images, les algorithmes de mise en correspondance ne peuvent souvent atteindre la précision qu’au niveau du pixel en raison de l’effet du bruit et du type des distorsions dans les paires d’images. Il est donc nécessaire de développer des algorithmes de corrélation sub-pixelique qui améliorent la précision, la robustesse et l’efficacité de la mise en correspondance. En effet, pour traiter le bruit dépendant de la fréquence dûe à l’illumination ou aux changements de capteurs, la corrélation de phase basée sur les propriétés invariantes de la transformée de Fourier est un bon candidat. Parmi les techniques de recalage sub-pixellique les plus développées sont les méthodes de Fourier utilisées dans de nombreuses applications telles que la détection des changements, la fusion des images, la stéréo-vision et le suivi des objets. Ces méthodes s’avèrent robustes et efficaces vis-à-vis du bruit corrélé (Gottesfeld, 1992; Foroosh et al., 2002; Zitová et Flusser, 2003). La plupart de ces méthodes sont en fait des variantes de la méthode de corrélation de phase standard (Kuglin et Hines, 1975).

Plusieurs approches de corrélation de phase sub-pixellique ont été développées, qui sont généralement classées en deux grandes catégories: les méthodes mises en œuvre soit dans le domaine spatial au moyen du pic de corrélation net, soit dans le domaine fréquentiel au moyen des différences de phase. Les fonctions de corrélation (Rassouliha et al., 2018) ou la décomposition des images (Moisan et Moisan, 2011) sont souvent utilisées pour réduire l’impact des effets de bord lorsqu’on utilise l’hypothèse de périodicité de la transformée de Fourier discrète. Le tableau 5 présente un résumé des méthodes de corrélation de phase subpixellique classées selon les deux catégories.

Calcul du déplacement subspixellique dans le domaine spatial

Dans la première approche, le déplacement sub-pixellique est estimé dans le domaine spatial à l’aide de la méthode de la transformée de Fourier inverse par interpolation, ajustement ou autres approches similaires aux méthodes de mise en correspondance traditionnelles. La fonction sinc est l’un des modèles d’ajustement les plus couramment utilisés (Hassan Foroosh et al., 2002) (Takita et al., 2003b; Argyriou, 2018). Argyriou a modifié la fonction sinc conventionnelle pour s’adapter à l’emplacement exact du pic sous-pixel en utilisant la pondération gaussienne, ce qui permet une meilleure approximation de la surface de corrélation bruyante (Argyriou et Vlachos, 2007). Une autre alternative réalisable, qui peut fournir des estimations précises de l’emplacement réel du pic consiste à minimiser la fonction de corrélation (Roesgen, 2003; Guizar-Sicairos et al., 2008a; Alba et al., 2015). Les méthodes de recalage subpixellique dans le domaine spatial sont sensibles aux erreurs d’aliasing dispersées à la suite de la transformation inverse du spectre de puissance croisée (Foroosh et Balci, 2004). En revanche, ces artefacts sont évités dans la deuxième approche, qui peut estimer les décalages subpixellique directement dans le domaine fréquentiel.

Ajustement de Sinc (SincFit)

Foroosh et al. (2002) ont dérivé les expressions analytiques pour le spectre de puissance croisée normalisée de deux images sous-échantillonnées pour étendre la méthode à l’estimation du décalage subpixellique des images sous-échantillonnées. Le modèle est basé sur l’hypothèse que les images présentant des décalages subpixellique étaient en fait déplacées à l’origine par des valeurs entières, qui ont ensuite été réduites à des valeurs subpixellique en raison du sous-échantillonnage. Ils ont montré que dans le cas d’images sous-échantillonnées, la corrélation de phase ne contient pas un seul pic cohérent, mais plutôt plusieurs pics cohérents, les plus éminents étant largement juxtaposés. La transformée de Fourier inverse discrète de la PC donne un noyau de Dirichlet 2-D:

où W et H sont la largeur et la hauteur de l’image avant le sous-échantillonnage, xp et yp désignent les décalages entiers avant le sous-échantillonnage, et M et N sont les échelles de sous-échantillonnage. La fonction de Dirichlet dans (12) peut être approximée par une fonction sinc comme suit:

En conséquence, en utilisant le pic principal (x0,y0) à valeur entière et un pic latéral concentré dans chaque direction (xs,y0) et (x0,ys), où xs = x0 ± 1 et ys=y0±1, une solution analytique pour les décalages subpixellique (∆x,∆y) peut être fournie comme suit:

Il y a deux solutions dans chaque direction obtenue à partir de l’équation ci-dessus, et la solution est correcte lorsque ∆x-x0 ou ∆y-y0 est dans l’intervalle [-1;1] et a le même signe que xs-x0 ou ys-y0.

Sur la base de la méthode de Foroosh (Foroosh et al., 2002), plusieurs améliorations ont été apportées (Argyriou et Vlachos, 2007; Ren et al., 2009; Nagashima et al., 2006) resulting in long computation times. In this paper, we propose a Peak Evaluation Formula (PEF (Ma et al., 2017; Zoetgnande et al., 2019). Dans Argyriou et Vlachos 2007), une fonction esinc modifiée est utilisée pour ajuster l’emplacement subpixellique exact du pic. Cette modification consiste à appliquer une pondération gaussienne à une fonction sinc classique. Elle est définie comme suit:

POC gradient minimization (GradPOC)

Une autre alternative de recalage subpixellique peut être effectué directement en déterminant l’emplacement du pic de la fonction de corrélation par optimisation non linéaire (Roesgen, 2003; Guizar-Sicairos et al., 2008a; Alba et al., 2015). Elle consiste à trouver le maximum de la fonction de corrélation définie comme l’inverse de la transformée de Fourier du spectre de puissance croisée normalisée s’écrit de la manière suivante:

Afin de trouver les extrema de C(x,y), on peut simplement trouver les zéros de sa dérivée C’(x,y). La dérivée de la fonction de corrélation est donnée par:

où Im désigne l'opérateur qui prend la partie imaginaire et W et H sont la largeur et la hauteur de l’image. La localisation du pic subpixellique peut être résolue en trouvant les zéros de∇C(x,y). On peut aussi l’approximer en minimisant l’amplitude du gradient en valeur réelle (Alba et al., 2013). Cela se traduit mathématiquement par la résolution du problème d’optimisation non linéaire suivant:

La plupart des méthodes d’optimisation nécessitent une bonne solution initiale, heureusement, l’estimation du déplacement à valeurs entières fournit déjà un point de départ approprié. Alba et al. (2013) ont trouvé que la recherche du minimum par la méthode de Simplexe de Nelder-Mead permet d’obtenir une meilleure résolution car elle évite le calcul de la dérivée de second ordre qui est très sensible au bruit (Alba et al., 2013). En effet, la dérivation augmente la valeur de la transformée de Fourier des hautes fréquences.

Calcul du déplacement subpixellique dans le domaine fréquentiel

Trois algorithmes ont été proposés: la méthode SVD (décomposition en valeurs singulières) (Hoge, 2003), la méthode d’ajustement 2D (Stone et al., 2001) et l’optimisation non linéaire (Alba et al., 2013; Leprince et al., 2007a; Abdou, 1998; Puymbroeck et al., 2000). Hoge a utilisé la méthode SVD, conformément au théorème d’Eckart-Young-Mirsky, pour déterminer les décalages sub-pixellique en trouvant l’approximation optimale de premier rang de la matrice du spectre de puissance croisée normalisé (Hoge, 2003). Dans Alba et al., (2013), une optimisation non linéaire robuste a été proposée pour estimer les déplacements sub-pixelliques, par rapport au produit interne hermitien, en maximisant la norme de la projection du spectre croisé normalisé calculé des images sur l’espace continu défini par l’espace théorique. Dans Leprince et al., (2007a), une autre méthode d’optimisation a été proposée, basée sur la norme de Frobenius, qui minimise la différence entre le spectre croisé calculé et le spectre croisé théorique. Plus récemment, dans Ye et al., (2018), les auteurs ont combiné la mise en correspondance améliorée de PC avec un détecteur de caractéristiques de congruence de phase basé sur des blocs pour estimer précisément la translation d’images satellitaire multi-capteur. Dans Tong et al., (2015), une autre approche s’est concentrée sur les effets d’aliasing sur l’estimation des déplacements en utilisant un ajustement 2D et l’ estimateur de densité maximale du noyau (MKDE). Foroosh et al. (2002) ont étendu la méthode de corrélation de phase à une précision inférieure au pixel en utilisant des images sous-échantillonnées. Dans Guizar-Sicairos et al., (2008a), les auteurs ont utilisé le suréchantillonnage, à l’aide de la multiplication matricielle, du spectre de puissance croisée normalisé dans le domaine des fréquentiel pour estimer le décalage subpixellique.

Pour améliorer la précision des algorithmes de recalage à l’échelle sub-pixellique, la méthode d’optimisation doit être initialisée de manière appropriée pour converger vers la solution optimale (Leprince et al., 2007b). En outre, la conception ou la sélection de la méthode optimale de corrélation de phase de précision sub-pixellique pour un problème spécifique nécessite la prise en compte du type de primitives à extraire, de la stratégie de mise en correspondance et de la source de distorsion présente dans les images à recaler (Brown, 1992; Tong et al., 2019).

Ajustement linéaire dans l’espace des fréquences (LinFit)

Si le terme d’interférence est ignoré, la matrice normalisée du spectre de puissance est théoriquement une matrice de rang un, puisque chaque élément dans Q(u,v) est séparable, tel que:

Ceci implique que le problème de la détermination des décalages subpixellique peut être simplifié en trouvant l’approximation optimale de rang un de la matrice normalisée du spectre de puissance croisée. Dans (Hoge, 2003), la meilleure approximation à bas rang a été obtenue par la méthode de décomposition en valeurs singulières (SVD) selon le théorème d’Eckart-Young-Mirsky. Cette technique permet de réduire le bruit des données et de séparer les deux composantes horizontale et verticale du décalage entre les images. La décomposition en valeurs singulières de la matrice Q de taille MxN est la suivante:

où {.}T désigne le transposée complexe-conjuguée, U et V sont les vecteurs singuliers et ∑ est la matrice diagonale des valeurs singulières non nulles σi.

Le vecteur singulier gauche dominant u1 est le résultat de la résolution de avec uTu=1, et correspond à la plus grande valeur singulière, . Le changement de phase linéaire le long de u1 correspond à la translation verticale ∆x. En utilisant un ajustement par moindres carrés (LSF), la phase de u1 est déballée (unwrapped) pour estimer ∆x. La pente de la ligne ajustée, 𝜇, correspond au décalage ∆x=𝜇M/2π , pour le cas v=qx, et y=𝜇N/2π pour le cas v=qy.

Optimisation non linéaire

Dans le domaine des fréquences, la fonction objective peut être formulée au moyen du spectre de puissance croisée normalisé mesuré Q(wx,wy) et du spectre théorique S(wx,wy)=e-i(wx ∆x + wy ∆y). Dans Leprince et al., (2007b), une méthode d’optimisation subpixellique a été proposée qui consiste à minimiser la norme de Frobenius de la différence entre le spectre de puissance croisée mesuré et théorique. La fonction objective est la suivante:

où W est une matrice de pondération ou de masquage des fréquences.

Le problème d’optimisation peut être résolu par un algorithme de descente de gradient avec une initialisation appropriée.

Synthèse

Le choix de la méthode de recalage appropriée est dicté par les critères suivants: (1) le choix des meilleures primitives géométrique robuste au bruit, aux artéfacts et aux changement liés à l’acquisition; (2) l’acquisition d’un nombre suffisant de points de contrôle répartis de manière homogène; (3) la sélection de la mesure de similarité la moins sensible au bruit; (4) la mise en oeuvre des techniques d’optimisation pour aboutir à une précision de localisation subpixellique des primitives; (5) le traitement des valeurs aberrantes inévitables; et (6) la possibilité de sélectionner la fonction de transformation appropriée pour chaque type de déformation géométrique entre les images. Parmi les nombreuses approches de recalage proposées récemment, la mise en correspondance basée sur la méthode de Fourier a fait des progrès significatifs et a suscité un grand intérêt de la part des chercheurs dans diverses applications, notamment dans le domaine de la télédétection, ce qui a conduit au développement d›un certain nombre de méthodes subpixelliques visant a amélioré la précision et la robustesse. Cette méthode est non seulement précise sur le plan théorique et efficace sur le plan informatique, mais elle présente également l’avantage d’être moins sensible au bruit et aux variations d’illumination entre les paires d’images multimodales. Ces caractéristiques lui permettent d’atteindre une précision subpixellique lorsqu’elle est combinée avec d’autres stratégies d’optimisation.

Les études comparatives (Tableau 6) des méthodes de mise en correspondance basée sur la méthode de Fourier (Tong et al., 2019; Ye et al., 2020). Rassouliha et al., (2018) montrent que les méthodes de corrélation de phase calculées dans le domaine fréquentiel sont plus précises, mais plus lentes, tandis que dans le domaine spatial, elles sont plus efficaces, mais moins robustes. En effet, le manque de robustesse des méthodes de Fourier calculées dans le domaine spatial est dû à la transformation inverse du spectre de puissance croisée qui conduit à la dispersion des artefacts comme le bruit et l’aliasing/crénelage du spectre se produisant essentiellement dans les hautes fréquences. Les méthodes d’optimisation non linéaires et l’ajustement linéaire et plan dans le domaine fréquentiel produisent les meilleurs résultats. En ce qui concerne la méthode du centroïde du pic, bien qu’elle soit une interpolation simple, elle est sensible au bruit et souffre d’erreurs systématiques. Une autre approche a été adoptée par certains auteurs (Foroosh et al., 2002; Argyriou et Vlachos, 2007; Nagashima et al., 2006) consiste à approximer la fonction de corrélation par une fonction sinc. Cette approche a permis d’améliorer la précision de la mise en correspondance. De plus, la technique de suréchantillonnage du spectre de puissance croisée normalisé représente une autre alternative dont l’estimation des déplacements reste relativement modeste en termes de précision (Guizar-Sicairos et al., 2008b; Li et al., 2022). Comme inconvénient majeur, cette approche est caractérisée par un temps de calcul prohibitif. Pour réduire le temps de calcul et améliorer son efficacité, le suréchantillonnage local s’avère nécessaire.

Dans le cadre des études susmentionnées, des approches supplémentaires sont misent en œuvre dans le processus d’appariement afin d’améliorer la robustesse et la précision de l’estimation des déplacements à savoir le masquage de fréquence (Stone et al., 2001; Leprince et al., 2007b), la multi-résolution (Ruttimann et al., 1998; Li et al., 2019; Gao et Li, 2021; Li et al., 2022; Alba et al., 2015).

Conclusion

Le recalage d’images est un élément clé et essentiel de l’analyse des images de télédétection multi-dates en vue de la fusion des données, de la détection des changements, de la cartographie temporelle, etc. Compte tenu de l’augmentation du taux de capture d’images par les systèmes satellitaires et de la complexité croissante des analyses temporels, il existe un besoin accru d’algorithmes de recalage subpixellique précis, entièrement automatiques et efficaces. Les méthodes de recalage subpixellique ont fait des progrès significatifs ces dernières années, en particulier un intérêt majeur a été accordé au développement des méthodes de recalage d’images basé sur la méthode de Fourier qui présente des avantages indéniables. Les composantes principales du processus de recalage constituent l’étape initiale de cette revue. Ensuite, les méthodes de mise en correspondance subpixellique hybrides et celles basées sur la méthode de Fourier ont été résumés selon deux catégories, à savoir le calcul du déplacement subpixellique dans le domaine spatial et dans le domaine fréquentiel. En outre, les progrès récents des méthodes de corrélation d’images basées sur la méthode de Fourier ont conduit au développement d’un certain nombre de méthodes subpixelliques visant à améliorer la performance et l’efficacité. Nous avons brièvement passé en revue les études comparatives des principales méthodes. Cet article a pour but de fournir aux chercheurs les innovations les plus récentes et de promouvoir d’autres recherches sur les méthodes de recalage d’images basés sur la corrélation de phase afin de développer de nouvelles variantes. Bien que des progrès substantiels aient été réalisés ces dernières années dans le domaine de la corrélation d’images basée sur la méthode de Fourier, des améliorations sont encore possibles et de nombreuses questions doivent être approfondies. Afin de sélectionner les algorithmes optimaux et d’évaluer les performances des différentes méthodes subpixellique, il convient de mettre en œuvre une plateforme des différents algorithmes de mise en correspondance basés sur la méthode de Fourier. Aussi, une base de données de référence accessibles au public s’avère utile afin d’aboutir à une comparaison fiable.

Références

Abdelfattah R., Nicolas J.M. (2005). InSAR image co‐registration using the Fourier–Mellin transform. International Journal of Remote Sensing, 26: 2865–2876.

Abdou I.E. (1998). Practical approach to the registration of multiple frames of video images. In K. Aizawa, R.L. Stevenson, Y.-Q. Zhang (Eds.), Visual Communications and Image Processing ’99, 3653: 371–382.

Alba A., Aguilar-ponce R.M., Vigueras-Gomez J.F. (2013). Phase correlation based image alignment with subpixel accuracy. Advances in Artificial Intelligence, 7629: 71–182.

Alba A., Vigueras-Gomez J.F., Arce-Santana E.R., Aguilar-Ponce R.M. (2015). Phase correlation with sub-pixel accuracy: A comparative study in 1D and 2D. Computer Vision and Image Understanding, 137: 76–87.

Anuta P.E. (1970). Spatial Registration of Multispectral and Multitemporal Digital Imagery Using Fast Fourier Transform Techniques. IEEE Transactions on Geoscience Electronics, 8: 353-368.

Arévalo V., González J. (2008). An experimental evaluation of non-rigid registration techniques on QuickBird satellite imagery. International Journal of Remote Sensing, 29: 513–527.

Argyriou V., Vlachos T. (2004). Using gradient correlation for sub-pixel motion estimation of video sequences, In 2004 IEEE International Conference on Acoustics, Speech, and Signal Processing, 3: 329–332.

Argyriou V. (2018). Asymmetric Bilateral Phase Correlation for Optical Flow Estimation in the Frequency Domain. 14th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS): 166-173.

Argyriou V., Tzimiropoulos G. (2016). Frequency domain subpixel registration using HOG phase correlation. Computer Vision and Image Understanding, 155: 70-82.

Argyriou V., Vlachos T. (2007). On the estimation of subpixel motion using phase correlation. Journal of Electronic Imaging, 16: 33018-33018.

Arya K. V. (2007). Image registration using robust M-estimators. Pattern Recognition Letters, 28: 1957–1968.

Averbuch A., Keller Y. (2002). FFT based image registration. In 2002 IEEE International Conference on Acoustics, Speech, and Signal Processing, 4: 3608-3611.

Baillarin S., Bouillon A., Bernard M., Chikhi M., Image S., Image, B.S., Masks Q. (2011). Using a three dimensional spatial database to orthorectify automatically remote sensing images. Proceedings of the ISPRS Hangzhou 2005 Workshop, 89-94.

Balci M., Foroosh H. (2006). Subpixel Registration Directly from the Phase Difference. EURASIP Journal on Advances in Signal Processing, 2006: 1-11.

Barazzetti L., Scaioni M., Gianinetto M. (2017). Automatic Co-registration of Satellite Time Series via Least Squares Adjustment Automatic Co-registration of Satellite Time Series via Least Squares Adjustment. European Journal of Remote Sensing, 47: 55-74.

Bay H., Tuytelaars T., Gool L. Van. (2006). SURF: Speeded Up Robust Features. Lecture notes in computer science, 3951: 404-417.

Bentoutou Y., Taleb N., Kpalma K., Ronsin J. (2005). An automatic image registration for applications in remote sensing. IEEE Transactions on Geoscience and Remote Sensing, 43: 2127–2137.

Bentoutou Y., Taleb N., Kpalma K., Ronsin J. (2006). A Feature-Based Approach to Automated Registration of Remotely Sensed Images. 2nd International Conference on Information & Communication Technologies, 1: 1835–1840.

Brown L.G. (1992). A survey of image registration techniques. ACM Computing Surveys, 24: 326–376.

Canny J. (1986). A Computational Approach to Edge Detection. Ieee Transactions on Pattern Analysis and Machine Intelligence, 8: 679–698.

Cariou C., Chehdi K. (2008). Automatic georeferencing of airborne pushbroom scanner images with missing ancillary data using mutual information. IEEE Transactions on Geoscience and Remote Sensing, 46: 1290–1300.

Caron J.N., Montes M.J., Obermark J.L., Caron J.N., Montes M.J., Obermark J.L. (2016). Extracting flat-field images from scene-based image sequences using phase correlation Extracting flat-field images from scene-based image sequences using phase correlation. Review of Scientific Instruments, 87: 063710.

Chen H., Chen H. (2003). Mutual information based image registration for remote sensing data Mutual information based image registration for remote sensing data. International Journal of Remote Sensing, 24: 3701-3706.

Chen J., Xu W., Xu H., Lin F., Sun Y., Shi X. (2018). Fast Vehicle Detection Using a Disparity Projection Method. IEEE Transactions on Intelligent Transportation Systems, 19: 2801–2813.

Chen L., Yap K.H. (2008). An effective technique for subpixel image registration under noisy conditions. IEEE Transactions on Systems, Man, and Cybernetics Part A:Systems and Humans, 38: 881–887.

Chen T., Huang T.S. (2007). Optimizing Image Registration by Mutually Exclusive Scale Components. In 2007 IEEE 11th International Conference on Computer Vision (pp. 1–8).

Chen Z., Liu B., Wang S., Liu E. (2018). Efficient subpixel registration for polarization-modulated 3D imaging. Optics Express, 26: 23040.

Cho S., Chung Y., Lee J.Y. (2003). Automatic Image Mosaic System Using Image Feature Detection and Taylor Series. In Proceedings of the 7th International Conference on Digital Image Computing: Techniques and Applications, 549–556.

Cole-rhodes A.A., Johnson K.L., Lemoigne J., Member S. (2003). Multiresolution Registration of Remote Sensing Imagery by Optimization of Mutual Information Using a Stochastic Gradient, IEEE transactions on image processing, 12: 1495–1511.

Dai X., Khorram S. (1999). A feature-based image registration algorithm using improved chain-code representation combined with invariant moments. IEEE Transactions on Geoscience and Remote Sensing, 37: 2351–2362.

Daly A., Yazid H., Solaiman B., Ben Amara N.E. (2020). Multimodal Medical Image Registration Based on a Hybrid Optimization Strategy. In 2020 5th International Conference on Advanced Technologies for Signal and Image Processing (ATSIP) (pp. 1–5).

Dare P., Dowman I. (2001). An improved model for automatic feature-based registration of SAR and SPOT images. Journal of Photogrammetry and Remote Sensing, 56:13–28.

De Castro E., Morandi C. (1987). Registration of Translated and Rotated Images Using Finite Fourier Transforms. IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-9: 700–703.

Dong Y., Jiao W., Long T., He G., Gong C. (2018). An extension of phase correlation-based image registration to estimate similarity transform using Multiple Polar Fourier Transform. Remote Sensing, 10: 1719.

Dong Y., Long T., Jiao W., He G., Zhang Z. (2018). A novel image registration method based on phase correlation using low-rank matrix factorization with mixture of Gaussian. IEEE Transactions on Geoscience and Remote Sensing, 56: 446–460.

Eastman R.D., Moigne J.Le. (1998). Gradient Descent Techniques for Multitemporal and Multi- Sensor Image Registration of Remotely Sensed Imagery. FUSION'2001, 4th International Conference on Information Fusion, pp. 7-10.

Eastman R.D., Moigne J.Le, Netanyahu N.S. (2007). Research issues in image registration far remote sensing. IEEE Conference on Computer Vision and Pattern Recognition, 1–8.

Eckstein,A.C., Charonko J., Vlachos P. (2008). Phase correlation processing for DPIV measurements. Experiments in Fluids, 45: 485–500.

Ezzeldeen R.M., Ramadan H.H., Nazmy T.M., Yehia M.A., Abdel-Wahab M.S. (2010). Comparative study for image registration techniques of remote sensing images. The Egyptian Journal of Remote Sensing and Space Science, 13: 31-36.

Fan Y., Wang F., Wang H. (2022). A Transformer-Based Coarse-to-Fine Wide-Swath SAR Image Registration Method under Weak Texture Conditions. Remote Sensing, 14: 1175.

Feng R., Du Q., Li X., Shen H. (2019). Robust registration for remote sensing images by combining and localizing feature- and area-based methods. ISPRS Journal of Photogrammetry and Remote Sensing, 151: 15–26.

Fonseca L.M.G., Manjunath B.S. (1996). Registration Techniques for Multisensor Remotely Sensed Imagery. Photogrammetric Engineering & Remote Sensing, 62:1049–1056.

Foroosh H., Zerubia, J.B., Berthod M. (2002). Extension of phase correlation to subpixel registration. IEEE Transactions on Image Processing, 11: 188–199.

Foroosh H., Balci M. (2004). Sub-pixel registration and estimation of local shifts directly in the fourier domain. 2004 International Conference on Image Processing, 2004. ICIP'04. 3: 1915–1918.

Gang H., Zhang Y. (2008). Computers & Geosciences Wavelet-based image registration technique for high-resolution remote sensing images, Computers & Geosciences, 34:1708-1720.

Gao C., Li W. (2021). Multi-scale PIIFD for Registration of Multi-source Remote Sensing Images. Retrieved from http://arxiv.org/abs/2104.12572.

Georgescu B., Meer P. (2004). Point matching under large image deformations and illumination changes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26: 674–688.

González P.J., Chini M., Stramondo S., Fernández J. (2010). Coseismic horizontal offsets and fault-trace mapping using phase correlation of IRS satellite images: The 1999 Izmit (Turkey) earthquake. IEEE Transactions on Geoscience and Remote Sensing, 48: 2242–2250.

Gonzalez R. (2011). Improving Phase Correlation for Image Registration. Image And Vision Computing New Zealand, 6 pp.

Goshtaby. (2012). Image registration: Principles, tools and methods. Springer-Verlag; London.

Goshtasby A.A. (2004). 2-D and 3-D Image Registration. 2-D and 3-D Image Registration. John Wiley & Sons.

Guizar-Sicairos M., Thurman S.T., Fienup J.R. (2008). Efficient subpixel image registration algorithms. Optics Letters, 33:156-158.

Hagedoorn M., Veltkamp R.C. (1999). Reliable and efficient pattern matching using an affine invariant metric. International Journal of Computer Vision, 31: 203–225.

HajiRassouliha A., Taberner A.J., Nash M.P., Nielsen P.M.F. (2018). Subpixel phase-based image registration using Savitzky–Golay differentiators in gradient-correlation. Computer Vision and Image Understanding, 170: 28–39.

Hamzah R.A., Hamid M.S., Kadmin A.F., Ghani S.F.A. (2017). Improvement of stereo corresponding algorithm based on sum of absolute differences and edge preserving filter. In 2017 IEEE International Conference on Signal and Image Processing Applications (ICSIPA) (pp. 222–225).

Hamzah R.A., Wei M.G.Y., Anwar N.S.N. (2020). Development of stereo matching algorithm based on sum of absolute RGB color differences and gradient matching. International Journal of Electrical and Computer Engineering, 10: 2375–2382.

Harris C., Stephens M. (1988). A Combined Corner and Edge Detector. Proceedings of the Alvey Vision Conference, 23.1-23.6.

He B., Guijinwang Lin, X. Shi C., Liu C. (2011). High-Accuracy sub-pixel registration for noisy images based on phase correlation. IEICE Transactions on Information and Systems, E94-D: 2541–2544.

Heid, T., Kääb, A. (2012). Evaluation of existing image matching methods for deriving glacier surface displacements globally from optical satellite imagery. Remote Sensing of Environment, 118: 339–355.

Hoge WS., Westin C. (2005). Identification of translational displacements between N-dimensional data sets using the high order SVD and phase correlation. IEEE Transactions on Image Processing, 14: 884-889.

Hoge W.S. (2003). A Subspace Identification Extension to the Phase Correlation Method, IEEE transactions on medical imaging, 22: 277–280.

Hong G., Zhang Y. (2005). The image registration technique for high resolution remote sensing image in hilly area. IEEE/ISPRS 3rd International Symposium.

Huang X., Sun Y., Metaxas D., Sauer F., Xu C. (2004). Hybrid image registration based on configural matching of scale-invariant salient region features. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.

Huber P.J. (1981). Robust statistics. Data Handling in Science and Technology (Vol. 20).

Huttenlocher, D. P., Rucklidge, W. J. (1993). A Multi-Resolution Technique for Comparing Images Using the Hausdorff Distance. In Proceedings Ofthe IEEE Conference on Computer Vision and Pattern Recognition, 705–706.

Inglada, J., Alain, G., Inglada, J., Giros, A. (2008). registration To cite this version: On the Possibility of Automatic Multisensor Image Registration. IEEE Transactions on Geoscience and Remote Sensing, 41: 2104–2120.

Iwasaki, A., Fujisada, H. (2005). ASTER geometric performance. IEEE Transactions on Geoscience and Remote Sensing, 43: 2700–2706.

Keller, Y., Averbuch, A. (2007). A projection based extension of the phase correlation method. Signal Processing, 87: 124–133.

Kern, J.P., Pattichis, M.S., Member, S. (2007). Robust Multispectral Image Registration Using Mutual-Information Models, 45: 1494–1505.

Kim, J., Fessler, J. A., Member, S. (2004). Intensity-Based Image Registration Using Robust Correlation Coefficients, 23:1430–1444.

Kim S.P., Su W.Y. (1993). Subpixel accuracy image registration by spectrum cancellation. In 1993 IEEE International Conference on Acoustics, Speech, and Signal Processing, 5: 153–156.

Konstantinidis D., Stathaki T., Argyriou V. (2019). Phase Amplified Correlation for Improved Sub-pixel Motion Estimation. IEEE Transactions on Image Processing. 28: 3089-3101.

Laws K.I. (1980). Rapid Texture Identification. In T. F. Wiener (Ed.), Image Processing for Missile Guidance, 238: 376–381.

Lee W., Sim D., Oh S.J. (2021). A CNN-based high-accuracy registration for remote sensing images. Remote Sensing, 13: 1482.

Leprince S., Ayoub F., Klinger Y., Avouac J.P. (2007). Co-Registration of Optically Sensed Images and Correlation (COSI-Corr): An operational methodology for ground deformation measurements. 2007 International Geoscience and Remote Sensing Symposium (IGARSS), 1943–1946.

Leprince S., Barbot S., Ayoub F., Avouac J.P. (2007). Automatic, Precise, Ortho-rectification and Coregistration for satellite Image Correlation, Application to Ground Deformation Measurement. IEEE J. Geosci. Rem. Sens., 45: 1529–1558.

Li J., Liu Y., Du S., Wu P., Xu Z. (2016). Hierarchical and Adaptive Phase Correlation for Precise Disparity Estimation of UAV Images. IEEE Transactions on Geoscience and Remote Sensing, 54: 7092–7104.

Li K., Zhang Y., Zhang Z., Lai G. (2019). A Coarse-to-Fine Registration Strategy for Multi-Sensor Images with Large Resolution Differences. Remote Sensing, 11: 470.

Li Q., Sato I., Murakami Y. (2007). Efficient stochastic gradient search for automatic image registration. International Journal of Simulation Modelling (IJSIMM), 6(2).

Li T., Wang J., Yao K. (2022). Subpixel image registration algorithm based on pyramid phase correlation and upsampling. Signal, Image and Video Processing, 16: 1973-1979.

Li X., Hu Y., Shen T., Zhang S., Cao J., Hao Q. (2020). A comparative study of several template matching algorithms oriented to visual navigation. In Q. Dai, T. Shimura, Z. Zheng (Eds.), Optoelectronic Imaging and Multimedia Technology VII, 11550: 66–74.

Li Yang, Wang J., Yao K. (2022). Modified phase correlation algorithm for image registration based on pyramid. Alexandria Engineering Journal, 61: 709–718.

Li Y., Stevenson R.L., Gai J. (2008). Line segment based image registration. Visual Communications and Image Processing 2008, 6822, 68221H.

Llewellyn G., Morgan K., Member S., Liu J. G., Yan H. (2010). Precise Subpixel Disparity Measurement From Very Narrow Baseline Stereo. IEEE Transactions on Geoscience and Remote Sensing, 48: 3424–3433.

Lowe D.G. (2004). Distinctive Image Features from Scale-Invariant Keypoints, International journal of computer vision, 60: 91–110.

Lowe G. (2004). SIFT - The Scale Invariant Feature Transform. International Journal, 2: 91–110.

Lynch C., Devaney N. (2018). Registration for images in the presence of additive and multiplicative fixed-pattern noise. Applied Optics, 57: 1824.

Druckmüller M. (2009). Phase correlation method for the alignment of total solar eclipse images,The Astrophysical Journal, 706:1605–1608.

Ma N., Sun P.F., Men Y.B., Men C.G., Li X. (2017). A Subpixel Matching Method for Stereovision of Narrow Baseline Remotely Sensed Imagery. Mathematical Problems in Engineering, 2017: 1–15.

Maître H., Wu Y. (1987). Improving dynamic programming to solve image registration. Pattern Recognition, 20: 443–462.

Malcolm D.T.K., Nielsen P.M.F., Hunter P.J., Charette P.G. (2002). Strain measurement in biaxially loaded inhomogeneous, anisotropic elastic membranes. Biomechanics and Modeling in Mechanobiology, 1: 197–210.

Mekky N.E., Kishk S. (2011). Wavelet-Based Image Registration Techniques: A Study of Performance. International journal of computer science and network security, 11: 188–196.

Michel R., Rignot E. (1999). Flow of Glaciar Moreno, Argentina, from repeat-pass Shuttle Imaging Radar images: comparison of the phase correlation method with radar interferometry. Journal of Glaciology, 45: 93-100..

Mikolajczyk K., Schmid,C. (2004). Scale & Affine Invariant Interest Point Detectors. International Journal of Computer Vision, 60: 63–86.

Mikolajczyk K., Schmid C. (2005). A Performance Evaluation of Local Descriptors. IEEE transactions on pattern analysis and machine intelligence, 27: 1615–1630.

Moisan, L. (2011). Periodic plus smooth image decomposition. Journal of Mathematical Imaging and Vision, 39: 161–179.

Mount D.M., Netanyahu N.S., Moigne J.Le (1999). Efficient algorithms for robust feature matching. Pattern Recognition, 32: 17–38.

Nagashima S., Aoki T., Higuchi T., Kobayashi K. (2006). A subpixel image matching technique using phase-only correlation. 2006 International Symposium on Intelligent Signal Processing and Communications, ISPACS’06: 701–704.

Netanyahu N.S., Le Moigne J., Masek J.G. (2004). Georegistration of landsat data via robust matching of multiresolution features. IEEE Transactions on Geoscience and Remote Sensing, 42: 1586–1600.

Nguyen T. (2017). Optimal Ground Control Points for Geometric Correction Using Genetic Algorithm with Global Accuracy. European Journal of Remote Sensing, 48:101-120.

Olson C.F. (2000). Maximum-likelihood template matching. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2000 (Cat. No. PR00662), 2: 52–57.

Paquin D., Levy D., Schreibmann E. (2006). Multiscale image registration Dana Paquin. Mathematical biosciences and engineering, 3: 389.

Priyanka M. (2020). ScienceDirect Remote Sensing Image Registration Methodology: Review and Discussion Remote Sensing Image S . Registration Methodology. Procedia Computer Science, 171: 2390–2399.

Puymbroeck V., Binet R., Avouac J. (2000). Measuring earthquakes from optical satellite images. Applied Optics, 39: 3486-3494.

Qin-Sheng Chen, Defrise M., Deconinck F. (1994). Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16: 1156–1168.

Eastman R.D., Netanyahu N.S., Le Moigne J. (2011). Survey of image registration methods. Image registration for remote sensing, 21: 35-76.

Ren J., Vlachos T., Zhang Y., Zheng J., Jiang J. (2014). Gradient-based subspace phase correlation for fast and effective image alignment. Journal of Visual Communication and Image Representation, 25: 1558-1565.

Rasmy L., Sebari I., Ettarid M. (2021). Automatic sub-pixel co-registration of remote sensing images using phase correlation and harris detector. Remote Sensing, 13: 2314.

Ren J., Jiang J., Vlachos T. (2009). High-Accuracy Sub-pixel Motion Estimation from Noisy Images in Fourier Domain. IEEE Transactions on Image Processing, 19: 1379-1384.

Roesgen T. (2003). Optimal subpixel interpolation in particle image velocimetry. Experiments in Fluids, 35: 252–256.

San José Estépar R., Westin C.F., Vosburgh K.G. (2009). Towards real time 2D to 3D registration for ultrasound-guided endoscopic and laparoscopic procedures. International Journal of Computer Assisted Radiology and Surgery, 4: 549–560.

Scheffler D., Hollstein A., Diedrich H., Segl K., Hostert P. (2017). AROSICS: An automated and robust open-source image co-registration software for multi-sensor satellite data. Remote Sensing, 9: 676.

Schmid C., Mohr R., Bauckhage C., Schmid C., Mohr R., Bauckhage C. (2010). Evaluation of Interest Point Detectors. International Journal of computer vision, 37: 151-172.

Seixas F. L., Conci A. (2008). Image registration using genetic algorithms. Proceedings of the 10th annual conference on Genetic and evolutionary computation, 1145-1146).

Shah U.S., Mistry D. (2014). Survey of Image Registration techniques for Satellite Images. International Journal for Scientific Research & Development, 1: 2448–2452.

Smith P., Sinclair D., Cipolla R., Wood K. (1998). Effective Corner Matching. In Proceedings of the Ninth British Machine Vision Conference, 1-12.

Stone H.S., Orchard M.T., Chang E., Martucci S.A., Member S. (2001). A Fast Direct Fourier-Based Algorithm for Subpixel Registration of Images. IEEE Transactions on geoscience and remote sensing, 39: 2235–2243.

Suri S., Schwind P., Reinartz P., Uhl J. (2009). Combining mutual information and scale invariant feature transform for fast and robust multisensor SAR image registration. American Society for Photogrammetry and Remote Sensing Annual Conference, 2: 795–806.

Sylvander S., Henry P., Bastien-thiry C., Meunier F., Fuster D. (2000). Vegetation Geometrical Image Quality. Société Française de Photogrammétrie et de Télédétection.

Takita K., Aoki T., Sasaki Y., Higuchi T., Kobayashi K. (2003a). High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, E86-A: 1925–1934.

Takita K., Muquit M. A., Aoki T., Higuchi T. (2004). A sub-pixel correspondence search technique for computer vision applications. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, E87-A: 1913–1923.

Th P., Ruttimann U.E., Unser M., Member S. (1998). A Pyramid Approach to Subpixel Registration Based on Intensity. IEEE transactions on image processing, 7: 27–41.

Tian Q., Huhns M.N. (1986). Algorithms for Subpixel Registration. Computer Vision, Graphics, and Image Processing, 35: 220–233.

Tong X., Xu Y., Ye Z., Liu S., Li L., Xie H., Stilla U. (2015). An Improved Phase Correlation Method Based on 2-D Plane Fitting and the Maximum Kernel Density Estimator. IEEE Geoscience and Remote Sensing Letters, 12: 1953–1957.

Tong X., Ye Z., Xu Y., Gao S., Xie H., Du Q., Stilla,U. (2019). Image Registration With Fourier-Based Image Correlation: A Comprehensive Review of Developments and Applications. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 1–20.

Tzimiropoulos G., Argyriou V., Stathaki T. (2011). Subpixel Registration With Gradient Correlation. IEEE Transactions on Image Processing, 20: 1761–1767.

Wang C., Jing X., Zhao C. (2012). Local Upsampling Fourier Transform for accurate 2D / 3D image registration. Computers and Electrical Engineering, 38: 1346–1357.

Wang H., Zhao J., Zhao J., Dong F., Pan Z., Feng Y. (2017). Position detection method of linear motor mover based on extended phase correlation algorithm. IET Science, Measurement and Technology, 11: 921–928.

Wang S., Wang X., Li J. (2020). GF-2 Panchromatic and Multispectral Remote Sensing Image Registration Algorithm. IEEE Access, 8: 138067–138076.

Tong X., Ye Z., Xu Y., Liu S., Li L., Xie H., Li T. (2015). A novel subpixel phase correlation method using singular value decomposition and unified random sample consensus. IEEE Transactions on Geoscience and Remote Sensing, 53: 4143-4156.

Xu M., Varshney P.K. (2009). A Subspace Method for Fourier-Based Image Registration. IEEE Geoscience and Remote Sensing Letters, 6: 491–494.

Xu Q., Chavez A.G., Bulow H., Birk A., Schwertfeger S. (2019). Improved Fourier Mellin Invariant for Robust Rotation Estimation with Omni-Cameras. 2019 IEEE International Conference on Image Processing (ICIP): 320–324.

Yan F., Wang W., Liu S., Chen W. (2013). a Hierarchical Image Matching Method for Stereo Satellite Imagery. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XL-7/W1: 157–162.

Yang K., Pan A., Yang Y., Zhang S., Ong S. H. (2017). Remote Sensing Image Registration Using Multiple Image Features. Remote Sensing, 9: 581.

Ye M., Tang Z. (2013). Registration of correspondent points in the stereo-pairs of Chang’E-1 lunar mission using SIFT algorithm. Journal of Earth Science, 24: 371–381.

Ye Z., Kang J., Yao J., Song W., Liu S., Luo X., Tong X. (2020). Robust fine registration of multisensor remote sensing images based on enhanced subpixel phase correlation. Sensors (Switzerland), 20:1–21.

Ye Z., Tong X., Member S., Zheng S., Guo C., Gao S., Xie H. (2018). Illumination-Robust Subpixel Fourier-Based Image Correlation Methods Based on Phase Congruency. IEEE Transactions on Geoscience and Remote Sensing, 57: 1995-2008.

Ye Z., Tong X., Xu Y., Gao S., Liu S., Xie H., Liu X. (2018). An improved subpixel phase correlation method with application in videogrammetric monitoring of shaking table tests. Photogrammetric Engineering and Remote Sensing, 84: 579–592.

Ye Z., Xu Y., Chen H., Zhu J., Tong X., Stilla U. (2020). Area-based dense image matching with subpixel accuracy for remote sensing applications: Practical analysis and comparative study. Remote Sensing, 12: 696.

Young S.S., Driggers R.G. (2005). Super-resolution image reconstruction from a sequence of aliased imagery. Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XVI, 5784:114.

Yousef A., Li J., Karim M. (2015). High-speed image registration algorithm with subpixel accuracy. IEEE Signal Processing Letters, 22: 1796–1800.

Zhang X., Abe M., Kawamata M. (2011). Reduction of computational cost of POC-based methods for displacement estimation in old film sequences. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, E94-A: 1497–1504.

Zhang Z., Lu H., Li X., Li W., Yuan W. (2014). Application of Improved Harris Algorithm in Sub-Pixel Feature Point Extraction. International Journal of Computer and Electrical Engineering, 6: 101–104.

Zheng Y., Zheng P. (2019). Image Matching Based on Harris-Affine Detectors and Translation Parameter Estimation by Phase Correlation. In 2019 IEEE 4th International Conference on Signal and Image Processing (ICSIP) (pp. 106–111).

Zhu Q., Wu B., Wan N. (2007). A sub-pixel location method for interest points by means of the Harris interest strength. Photogrammetric Record, 22: 321–335.

Zitová B., Flusser J. (2003). Image registration methods: A survey. Image and Vision Computing, 21: 977–1000.

Zoetgnande Y.W.K., Fougères A.J., Cormier G., Dillenseger J. L. (2019). Sub-pixel matching method for low-resolution thermal stereo images. ArXiv, 1–14.

Zuo C., Chen,Q., Gu G., Sui X. (2012). Registration method for infrared images under conditions of fixed-pattern noise. Optics Communications, 285: 2293–2302.