Fonction sigmoïde : (Le Gall, 2023).
Fonction d’activation très utilisée dans les réseaux de neurones, permettant de transformer une entrée en une sortie comprise entre 0 et 1.
Dérivée de la fonction sigmoïde : (Le Gall, 2023).
Résultat pratique car il évite de recalculer toute la fonction, facilitant la rétropropagation dans l’apprentissage machine.
Fonction tangente hyperbolique (tanh) : (Le Gall, 2023).
Fonction d’activation alternative à la sigmoïde, dont la sortie est comprise entre -1 et 1.
Relation entre tanh et sigmoïde : (Le Gall, 2023).
Permet d’établir une correspondance entre ces deux fonctions d’activation, utile pour le choix dans les réseaux de neurones.
Règles de dérivation en chaîne : (Le Gall, 2023).
Fondamentale pour calculer la dérivée de compositions de fonctions, notamment dans le backpropagation.
Les fonctions sigmoïde et tanh, avec leurs dérivées simples, sont des outils clés pour l’activation et la rétropropagation dans les réseaux de neurones, permettant une optimisation efficace grâce aux règles de dérivation en chaîne.
Principe de la descente de gradient (Le Gall, 2023) : méthode itérative visant à minimiser une fonction en ajustant successivement la variable selon la gradient de la fonction, en suivant la pente descendante.
Suite itérative aₖ+1 = aₖ - δ·grad f(aₖ) (Le Gall, 2023) : formule de mise à jour de la variable a dans la descente de gradient, où δ est le pas ou taux d'apprentissage, et grad f(aₖ) la dérivée de la fonction en aₖ.
Importance du pas δ (Le Gall, 2023) : paramètre déterminant la taille du saut à chaque étape ; un δ trop grand peut provoquer oscillations ou divergence, un δ trop petit entraîne une convergence lente.
Problèmes liés à la descente en 1D (Le Gall, 2023) : oscillations autour du minimum, divergence si δ mal choisi, lenteur de convergence avec un pas trop faible, et impact du point de départ sur la convergence vers minima ou points selle.
Points selle en 1D (Le Gall, 2023) : points où la dérivée s'annule mais qui ne sont pas des minima, pouvant piéger la descente de gradient en ralentissant ou arrêtant la convergence.
La méthode consiste à ajuster la valeur de a par une suite itérative : aₖ+1 = aₖ - δ·grad f(aₖ), où grad f(aₖ) est la dérivée de la fonction en aₖ (Le Gall, 2023).
Le choix du pas δ est critique : un δ trop grand (ex : 0,95 ou 1,1) peut entraîner des oscillations ou divergence, tandis qu’un δ trop petit (ex : 0,05) ralentit la convergence (Le Gall, 2023).
La convergence vers le minimum est assurée si δ est bien adapté, mais le point de départ influence fortement la capacité à atteindre le minimum global, notamment en présence de minima locaux ou points selle (Le Gall, 2023).
La présence de points selle en 1D, où la dérivée s’annule mais qui ne sont pas des minima, peut bloquer la descente, car la méthode s’arrête à ces points (Le Gall, 2023).
La gestion du pas δ doit équilibrer rapidité et stabilité pour éviter oscillations ou divergence, tout en assurant une convergence efficace (Le Gall, 2023).
La descente de gradient en 1D est une méthode itérative efficace pour minimiser une fonction, mais son succès dépend fortement du choix du pas δ et du point de départ, notamment en présence de minima locaux ou points selle.
Principe de la descente de gradient en 2D : Méthode itérative visant à minimiser une fonction à deux variables en ajustant successivement les valeurs des variables dans la direction opposée au gradient (pente) de la fonction, afin de converger vers un minimum local ou global. (Le Gall, 2023)
Calcul du gradient pour fonctions à deux variables : Ensemble des dérivées partielles de la fonction par rapport à chaque variable, formant un vecteur gradient :
qui indique la direction de la pente la plus forte.
Exemple de fonction : Fonction quadratique simple dont le minimum est en , avec un gradient :
permettant de guider la descente.
Problèmes en 2D : minima locaux, points selle : En dimension supérieure, la présence de minima locaux (points où la fonction n'est pas globalement minimale) et de points selle (points où le gradient s'annule mais qui ne sont ni minima ni maxima) complique la convergence de la méthode. La visualisation géométrique du point selle, comme une selle de cheval, illustre ces situations où la pente change de signe selon la direction.
Choix du pas () et point de départ : La taille du pas influence la convergence : un pas trop grand peut provoquer oscillations ou divergence, un pas trop petit ralentit la convergence. Le point initial détermine souvent la trajectoire vers un minimum local ou global, notamment en présence de minima locaux ou points selle. (Le Gall, 2023)
La descente de gradient en 2D consiste à mettre à jour les variables selon la formule :
où est le pas choisi.
La convergence vers le minimum dépend fortement du choix du pas :
La visualisation géométrique montre que le gradient indique la pente la plus forte, et la descente suit la direction opposée. La présence de points selle, où le gradient s'annule mais la fonction n'atteint pas un minimum global, peut piéger la méthode.
La complexité en 2D est amplifiée par la présence de minima locaux et points selle, rendant la recherche du minimum global plus difficile. La compréhension géométrique du point selle permet d'interpréter ces situations problématiques.
La descente de gradient en 2D ajuste successivement deux variables en suivant la pente opposée au gradient, mais la présence de minima locaux, points selle, et le choix du pas influencent fortement la convergence vers le minimum global. La visualisation géométrique, notamment du point selle, aide à comprendre ces phénomènes.
La régression linéaire ajuste une droite en minimisant la somme des carrés des écarts via la descente de gradient, une méthode itérative dont la convergence peut être lente mais garantie avec un bon paramétrage.
Convolution 1D : Opération mathématique qui consiste à faire glisser un motif (ou kernel) sur une séquence de données, en multipliant chaque élément du motif renversé par la partie correspondante de la séquence, puis en sommant ces produits pour obtenir un nouveau tableau. Selon Le Gall (cours), cette opération est essentielle dans le traitement de signaux et d’images pour extraire ou atténuer certaines caractéristiques.
Opération de renversement du motif (kernel) : Processus consistant à inverser l’ordre des éléments du motif avant de l'appliquer à la séquence. Cela permet d’assurer la symétrie de la convolution, comme indiqué dans Le Gall (cours), et est indispensable pour respecter la définition mathématique de la convolution.
Calcul terme à terme par multiplication et somme : Lors de la convolution, chaque élément du résultat est obtenu en multipliant chaque élément du motif renversé par l’élément correspondant de la séquence, puis en additionnant tous ces produits. Le Gall (cours) précise que cette étape est répétée pour chaque position du motif sur la séquence.
Gestion des bords par ajout de zéros virtuels : Pour traiter les extrémités de la séquence où le motif dépasse ses limites, on ajoute des zéros à gauche et à droite de la séquence. Selon Le Gall (cours), cette technique évite la perte d’informations et permet de conserver la longueur initiale ou d’adapter la sortie.
Traitement des motifs de longueur paire (ajout d’un zéro) : Si le motif a une longueur paire, on ajoute un zéro au début (ou à la fin) du motif pour le rendre impair, facilitant ainsi le renversement et l’application uniforme. Le Gall (cours) indique que cette étape est importante pour garantir une convolution cohérente.
Exemples de motifs et effets (ex : moyenne mobile) : Par exemple, un motif [1/n, 1/n, ..., 1/n] (avec n éléments) réalise une moyenne mobile, lissant la séquence. Le Gall (cours) montre que ce type de motif est utilisé pour réduire le bruit ou pour filtrer des variations rapides dans les données.
Extension de la convolution à 2 dimensions : opération mathématique qui combine deux matrices (une matrice d’entrée et un noyau) pour produire une nouvelle matrice, en étendant la convolution 1D à deux axes (ligne et colonne), essentielle dans le traitement d’images (voir section 7).
Définition du noyau (kernel) 2D : petite matrice de coefficients utilisée pour filtrer ou transformer une image ou une matrice, souvent de taille impaire (ex : 3x3, 5x5), qui sert à détecter des caractéristiques ou appliquer des effets (ex : flou, détection de contours).
Processus de renversement du noyau : étape préalable à la convolution où la matrice noyau est retournée horizontalement puis verticalement, afin de respecter la définition mathématique de la convolution (voir section 7).
Application du noyau sur une matrice : consiste à centrer le noyau renversé sur chaque position de la matrice d’entrée, puis à calculer la somme pondérée des éléments sous le noyau, produisant un seul coefficient dans la matrice de sortie.
Gestion des bords dans la convolution 2D : techniques pour traiter les pixels situés en bordure de l’image, notamment par ajout de zéros virtuels (padding), réflexion ou réplication, afin de conserver la taille de l’image ou d’éviter la perte d’informations.
La convolution 2D est une opération fondamentale en traitement d’images, utilisée pour appliquer des filtres tels que flou, détection de contours ou accentuation (voir section 8). Elle consiste à faire glisser un noyau (kernel) sur une matrice (image), en effectuant un produit scalaire entre le noyau retourné et la sous-matrice correspondante, puis en stockant le résultat dans la matrice de sortie.
La matrice noyau doit être retournée (opération de renversement) avant l’application, ce qui diffère de la corrélation (qui ne retourne pas le noyau). La taille du noyau influence la portée de l’effet appliqué : noyau plus grand capture des caractéristiques plus larges.
La gestion des bords est cruciale pour préserver la taille de l’image ou pour éviter des artefacts. Le padding par zéros est la méthode la plus courante, mais d’autres techniques existent pour améliorer la qualité du résultat.
La convolution à 2D est directement liée à la détection de caractéristiques dans les images, comme les lignes verticales, horizontales ou diagonales, en utilisant des noyaux spécifiques (voir exemples de filtres en images).
La convolution est un outil clé dans les réseaux de neurones convolutifs (CNN), permettant d’extraire automatiquement des caractéristiques pertinentes pour la reconnaissance ou la classification d’images (voir section 8).
La convolution 2D, en combinant un noyau retourné avec une matrice d’entrée, permet de transformer efficacement une image ou une matrice en appliquant des filtres variés, tout en nécessitant une gestion adaptée des bords pour garantir la qualité du résultat.
La convolution 2D est une opération clé en traitement d’images, permettant d’extraire et de modifier les caractéristiques visuelles en appliquant des filtres spécifiques, avec un impact direct sur la qualité et la nature de l’image finale.
Le pooling, en regroupant les caractéristiques locales dans une matrice plus petite, joue un rôle clé dans la réduction de dimension et l’amélioration de la robustesse des réseaux convolutionnels, tout en facilitant l’extraction de caractéristiques essentielles.
Le filtrage par convolution permet d’extraire ou de mettre en évidence des caractéristiques spécifiques dans les images ou signaux, et le choix du filtre est déterminant pour la réussite de la détection ou de l’analyse souhaitée.
Minima locaux : Point où une fonction atteint un minimum dans un voisinage restreint, mais qui n’est pas nécessairement le minimum global. Selon AUTEUR (date), ils peuvent piéger les algorithmes d’optimisation, empêchant d’atteindre le minimum global.
Points selle : Point stationnaire où la dérivée (gradient) s’annule, mais qui n’est ni un maximum ni un minimum. AUTEUR (date) indique que ces points peuvent faire stopper la descente de gradient, car le gradient est nul, mais la fonction peut augmenter dans une direction et diminuer dans une autre.
Piégeage dans minima locaux : phénomène où l’algorithme converge vers un minimum local plutôt que vers le minimum global, souvent dû à la topologie de la fonction ou au point de départ choisi. AUTEUR (date) souligne que ce problème s’amplifie en dimension.
Différence entre minima locaux et global : un minimum global est le point de valeur la plus basse de la fonction sur tout son domaine, alors qu’un minima local est le plus bas dans un voisinage restreint. La distinction est cruciale pour l’optimisation, comme le montre AUTEUR (date).
Amplification en dimensions supérieures : en augmentant le nombre de variables, la complexité du paysage fonctionnel s’accroît, multipliant les minima locaux et points selle, rendant la recherche du minimum global plus difficile. AUTEUR (date) insiste sur cette difficulté accrue.
Les minima locaux sont des points stationnaires où la dérivée s’annule, mais qui ne correspondent pas toujours au minimum global. Leur présence peut empêcher l’algorithme de converger vers la meilleure solution, comme illustré par l’exemple de la fonction , qui possède deux minima locaux sur [-3;3].
Les points selle, tels que celui de la fonction , sont des points où le gradient est nul mais qui ne sont ni maximum ni minimum. La descente de gradient peut s’y arrêter, même si ce n’est pas la solution optimale.
La difficulté de convergence vers le minimum global s’accroît avec la dimension du problème, car le paysage devient plus complexe, avec un nombre croissant de minima locaux et points selle, rendant la recherche plus sensible au point de départ.
Pour éviter ces pièges, des stratégies comme l’initialisation multiple, l’ajout de bruit ou l’utilisation d’algorithmes plus avancés (ex : recuit simulé, optimisation stochastique) sont recommandées.
Les minima locaux et points selle compliquent la recherche du minimum global en optimisation, surtout en haute dimension, et nécessitent des stratégies spécifiques pour éviter le piégeage et garantir une convergence vers la meilleure solution.
Convolution 2D : Opération mathématique qui, à partir d'une matrice d'entrée (image) et d'un noyau (filtre), produit une nouvelle matrice en appliquant un processus de renversement du noyau, puis de multiplication et somme coefficient par coefficient (voir section 6). Elle permet d'extraire ou de modifier des caractéristiques de l’image, comme les contours ou le flou.
Filtrage par convolution : Technique utilisant la convolution pour appliquer un filtre spécifique sur une image, par exemple pour détecter des contours (ex : filtres de Sobel), flouter ou renforcer certains détails (voir section 9). La sélection du filtre détermine l’effet obtenu.
Application du floutage (blur) : Utilisation de la convolution avec un noyau de moyenne (ex : matrice de flou) pour réduire le bruit ou adoucir l’image, en remplaçant chaque pixel par la moyenne de ses voisins (voir section 57). Cela améliore la qualité visuelle ou prépare l’image pour une étape suivante.
Detection de caractéristiques par filtres : Utilisation de filtres spécifiques (ex : détection de lignes verticales ou horizontales) pour renforcer ou isoler certains motifs dans une image, facilitant la reconnaissance ou l’analyse (voir section 59). La convolution accentue ces caractéristiques.
Pooling dans le traitement d’images : Opération de réduction de dimension qui consiste à regrouper des blocs de l’image (ex : sous-matrices de taille k×k) en conservant par exemple le maximum (max pooling) ou la moyenne (average pooling), pour extraire des caractéristiques invariantes aux translations et réduire la complexité (voir section 50). Elle est essentielle dans les réseaux de neurones convolutionnels.
Visualisation des effets des filtres : Processus d’appliquer différents filtres (flou, détection de contours, renforcement de lignes) sur des images réelles pour observer concrètement comment la convolution modifie l’image, facilitant la compréhension et le choix des filtres adaptés (voir sections 57-65).
La convolution 2D est fondamentale pour le traitement d’images, permettant d’appliquer divers filtres pour améliorer, détecter ou extraire des caractéristiques spécifiques (voir section 6, 8, 9). Elle repose sur un processus mathématique précis de renversement, multiplication et sommation coefficient par coefficient.
La sélection du noyau (filtre) détermine l’effet appliqué : flou (moyenne), détection de contours (Sobel, Laplacien), renforcement de lignes verticales ou horizontales, ou détection diagonale (voir sections 57-65). La compréhension de ces effets est essentielle pour le traitement et la reconnaissance d’images.
La combinaison de convolution, pooling et filtrage permet d’extraire efficacement des caractéristiques invariantes, tout en réduisant la dimension des données, ce qui est crucial dans la conception de réseaux de neurones convolutionnels (voir sections 8, 9, 50).
La visualisation concrète des effets des filtres sur des images réelles facilite l’apprentissage et l’optimisation des techniques de traitement d’images, en permettant d’observer directement les modifications apportées par chaque filtre (voir sections 57-65).
La convolution à 2 dimensions, combinée à des techniques de filtrage et de pooling, constitue le cœur du traitement d’images modernes, permettant d’extraire et de renforcer des caractéristiques clés pour la reconnaissance et l’analyse visuelle.
| Thème | Notions Clés | Formules / Concepts | Auteur / Référence |
|---|---|---|---|
| Fonctions et dérivées | Sigmoïde, tanh, dérivées | , , | Le Gall, 2023 |
| Règles de dérivation | Le Gall, 2023 | ||
| Descente de gradient 1D | Formule de mise à jour | Le Gall, 2023 | |
| Problèmes | Oscillations, divergence, points selle | Le Gall, 2023 | |
| Descente de gradient 2D | Gradient partiel | Le Gall, 2023 | |
| Mise à jour | , | Le Gall, 2023 | |
| Régression linéaire | Objectif | Minimiser l’erreur entre la droite et les points | Le Gall, 2023 |
Teste tes connaissances sur Techniques de traitement d'images par convolution avec 9 questions à choix multiples et corrections détaillées.
1. Quelle est la définition correcte de la fonction sigmoïde en mathématiques ?
2. Quelle fonction d’activation est généralement utilisée pour modéliser une sortie probabiliste dans les réseaux de neurones ?
Mémorisez les concepts clés de Techniques de traitement d'images par convolution avec 9 flashcards interactives.
Fonction sigmoïde — définition ?
Fonction d’activation entre 0 et 1.
Fonction sigmoïde — définition?
Fonction d’activation entre 0 et 1.
Descente de gradient 1D — formule ?
aₖ₊₁ = aₖ - δ·grad f(aₖ)
Importe ton cours et l'IA génère fiches, QCM et flashcards en 30 secondes.
Générateur de fiches