LES RESEAUX DE NEURONES

 

SOMMAIRE

 
 

Apprentissage



Présentation

     Pour un RNA, l'apprentissage peut être considéré comme le problème de la mise à jour des poids des connexions au sein du réseau, afin de réussir la tâche qui lui est demandée. L'apprentissage est la caractéristique principale des RNA et il peut se faire de différentes manières et selon différentes règles.


Types d'apprentissage

I - Le mode supervisé :

     Dans ce type d'apprentissage, le réseau s'adapte par comparaison entre le résultat qu'il a calculé, en fonction des entrées fournies, et la réponse attendue en sortie. Ainsi, le réseau va se modifier jusqu'a ce qu'il trouve la bonne sortie, c'est-à-dire celle attendue, correspondant à une entrée donnée.

II - Le renforcement :

     Le reforcement est en fait une sorte d'apprentissage supervisé et certains auteurs le classe d'ailleurs, dans la catégorie des modes supervisés. Dans cette approche le réseau doit apprendre la corrélation entrée/sortie via une estimation de son erreur, c'est-à-dire du rapport échec/succés. Le réseau va donc tendre à maximiser un index de performance qui lui est fourni, appelé signal de renforcement. Le système étant capable ici, de savoir si la réponse qu'il fournit est correcte ou non, mais il ne connait pas la bonne réponse.

III - Le mode non-supervisé (ou auto-organisationnel) :

     Dans ce cas, l'apprentissage est basé sur des probabilités. Le réseau va se modifier en fonction des régularités statistiques de l'entrée et établir des catégories, en attribuant et en optimisant une valeur de qualité, aux catégories reconnues.

IV - Le mode hybride :

     Le mode hybride reprend en fait les deux autres approches, puisque une partie des poids va être déterminée par apprentissage supervisé et l'autre partie par apprentissage non-supervisé.


Règles d'apprentissage

I - Règle de correction d'erreurs :

     Cette règle s'inscrit dans le paradigme d'apprentissage supervisé, c'est -à-dire dans le cas où l'on fournit au réseau une entrée et la sortie correspondante. Si on considère y comme étant la sortie calculée par le réseau, et d la sortie désirée, le principe de cette règle est d'utiliser l'erreur (d-y), afin de modifier les connexions et de diminuer ainsi l'erreur globale du système. Le réseau va donc s'adapter jusqu'à ce que y soit égal à d.
     Ce Principe est notemment utilisé dans le modèle du perceptron simple.

II - Apprentissage de Boltzmann :

     Les réseaux de Boltzmann sont des réseaux symétriques récurrents. Ils possèdent deux sous-groupes de cellules, le premier étant relié à l'environnement (cellules dites visibles) et le second ne l'étant pas (cellules dites cachées). Cette règle d'apprentissage est de type stochastique (= qui relève partiellement du hazard) et elle consiste à ajuster les poids des connexions, de telle sorte que l'état des cellules visibles satisfasse une distribution probabiliste souhaitée.

III - Règles de Hebb :

     Comme je l'ai déjà dit dans l'historique, cette règle, basée sur des données biologiques, modélise le fait que si des neurones, de part et d'autre d'une synapse, sont activés de façon synchrone et répétée, la force de la connexion synaptique va aller croissant. Il est à noté ici que l'apprentissage est localisé, c'est-à-dire que la modification d'un poids synaptique wij ne dépend que de l'activation d'un neurone i et d'un autre neurone j.

IV - Règle d'apprentissage par compétitions :

     La particularité de cette régle, c'est qu'ici l'apprentissage ne concerne qu'un seul neurone. Le principe de cet apprentissage est de regrouper les données en catégories. Les patrons similaires vont donc être rangés dans une même classe, en se basant sur les corrélations des données, et seront représentés par un seul neurone, on parle de « winner-take-all ».
     Dans un réseau à compétition simple, chaque neurone de sortie est connecté aux neurones de la couche d'entrée, aux autres cellules de la couche de sortie (connexions inhibitrices) et à elle-même (connexion excitatrice). La sortie va donc dépendre de la compétition entre les connexions inhibitrices et excitatrices.


Récapitulation

Voici un tableau récapitulatif des différents types d'apprentissages:



Paradigme Règle d'apprentissage Architecture Algorithme Tâches
Supervisé Correction d'erreur Perceptron Simple ou Multi-Couches Perceptron, Rétro-Propagation, Adaline, Madaline Classification, Approximation de fonctions, Prédiction, Contrôle
         
  Bolzmann Récurrente Apprentissage de Boltzmann Classification
         
  Hebb Multi-Couches non bouclés Analyse de discriminants linéaires Analyse de données, Classificationw
         
  par compétition à compétition LVQ Catégorisation au sein d'une classe, Compression de données
       
    ART ARTMap Classification, Catégorisation au sein d'une classe
         
Non supervisé Correction d'erreur Multi-couches non bouclé Projection de Sammon Analyse de données
         
  Hebb Non bouclé ou à compétition analyse en composantes principales Analyse de données, compression de données
         
  par compétition à compétition VQ Catégorisation, Compression de données
         
    Cartes de Kohonen SOM Catégorisation, Analyse de données
         
    ART ART-1, ART-2 Catégorisation
         
Hybride Correction d'erreur et par compétition RBF RBF Classification, Approximation de fonctions, Prédiction, Contrôle



Copyright © [Rachid LADJADJ] 2002/2003 - Ingénieurs 2000 - Filière Informatique et Réseaux