Théorie et Algorithmes du Deep Learning
Programme
1. Réseaux de neurones : Concepts fondamentaux d’un réseau de neurones
- Le réseau de neurones : architecture, fonctions d’activation et de pondération des activations précédentes
- L’apprentissage d’un réseau de neurones
- Modélisation d’un réseau de neurones : modélisation des données d’entrée et de sortie selon le type de problème.
- Structure du réseau
- Fonction de combinaison
- Fonction d’activation
- Propagation de l’information
2. MLP
- Définition
- Structure
- Algorithme de propagation
- Apprentissage
- TP : Mise en situation : Analyse d’un algorithme MLP
3. Convolutional Net
- Blocs de construction
- Couche de convolution (CONV)
- Paramétrage
- Couche de pooling (POOL)
- Couches de correction (ReLU, sigmoïde, etc.)
- Couche entièrement connectée (FC)
- Couche de perte (LOSS)
- Exemples de modèles de CNN
- Choix des hyperparamètres
- Nombre de filtres
- Forme du filtre
- Forme du Max Pooling
- Méthodes de régularisation
- Empirique
- Dropout
- Données artificielles
- Explicit
- Taille du réseau
- Dégradation du poids
- La limitation du vecteur de poids
4. Recurrent Net: LSTM
- Architecture
- Training
- TP : Application
5. Bayesian Net
- Définition formelle
- Loi de probabilité jointe
- Propriété de Markov globale
- Inférence
- Définition et complexité
- Inférence exacte
- Inférence approchée
- Apprentissage automatique
- Apprentissage des paramètres
- Apprentissage de la structure
- Variantes
- Réseau bayésien dynamique
- Classifieur bayésien naïf
- Diagramme causal
- AutoEncoder
- Définition
- Architecture
- Formalisation générale
- Word2vect model
- Glove model
- TP : Utilisation du Word2vect model Algorithm pour le calcul de similarité sémantique
- Reinforcement Learning
- Définition
- Formulation d’un problème de Reinforcement learning
- Quelques exemples de cas d’usage
- Les caractéristiques de l’apprentissage par renforcement
- Les différents types d’apprentissage par renforcement
- Les défis de l’apprentissage par renforcement
- Avantages et inconvénients
- GAN (Generative Adversarial Networks)
- Architecture
- Propriétés mathématiques
- Training GAN
- Évaluation GAN
- TP : Utilisation d’un GAN
