Passer aux informations sur le produit
Reconnaissance de formes et apprentissage automatique
Reconnaissance de formes et apprentissage automatique
Description
Introduction au livre
Cet ouvrage aborde les thèmes généraux de la reconnaissance de formes basée sur les probabilités/statistiques et de l'apprentissage automatique qui se sont développés au cours des dernières décennies.
Aucune connaissance préalable en reconnaissance de formes ou en apprentissage automatique n'est requise pour comprendre le contenu, mais une expérience en calcul multivarié et en algèbre linéaire de base est recommandée.
Il comprend également une introduction aux bases de la théorie des probabilités, donc une connaissance préalable de cette théorie n'est pas forcément requise.
Bien que principalement destiné aux étudiants de dernière année de licence et aux doctorants de première année, il convient également aux chercheurs du domaine et à toute personne utilisant l'apprentissage automatique dans l'industrie.
Il convient également à une utilisation dans des cours portant sur des domaines tels que l'apprentissage automatique, les statistiques, le génie informatique, le traitement du signal, la vision par ordinateur, l'exploration de données et la bioinformatique.
  • Vous pouvez consulter un aperçu du contenu du livre.
    Aperçu

indice
CHAPITRE 1 Introduction 1
1.1 Exemple : Ajustement de courbe polynomiale _ 5
1.2 Théorie des probabilités _ 13
1.3 Sélection du modèle _ 36
Malédiction 1.4 dimensionnel _ 37
1.5 Théorie de la décision _ 42
1.6 Théorie de l'information _ 54

CHAPITRE 2 DISTRIBUTIONS DE PROBABILITÉ 75
2.1 Variables aléatoires discrètes _ 76
2.2 Variables polynomiales _ 83
2.3 Distribution gaussienne _ 87
2.4 Famille d'exposants _ 126
2.5 Méthodes non paramétriques _ 134

CHAPITRE 3 Modèles de régression linéaire 155
3.1 Modèle de fonction de base linéaire _ 156
3.2 Décomposition de la variance du biais _ 166
3.3 Régression linéaire bayésienne _ 172
3.4 Comparaison de modèles bayésiens _ 181
3.5 Approximation des preuves _ 186

CHAPITRE 4 Modèles de classification linéaire 201
4.1 Fonction discriminante _ 203
4.2 Modèles génératifs probabilistes _ 221
4.3 Modèle discriminant probabiliste _ 229
4.4 Approximation de Laplace _ 240
4.5 Régression logistique bayésienne _ 245

CHAPITRE 5 RÉSEAUX NEURONAUX 253
5.1 Fonction du réseau à propagation directe _ 255
5.2 Formation réseau _ 261
5.3 Rétropropagation des erreurs _ 271
5.4 Matrice hessienne _ 281
5.5 Régularisation dans les réseaux de neurones _ 289
5.6 Réseaux à densité mixte _ 306
5.7 Réseaux de neurones bayésiens _ 312

CHAPITRE 6 Méthodologie du noyau 327
6.1 Représentation duale _ 329
6.2 Configuration du noyau _ 330
6.3 Réseaux de fonctions de base radiales _ 336
6.4 Processus gaussiens _ 341

CHAPITRE 7 Machines à noyau clairsemé 363
7.1 Classificateur à marge maximale _ 364
7.2 Machines à vecteurs de corrélation _ 387

CHAPITRE 8 MODÈLES GRAPHIQUES 403
8.1 Réseaux bayésiens _ 404
8.2 Indépendance conditionnelle _ 418
8.3 Champs aléatoires de Markov _ 431
8.4 Inférence dans les modèles graphiques _ 443

CHAPITRE 9 Modèles mixtes et EM 477
9,1 K clustering moyen _ 478
9.2 Gaussiennes mixtes _ 485
9.3 Une autre perspective sur l'EM _ 495
9.4 Algorithme EM général _ 507

CHAPITRE 10 Estimation approximative 517
10.1 Inférence variationnelle _ 518
10.2 Exemple : Distribution de mélange gaussien variationnel _ 531
10.3 Régression linéaire variationnelle _ 545
10.4 Distributions exponentielles _ 549
10.5 Méthodologie de variation régionale _ 552
10.6 Régression logistique variationnelle _ 558
10.7 EP _ 566

CHAPITRE 11 Méthodes d'échantillonnage 587
11.1 Algorithmes d'échantillonnage de base _ 590
11.2 Chaîne de Markov Monte Carlo _ 603
11.3 Méthode d'échantillonnage de Gibbs _ 608
11.4 Méthode d'échantillonnage de fragments _ 613
11.5 Algorithme hybride de Monte Carlo _ 615
11.6 Estimation de la fonction de partition _ 622

CHAPITRE 12 Variables latentes continues 627
12.1 PCA _ 629
12.2 ACP probabiliste _ 640
12.3 PCA du noyau _ 657
12.4 Modèles à variables latentes non linéaires _ 662

CHAPITRE 13 Données séquentielles 677
13.1 Modèles de Markov _ 679
13.2 Modèles de Markov cachés _ 682
13.3 Systèmes dynamiques linéaires _ 710

CHAPITRE 14 COMBINAISONS MODÈLES 729
14.1 Moyenne du modèle bayésien _ 730
14.2 Méthode du comité _ 732
14.3 Boost _ 733
14.4 Modèles arborescents _ 740
14.5 Modèles de mélange conditionnels _ 744

Annexe A.
Ensemble de données 757
Chiffres manuscrits _ 757
Débit d'huile _ 758
Croyances anciennes _ 761
Données synthétiques _ 762

Annexe B.
Distribution de probabilité 765
Distribution de Bernoulli _ 765
Distribution bêta _ 766
Distribution binomiale _ 766
Distribution de Dirichlet _ 767
Distribution gamma _ 768
Distribution gaussienne _ 768
Distribution gamma gaussienne _ 770
Distribution de Wishart gaussienne _ 770
Distribution multinomiale _ 771
Distribution normale _ 772
Distribution t de Student _ 772
Distribution uniforme _ 773
Distribution von Mises _ 773
Distribution Wishart _ 774

Annexe C.
Propriétés des matrices 775 Propriétés de base des matrices _ 775
Sommes diagonales et déterminants _ 777
Différentiation matricielle _ 778
Formule des valeurs propres _ 779

Annexe D.
Calcul des variations 783

Annexe E.
Méthode des multiplicateurs de Lagrange 787

Image détaillée
Image détaillée 1

Dans le livre
Trouver un schéma spécifique dans des données données est parfois un problème très important.
L'humanité cherche depuis longtemps des réponses à cette question et a souvent réussi à trouver des schémas.
Par exemple, Johannes Kepler a découvert les lois de Kepler sur le mouvement des planètes en trouvant des régularités dans la grande quantité de données astronomiques que Tycho Brahe avait observées et accumulées au XVIe siècle.
Cette loi est devenue le fondement de la mécanique classique.
À titre d'exemple supplémentaire, la découverte de régularités dans les spectres atomiques a joué un rôle crucial dans le développement et la confirmation de la physique quantique au début du XXe siècle.
Ainsi, la reconnaissance de formes est un domaine qui utilise des algorithmes informatiques pour trouver automatiquement des modèles dans les données et utiliser ces modèles pour classer les données en différentes catégories.
_1p

L'une des limites de l'approche paramétrique est qu'elle suppose que la distribution a une forme fonctionnelle spécifique.
Pour certaines applications, cette hypothèse n'est pas appropriée, auquel cas des méthodes d'estimation de densité non paramétriques peuvent être utilisées comme alternative.
Dans les méthodes d'estimation de densité non paramétriques, la forme de la distribution dépend de la taille de l'ensemble de données.
Ces modèles comportent toujours des paramètres, mais ces paramètres ne déterminent pas la forme de la distribution, mais affectent plutôt la complexité du modèle.
De plus, à la fin de ce chapitre, nous examinerons les méthodes non paramétriques basées sur les histogrammes, les plus proches voisins et les noyaux.
_76p

Dans ce chapitre, nous avons examiné des distributions de probabilité qui ont une forme fonctionnelle spécifique.
Ces distributions sont régies par un petit nombre de paramètres déterminés par l'ensemble de données.
Ces méthodes sont appelées méthodes paramétriques de modélisation de la densité.
L'une des principales limites de cette méthodologie est que la fonction de densité choisie peut ne pas constituer un modèle approprié pour représenter la distribution qui a généré les données observées.
Dans ce cas, les performances de prédiction du modèle deviennent très médiocres.
Par exemple, si la distribution d'origine qui a créé les données était une distribution multimodale, il est absolument impossible de capturer cette propriété multimodale en utilisant une distribution gaussienne unimodale.
134p

Le problème de surapprentissage associé aux méthodes du maximum de vraisemblance peut être évité en marginalisant (en sommant ou en intégrant) les paramètres du modèle au lieu d'effectuer des estimations ponctuelles sur les paramètres du modèle.
Dans ce cas, les modèles peuvent être comparés directement sur la base de l'ensemble d'entraînement, ce qui élimine le besoin d'un ensemble de validation.
Toutes les données disponibles peuvent être utilisées pour l'entraînement, évitant ainsi les multiples essais d'entraînement nécessaires pour chaque modèle afin de mettre en œuvre la validation croisée.
De plus, plusieurs paramètres de complexité peuvent être déterminés simultanément au cours d'un seul processus d'entraînement.
Par exemple, au chapitre 7, nous examinerons les machines à vecteurs de pertinence, qui sont des modèles bayésiens avec un seul paramètre de complexité pour chaque point de données d'entraînement.
_182p

Le terme « réseau neuronal » est né des efforts déployés pour exprimer mathématiquement le traitement de l'information dans les systèmes biologiques (McCulloch et Pitts, 1943 ; Widrow et Hoff, 1960 ; Rosenblatt, 1962 ; Rumelhart et al., 1986), et a été utilisé de manière très large pour désigner divers modèles.
Certains de ces modèles ont été remis en question en raison de leur validité biologique surestimée.
Mais du point de vue des applications de reconnaissance de formes, la question de savoir si quelque chose est biologiquement proche de la réalité ou non constitue une contrainte supplémentaire inutile.
Par conséquent, ce chapitre se concentrera sur la discussion des réseaux neuronaux en tant que modèles efficaces de reconnaissance de formes statistiques.
Nous nous concentrerons en particulier sur le modèle de perceptron multicouche, qui s'est avéré être le plus utile en termes d'application pratique parmi les réseaux neuronaux.
_254p

Si l'on définit une distribution conjointe pour les variables observées et les variables latentes, la distribution des seules variables observées correspondantes peut être obtenue par marginalisation.
Cela nous permet d'exprimer les distributions marginales pour des variables observées complexes à travers des distributions conjointes sur l'espace d'extension des variables observées et des variables latentes, relativement plus facile à manipuler.
Par conséquent, en introduisant des variables latentes, nous pouvons construire des distributions complexes à partir d'éléments simples.
Dans ce chapitre, nous examinerons des modèles de mélange qui peuvent être interprétés à partir de variables latentes discrètes.
Un exemple de ceci est le modèle de mélange gaussien discuté dans la section 2.3.9 ci-dessus.
Nous aborderons les variables latentes continues au chapitre 12.
_477p

--- Extrait du texte

Avis de l'éditeur
La pensée mathématique pour une compréhension efficace des concepts modernes de reconnaissance de formes et d'apprentissage automatique !

L'apprentissage automatique a suscité plus d'attention que jamais ces dernières années.
En particulier, le match de 2016 entre AlphaGo et Lee Sedol, 9e dan, a servi de catalyseur pour que davantage de personnes s'intéressent au domaine de l'intelligence artificielle.
Cela s'explique par le fait que les performances de divers algorithmes d'apprentissage automatique, notamment l'apprentissage profond, se sont récemment améliorées de manière significative.

L'apprentissage automatique n'est pas une technologie nouvelle qui a émergé récemment.
Les techniques d'apprentissage automatique sont utilisées depuis longtemps dans divers domaines nécessitant la résolution de problèmes d'optimisation ou la réalisation de prédictions à partir de données.
L'apprentissage profond, qui a récemment suscité le plus d'attention, repose sur des algorithmes de réseaux neuronaux proposés pour la première fois il y a plusieurs décennies.
La technologie des réseaux neuronaux, longtemps négligée par le monde universitaire, a pris une nouvelle forme grâce aux progrès matériels tels que les GPU, à l'énorme quantité de données générées par des entreprises comme Google et Facebook, et aux diverses améliorations algorithmiques.

Cet ouvrage aborde les thèmes généraux de la reconnaissance de formes basée sur les probabilités/statistiques et de l'apprentissage automatique qui se sont développés au cours des dernières décennies.
Aucune connaissance préalable en reconnaissance de formes ou en apprentissage automatique n'est requise pour comprendre le contenu, mais une expérience en calcul multivarié et en algèbre linéaire de base est recommandée.
Il comprend également une introduction aux bases de la théorie des probabilités, donc une connaissance préalable de cette théorie n'est pas forcément requise.
Bien que principalement destiné aux étudiants de dernière année de licence et aux doctorants de première année, il convient également aux chercheurs du domaine et à toute personne utilisant l'apprentissage automatique dans l'industrie.
Il convient également à une utilisation dans des cours portant sur des domaines tels que l'apprentissage automatique, les statistiques, le génie informatique, le traitement du signal, la vision par ordinateur, l'exploration de données et la bioinformatique.
SPÉCIFICATIONS DES PRODUITS
- Date de publication : 10 septembre 2018
Nombre de pages, poids, dimensions : 852 pages | 1 662 g | 188 × 245 × 37 mm
- ISBN13 : 9791188621255
- ISBN10 : 1188621254

Vous aimerez peut-être aussi

카테고리