{"product_id":"110165","title":"Développement d'applications d'IA pratiques grâce au LLM ","description":"\u003ccenter\u003e\u003cdiv style=\"text-align:center\"\u003e\u003cimg src=\"https:\/\/tmgdisk01.cafe24.com\/images\/vs\/4172\/sv\/3jYEEOGwj3zG8SP2YwPWnS1C63zXnZ.png?v=1765095798\" style=\"max-width:100%;max-height:10px\"\u003e\u003c\/div\u003e\u003c\/center\u003e\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\u003ccenter\u003e\n\n\u003cdiv style=\"width:95%\"\u003e\n\n\u003cdiv style=\"text-align:center;font-size:30px;font-weight:bolder;line-height:1.6em\"\u003e Développement d'applications d'IA pratiques grâce au LLM \u003c\/div\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003cdiv style=\"border-bottom:1px;border-bottom-style:dotted;border-color:;padding-bottom:20px\"\u003e\u003ccenter\u003e\u003ctable align=\"center\" width=\"100%\"\u003e\u003ctbody style=\"border:0px\"\u003e\n\n\u003ctr\u003e\u003ctd align=\"center\" style=\"line-height:1.2em;text-align:center;font-size:18px;color:black;font-weight:bold;padding-bottom:20px;\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\n\n\u003ctr\u003e\u003ctd style=\"text-align:center\"\u003e\u003cimg src=\"https:\/\/image.yes24.com\/goods\/129081594\/XL\" style=\"max-width:100%;height:auto\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\n\n\n\u003c\/tbody\u003e\u003c\/table\u003e\u003c\/center\u003e\u003c\/div\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003cdiv style=\"width:95%;{split_style6}padding-top:20px;padding-bottom:20px\"\u003e\n\n\u003cdiv style=\"text-align:left;font-size:16px;font-weight:bold;padding-bottom:20px\"\u003e Description \u003c\/div\u003e\n\n\u003cdiv style=\"text-align:left;word-break:break-all;font-size:14px;line-height:1.6em;\"\u003e\n\n\u003cdiv\u003e\u003ch5\u003e \u003cb\u003eIntroduction au livre\u003c\/b\u003e\n\u003c\/h5\u003e\u003c\/div\u003e\n\u003cdiv\u003e\n\u003cdiv\u003e\u003cdiv\u003e \u003cb\u003eDe l'architecture Transformer au développement RAG, en passant par la formation des modèles, le déploiement, l'optimisation et l'exploitation.\u003cbr\u003e Tout ce que vous devez savoir sur le développement d'applications d'IA avec RamaIndex et LLM\u003c\/b\u003e\u003cbr\u003e \u003cbr\u003eCe livre commence par présenter l'architecture de base du LLM, l'adapte aux exigences des applications, le rend léger pour fonctionner dans des environnements informatiques limités et jette les bases d'une prestation de services fluide. Il explique ensuite étape par étape comment créer une application LLM représentative appelée RAG.\u003cbr\u003e Mais ce n'est pas tout. L'ouvrage aborde les méthodes permettant de surmonter les difficultés rencontrées lors des opérations réelles, ainsi que des sujets avancés comme la multimodalité et les agents. Il explique les connaissances essentielles en développement requises pour les étudiants en master de droit, d'un point de vue à la fois théorique et pratique, ce qui en fait une ressource précieuse pour les développeurs souhaitant s'adapter à ce nouveau paradigme.\u003cbr\u003e\n\u003c\/div\u003e\u003c\/div\u003e\n\u003cdiv\u003e\u003cul\u003e\u003cli\u003e Vous pouvez consulter un aperçu du contenu du livre.\u003cbr\u003e \u003cspan\u003eAperçu\u003c\/span\u003e\n\n\u003c\/li\u003e\u003c\/ul\u003e\u003c\/div\u003e\n\u003c\/div\u003e\n\u003cbr\u003e\u003cdiv\u003e\u003ch5\u003e \u003cb\u003eindice\u003c\/b\u003e\n\u003c\/h5\u003e\u003c\/div\u003e\n\u003cdiv\u003e\n\u003cdiv\u003e \u003cb\u003e[Partie 1] Établir le cadre fondamental du LLM\u003cbr\u003e\u003cbr\u003e Chapitre 1 Carte LLM\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 1.1 Apprentissage profond et modélisation du langage \u003cbr\u003e1.1.1 Apprentissage profond qui extrait lui-même les caractéristiques des données\u003cbr\u003e 1.1.2 Intégration : Comment les modèles d’apprentissage profond représentent les données\u003cbr\u003e 1.1.3 Modélisation du langage : Comment les modèles d’apprentissage profond apprennent le langage\u003cbr\u003e 1.2 Comment le modèle de langage est devenu ChatGPT\u003cbr\u003e 1.2.1 De l'architecture RNN à l'architecture Transformer\u003cbr\u003e 1.2.2 La relation entre la taille du modèle et ses performances, telle qu'observée dans la série GPT\u003cbr\u003e __1.2.3 L'émergence de ChatGPT\u003cbr\u003e 1.3 L'ère des demandes de LLM commence\u003cbr\u003e __1.3.1 LLM qui a révolutionné notre façon d'utiliser les connaissances\u003cbr\u003e __1.3.2 sLLM : Construction de modèles plus petits et plus efficaces\u003cbr\u003e 1.3.3 Techniques pour un apprentissage et une inférence plus efficaces\u003cbr\u003e 1.3.4 Technologie de génération de recherche augmentée (RAG) pour traiter le phénomène d'hallucination lié au LLM\u003cbr\u003e 1.4 L'avenir du LLM : élargir la perception et l'action\u003cbr\u003e 1.5 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 2 : Aperçu de l’architecture du transformateur, au cœur du LLM\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 2.1 Qu'est-ce que l'architecture Transformer ?\u003cbr\u003e 2.2 Conversion de texte en éléments intégrés\u003cbr\u003e __2.2.1 Tokenisation\u003cbr\u003e __2.2.2 Conversion en plongements lexicaux\u003cbr\u003e 2.2.3 Encodage positionnel\u003cbr\u003e 2.3 Comprendre l'attention \u003cbr\u003e2.3.1 Comment les gens lisent et l'attention\u003cbr\u003e 2.3.2 Comprendre les requêtes, les clés et les valeurs\u003cbr\u003e __2.3.3 Attention dans le code\u003cbr\u003e __2.3.4 Attention multi-têtes\u003cbr\u003e 2.4 Couches de normalisation et de propagation directe\u003cbr\u003e __2.4.1 Comprendre la normalisation des couches\u003cbr\u003e __2.4.2 Couche de propagation directe\u003cbr\u003e Encodeur 2.5\u003cbr\u003e Décodeur 2.6\u003cbr\u003e 2.7 Architectures utilisant des transformateurs tels que BERT, GPT et T5\u003cbr\u003e BERT utilisant l'encodeur __2.7.1\u003cbr\u003e __2.7.2 GPT utilisant un décodeur\u003cbr\u003e __2.7.3 BART, T5 utilisant à la fois l'encodeur et le décodeur\u003cbr\u003e 2.8 Principaux mécanismes de préapprentissage\u003cbr\u003e __2.8.1 Modélisation causale du langage\u003cbr\u003e __2.8.2 Modélisation du langage masqué\u003cbr\u003e 2.9 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 3 : Bibliothèque de transformateurs Hugging Face pour la gestion des modèles de transformateurs\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 3.1 Qu'est-ce qu'un Hugging Face Transformer ?\u003cbr\u003e 3.2 Exploration du hub Hugging Face\u003cbr\u003e __3.2.1 Centre de modélisation\u003cbr\u003e __3.2.2 Centre de données\u003cbr\u003e 3.2.3 Un espace où les démonstrations de modèles peuvent être rendues publiques et mises à disposition pour utilisation\u003cbr\u003e 3.3 Apprendre à utiliser la bibliothèque Hugging Face\u003cbr\u003e 3.3.1 Utilisation du modèle\u003cbr\u003e 3.3.2 Utilisation du tokenizer \u003cbr\u003e3.3.3 Utilisation de l'ensemble de données\u003cbr\u003e 3.4 Entraînement du modèle\u003cbr\u003e 3.4.1 Préparation des données\u003cbr\u003e 3.4.2 Formation à l'aide de l'API Trainer\u003cbr\u003e 3.4.3 Entraînement sans utiliser l'API de l'entraîneur\u003cbr\u003e 3.4.4 Téléchargement du modèle entraîné\u003cbr\u003e 3.5 Inférence du modèle\u003cbr\u003e 3.5.1 Inférence à l'aide de pipelines\u003cbr\u003e 3.5.2 Inférence directe\u003cbr\u003e 3.6 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 4 : Construire un modèle qui obéit\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 4.1 Réussir le test de codage : pré-entraînement et mise au point de la carte\u003cbr\u003e 4.1.1 Maîtriser les concepts de programmation : Prérequis pour le LLM\u003cbr\u003e __4.1.2 Exercice pratique : Ajustement précis de la carte\u003cbr\u003e 4.1.3 Conditions pour un bon jeu de données d'instructions\u003cbr\u003e 4.2 Amélioration de la lisibilité du code grâce à un modèle de notation\u003cbr\u003e 4.2.1 Création d'un modèle de notation à l'aide d'un jeu de données privilégié\u003cbr\u003e 4.2.2 Apprentissage par renforcement : vers des scores de lisibilité du code élevés\u003cbr\u003e 4.2.3 PPO : Éviter les astuces en matière de rémunération\u003cbr\u003e __4.2.4 RLHF : Sympa, mais si vous pouvez l’éviter…\u003cbr\u003e 4.3 L’apprentissage par renforcement est-il vraiment nécessaire ?\u003cbr\u003e __4.3.1 Échantillonnage par rejet : que se passe-t-il si nous utilisons simplement les données ayant obtenu le score le plus élevé ? \u003cbr\u003e4.3.2 DPO : Entraînement direct sur les jeux de données préférés\u003cbr\u003e 4.3.3 Modèles entraînés à l'aide de DPO\u003cbr\u003e 4.4 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003e[Partie 2 : Apprivoiser le LLM]\u003cbr\u003e\u003cbr\u003e Chapitre 5 : Apprentissage efficace sur GPU\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 5.1 Analyse des données chargées sur le GPU\u003cbr\u003e 5.1.1 Types de données des modèles d'apprentissage profond\u003cbr\u003e 5.1.2 Réduction de la taille du modèle par quantification\u003cbr\u003e 5.1.3 Démontage de la mémoire GPU\u003cbr\u003e 5.2 Utilisation efficace d'un seul GPU\u003cbr\u003e __5.2.1 Accumulation du gradient\u003cbr\u003e __5.2.2 Point de contrôle du gradient\u003cbr\u003e 5.3 Apprentissage distribué et ZeRO\u003cbr\u003e 5.3.1 Apprentissage distribué\u003cbr\u003e __5.3.2 Réduction du stockage redondant dans le parallélisme des données (ZeRO)\u003cbr\u003e 5.4 Méthode d'apprentissage efficace (PEFT) : LoRA\u003cbr\u003e 5.4.1 Apprentissage LoRA par reconfiguration d'une partie seulement des paramètres du modèle\u003cbr\u003e __5.4.2 Affichage des paramètres LoRa\u003cbr\u003e 5.4.3 Utilisation de LoRa Learning avec du code\u003cbr\u003e 5.5 Méthode d'apprentissage efficace (PEFT) : QLoRA\u003cbr\u003e __5.5.1 Quantification sur 4 bits et quantification du second ordre\u003cbr\u003e __5.5.2 Optimiseur de page\u003cbr\u003e 5.5.3 Utilisation des modèles QLoRA avec du code\u003cbr\u003e 5.6 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 6 : Étudier le LLM\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 6.1 Ensemble de données Text2SQL\u003cbr\u003e __6.1.1 Exemples de jeux de données Text2SQL \u003cbr\u003e__6.1.2 Ensemble de données coréen\u003cbr\u003e 6.1.3 Utilisation de données synthétiques\u003cbr\u003e 6.2 Préparation du processus d'évaluation des performances\u003cbr\u003e __6.2.1 Méthode d'évaluation Text2SQL\u003cbr\u003e 6.2.2 Constitution d'un ensemble de données d'évaluation\u003cbr\u003e __6.2.3 Invite de génération SQL\u003cbr\u003e __6.2.4 Préparation de l'invite d'évaluation et du code GPT-4\u003cbr\u003e 6.3 Travaux pratiques : Réaliser des réglages fins\u003cbr\u003e 6.3.1 Évaluation du modèle de base\u003cbr\u003e 6.3.2 Réalisation des réglages fins\u003cbr\u003e 6.3.3 Nettoyage et ajustement fin des données d'entraînement\u003cbr\u003e 6.3.4 Modifier le modèle de base\u003cbr\u003e __6.3.5 Comparaison des performances des modèles\u003cbr\u003e 6.4 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 7 : Alléger le modèle\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 7.1 Comprendre l'inférence du modèle de langage\u003cbr\u003e 7.1.1 Comment les modèles de langage génèrent le langage\u003cbr\u003e __7.1.2 Cache KV pour réduire les opérations redondantes\u003cbr\u003e 7.1.3 Architecture GPU et taille optimale des lots\u003cbr\u003e 7.1.4 Réduction de la mémoire cache KV\u003cbr\u003e 7.2 Réduction de la taille du modèle par quantification\u003cbr\u003e __7.2.1 Morceaux et Morceaux\u003cbr\u003e __7.2.2 GPTQ\u003cbr\u003e __7.2.3 AWQ\u003cbr\u003e 7.3 Utilisation de la distillation des connaissances\u003cbr\u003e 7.4 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 8 Servir sLLM\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 8.1 Stratégies de déploiement efficaces\u003cbr\u003e __8.1.1 Disposition générale (disposition statique)\u003cbr\u003e 8.1.2 Déploiement dynamique\u003cbr\u003e 8.1.3 Traitement par lots continu \u003cbr\u003e8.2 Fonctionnement efficace des transformateurs\u003cbr\u003e __8.2.1 Attention flash\u003cbr\u003e __8.2.2 Flash Attention 2\u003cbr\u003e 8.2.3 Encodage de position relative\u003cbr\u003e 8.3 Stratégies d'inférence efficaces\u003cbr\u003e __8.3.1 Fusion du noyau\u003cbr\u003e __8.3.2 Page Attention\u003cbr\u003e 8.3.3 Décodage spéculatif\u003cbr\u003e 8.4 Mise en pratique : Cadre de service LLM\u003cbr\u003e 8.4.1 Service hors ligne\u003cbr\u003e 8.4.2 Service en ligne\u003cbr\u003e 8.5 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003e[Partie 3] Développement d'applications pratiques avec LLM\u003cbr\u003e\u003cbr\u003e Chapitre 9 : Élaboration des demandes de maîtrise en droit\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 9.1 Génération de recherche augmentée (RAG)\u003cbr\u003e 9.1.1 Stockage des données\u003cbr\u003e __9.1.2 Intégration des résultats de recherche dans les invites\u003cbr\u003e __9.1.3 Exercice pratique : Mise en œuvre de RAG avec RamaIndex\u003cbr\u003e Cache LLM 9.2\u003cbr\u003e __9.2.1 Fonctionnement du cache LLM\u003cbr\u003e __9.2.2 Exercice pratique : Implémentation du cache de l’API OpenAI\u003cbr\u003e 9.3 Vérification des données\u003cbr\u003e 9.3.1 Méthode de vérification des données\u003cbr\u003e __9.3.2 Pratique de validation des données\u003cbr\u003e 9.4 Enregistrement des données\u003cbr\u003e __9.4.1 Journalisation de l'API OpenAI\u003cbr\u003e __9.4.2 Journalisation de l'index Rama\u003cbr\u003e 9.5 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 10 : Compression du sens des données grâce aux modèles d’intégration\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 10.1 Comprendre les plongements lexicaux\u003cbr\u003e 10.1.1 Avantages de l'enchâssement de phrases\u003cbr\u003e __10.1.2 Codage One-Hot\u003cbr\u003e __10.1.3 Dos des guerres \u003cbr\u003e__10.1.4 TF-IDF\u003cbr\u003e __10.1.5 Mot au verso\u003cbr\u003e 10.2 Méthode d'intégration de phrases\u003cbr\u003e 10.2.1 Deux façons de calculer les relations entre les phrases\u003cbr\u003e __10.2.2 Structure du modèle de bi-encodeur\u003cbr\u003e __10.2.3 Génération d'embeddings de texte et d'image avec des transformateurs de phrases\u003cbr\u003e __10.2.4 Comparaison des modèles d'intégration open source et commerciaux\u003cbr\u003e 10.3 Exercice pratique : Mise en œuvre de la recherche sémantique\u003cbr\u003e 10.3.1 Mise en œuvre de la recherche sémantique\u003cbr\u003e __10.3.2 Utilisation du modèle de transformateurs de phrases dans RamaIndex\u003cbr\u003e 10.4 Combinaison de méthodes de recherche pour améliorer les performances\u003cbr\u003e __10.4.1 Méthode de recherche par mots clés : BM25\u003cbr\u003e __10.4.2 Comprendre les combinaisons de rangs mutuels\u003cbr\u003e 10.5 Exercices pratiques : Mise en œuvre de la recherche hybride\u003cbr\u003e __10.5.1 Mise en œuvre de BM25\u003cbr\u003e __10.5.2 Mise en œuvre des combinaisons de rangs mutuels\u003cbr\u003e 10.5.3 Mise en œuvre de la recherche hybride\u003cbr\u003e 10.6 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 11 : Création de modèles d’intégration adaptés à vos données : Amélioration du RAG\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 11.1 Deux façons d'améliorer les performances de recherche\u003cbr\u003e 11.2 Création d'un modèle de langage en tant que modèle d'intégration\u003cbr\u003e __11.2.1 Apprentissage contrastif\u003cbr\u003e 11.2.2 Pratique : Préparation à l'apprentissage \u003cbr\u003e__11.2.3 Exercice : Entraînement d’un modèle d’intégration avec des données de phrases similaires\u003cbr\u003e 11.3 Ajustement du modèle d'intégration\u003cbr\u003e 11.3.1 Pratique : Préparation à l'apprentissage\u003cbr\u003e __11.3.2 Réglage fin à l'aide de la perte MNR\u003cbr\u003e 11.4 Réorganisation des classements pour améliorer la qualité de la recherche\u003cbr\u003e 11.5 Implémentation d'un RAG amélioré avec bi-encodeur et encodeur croisé\u003cbr\u003e __11.5.1 Recherche avec le modèle d'intégration par défaut\u003cbr\u003e 11.5.2 Recherche avec un modèle d'intégration affiné\u003cbr\u003e __11.5.3 Combinaison d'un modèle d'intégration finement ajusté avec un encodeur croisé\u003cbr\u003e 11.6 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 12 : Extension aux bases de données vectorielles : Implémentation de RAG\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 12.1 Qu'est-ce qu'une base de données vectorielles ?\u003cbr\u003e __12.1.1 Apprentissage profond et bases de données vectorielles\u003cbr\u003e 12.1.2 Comprendre le terrain de la base de données vectorielles\u003cbr\u003e 12.2 Fonctionnement des bases de données vectorielles\u003cbr\u003e __12.2.1 Recherche KNN et ses limitations\u003cbr\u003e __12.2.2 Qu'est-ce que la recherche ANN ?\u003cbr\u003e __12.2.3 Explorable Small World (NSW)\u003cbr\u003e 12.2.4 Structure hiérarchique\u003cbr\u003e 12.3 Exercice : Comprendre les paramètres clés de l'indice HNSW\u003cbr\u003e __12.3.1 Comprendre le paramètre m \u003cbr\u003e__12.3.2 Comprendre le paramètre ef_construction\u003cbr\u003e __12.3.3 Comprendre le paramètre ef_search\u003cbr\u003e 12.4 Exercice pratique : Mise en œuvre de la recherche vectorielle avec Pinecone\u003cbr\u003e __12.4.1 Comment utiliser le client Pinecone\u003cbr\u003e __12.4.2 Modification de la base de données vectorielles dans RamaIndex\u003cbr\u003e 12.5 Exercice pratique : Mise en œuvre de la recherche multimodale avec Pinecone\u003cbr\u003e __12.5.1 Ensemble de données\u003cbr\u003e __12.5.2 Déroulement de la pratique\u003cbr\u003e __12.5.3 Génération de descriptions d'images avec GPT-4o\u003cbr\u003e __12.5.4 Invite d'enregistrement\u003cbr\u003e __12.5.5 Recherche d'intégration d'images\u003cbr\u003e __12.5.6 Création d'une image avec DALL-E 3\u003cbr\u003e 12.6 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 13 : Suivre un LLM\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 13,1 MLOps\u003cbr\u003e 13.1.1 Gestion des données\u003cbr\u003e 13.1.2 Gestion expérimentale\u003cbr\u003e __13.1.3 Référentiel de modèles\u003cbr\u003e __13.1.4 Surveillance du modèle\u003cbr\u003e 13.2 Qu'est-ce qui différencie LLMOps ?\u003cbr\u003e 13.2.1 Choisir entre un modèle commercial et un modèle open source\u003cbr\u003e 13.2.2 Modifications des méthodes d'optimisation des modèles\u003cbr\u003e 13.2.3 Difficultés liées à l'évaluation du LLM\u003cbr\u003e 13.3 Évaluation du LLM\u003cbr\u003e 13.3.1 Indicateurs quantitatifs\u003cbr\u003e __13.3.2 Évaluation à l'aide d'ensembles de données de référence\u003cbr\u003e 13.3.3 Comment les gens évaluent directement\u003cbr\u003e 13.3.4 Évaluation par le biais du LLM \u003cbr\u003e__13.3.4 Évaluation RAG\u003cbr\u003e 13.4 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003e[Partie 4] Multimodalité, agents et avenir du LLM\u003cbr\u003e\u003cbr\u003e Chapitre 14 Multimodal\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e LLM 14.1 Qu'est-ce qu'un LLM multimodal ?\u003cbr\u003e 14.1.1 Composantes d'un LLM multimodal\u003cbr\u003e __14.1.2 Cours d'apprentissage multimodal LLM\u003cbr\u003e 14.2 Modèle de liaison entre images et texte : CLIP\u003cbr\u003e __14.2.1 Qu'est-ce que le modèle CLIP ?\u003cbr\u003e __14.2.2 Méthode d'apprentissage du modèle CLIP\u003cbr\u003e 14.2.3 Utilisation du modèle CLIP et excellentes performances\u003cbr\u003e 14.2.4 Utilisation directe du modèle CLIP\u003cbr\u003e 14.3 Un modèle de génération d'images à partir de texte : DALL-E\u003cbr\u003e 14.3.1 Principe du modèle de diffusion\u003cbr\u003e Modèle DALL-E __14.3.2\u003cbr\u003e 14.4 LLaVA\u003cbr\u003e __14.4.1 Données d'entraînement de LLaVA\u003cbr\u003e __14.4.2 Structure du modèle LLaVA\u003cbr\u003e __14.4.3 LLaVA 1.5\u003cbr\u003e __14.4.4 LLaVA NeXT\u003cbr\u003e 14.5 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 15 Agent LLM\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 15.1 Qu'est-ce qu'un agent ?\u003cbr\u003e __15.1.1 Composants de l'agent\u003cbr\u003e __15.1.2 Le cerveau de l'agent\u003cbr\u003e __15.1.3 Les sens de l'agent\u003cbr\u003e __15.1.4 Comportement de l'agent\u003cbr\u003e 15.2 Types de systèmes d'agents\u003cbr\u003e 15.2.1 Agent unique\u003cbr\u003e __15.2.2 Interaction agent utilisateur\u003cbr\u003e __15.2.3 Multi-agent\u003cbr\u003e 15.3 Évaluation des agents \u003cbr\u003e15.4 Exercice pratique : Mise en œuvre d’un agent\u003cbr\u003e __15.4.1 Utilisation de base d'AutoGen\u003cbr\u003e __15.4.2 Agent RAG\u003cbr\u003e __15.4.3 Agent multimodal\u003cbr\u003e 15.5 Résumé\u003cbr\u003e\u003cbr\u003e \u003cb\u003eChapitre 16 : Nouvelle architecture\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e 16.1 Avantages et inconvénients des architectures existantes\u003cbr\u003e 16.2 SSM\u003cbr\u003e __16.2.1 S4\u003cbr\u003e 16.3 Mécanisme de sélection\u003cbr\u003e 16.4 Mamba\u003cbr\u003e __16.4.1 Performance de Mamba\u003cbr\u003e 16.4.2 Comparaison avec l'architecture existante\u003cbr\u003e Mamba dans le code 16.5\u003cbr\u003e\u003cbr\u003e \u003cb\u003eAnnexe | Préparation à l'exercice\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e A.1 Comment utiliser Google Colab\u003cbr\u003e A.2 Jeton Visage Câlin\u003cbr\u003e A.3 Jeton OpenAI\u003c\/div\u003e\n\u003cdiv\u003e\u003c\/div\u003e\n\u003c\/div\u003e\n\u003cbr\u003e\u003cdiv\u003e\u003ch5\u003e \u003cb\u003eImage détaillée\u003c\/b\u003e \u003c\/h5\u003e\u003c\/div\u003e\n\u003cdiv\u003e\u003cdiv\u003e\u003cimg src=\"https:\/\/image.yes24.com\/momo\/TopCate4618\/MidCate010\/461793209.jpg\" border=\"0\" alt=\"Image détaillée 1\"\u003e\u003c\/div\u003e\u003c\/div\u003e\n\u003cbr\u003e\u003cdiv\u003e\u003ch5\u003e \u003cb\u003eAvis de l'éditeur\u003c\/b\u003e\n\u003c\/h5\u003e\u003c\/div\u003e\n\u003cdiv\u003e\n\u003cdiv\u003e \u003cb\u003e| Ce que ce livre aborde |\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e - Architecture Transformer, au cœur du LLM\u003cbr\u003e - Comment créer un ChatGPT : Optimisation de la carte et RLHF\u003cbr\u003e - Apprenez-en davantage sur le LLM open source avec vos propres données\u003cbr\u003e - Modèle léger pour l'application LLM\u003cbr\u003e - Mise en œuvre et amélioration du RAG à l'aide de l'indice de Rama\u003cbr\u003e - LLM multimodal qui traite à la fois les images et les voix\u003cbr\u003e - Architecture d'agent combinant mémoire à long terme et outils dans LLM\u003cbr\u003e\u003cbr\u003e \u003cb\u003e| Public cible de ce livre |\u003c\/b\u003e\u003cbr\u003e \u003cbr\u003e- Développeurs souhaitant créer des applications d'IA à l'aide de LLM\u003cbr\u003e - Les développeurs curieux de connaître les principes et les technologies sous-jacentes du modèle plutôt que de simplement utiliser l'API LLM.\u003cbr\u003e - Étudiants et demandeurs d'emploi souhaitant devenir ingénieurs en IA\u003cbr\u003e - Les étudiants diplômés qui souhaitent organiser rapidement des articles et des technologies liés au LLM\u003cbr\u003e\u003cbr\u003e \u003cb\u003e| Télécharger le code d'entraînement GitHub |\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e Le code d'exercice se trouve dans le dépôt GitHub du livre (https:\/\/github.com\/onlybooks\/llm).\u003cbr\u003e Le code provenant de GitHub peut être utilisé dans Google Colab de deux manières :\u003cbr\u003e\u003cbr\u003e 1.\u003cbr\u003e Téléchargement depuis le local : Clonez le code depuis GitHub vers votre environnement local ou téléchargez-le sous forme de fichier compressé, puis ouvrez le fichier notebook (ipynb) dans le dossier d'exercices que vous souhaitez utiliser dans Google Colab.\u003cbr\u003e Vous pouvez procéder avec la partie humide.\u003cbr\u003e 2. \u003cbr\u003eOuvrir avec une URL GitHub : lorsque vous sélectionnez Ouvrir le notebook dans Google Colab (Ctrl+O), vous pouvez ouvrir le notebook d’exercice via l’URL du code dans l’onglet GitHub parmi les différentes façons d’ouvrir le notebook.\u003cbr\u003e\u003cbr\u003e \u003cb\u003e| Environnement d'exécution du code pour ce livre |\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e Les exercices de ce livre sont réalisés sur Google Colab.\u003cbr\u003e Google Colab est un environnement d'exécution de notebooks fourni par Google, qui peut être exécuté dans un navigateur avec une interface utilisateur similaire à celle de Jupyter Notebook de Python.\u003cbr\u003e Google Colab fournit également un GPU T4 (16 Go) pour une utilisation gratuite.\u003cbr\u003e La version gratuite de Google Colab a une durée d'exécution limitée à 12 heures et peut se déconnecter si elle reste inutilisée pendant une période prolongée.\u003cbr\u003e\u003cbr\u003e \u003cb\u003e[Note de l'auteur]\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e En juillet 2024, date de rédaction de cet article, les mots-clés du marché de l'IA et du LLM pouvaient être définis comme étant « multimodale, agent et IA embarquée ». \u003cbr\u003eLe terme « multimodal » désigne un modèle d'IA qui traite différents types de données, comme du texte, des images, de la voix et de la vidéo, tandis qu'un agent désigne un système plus avancé dans lequel un modèle d'IA possède une mémoire à long terme et utilise divers outils, comme les recherches sur Internet et l'exécution de code, pour résoudre les problèmes des utilisateurs.\u003cbr\u003e L'IA embarquée désigne les modèles d'IA fonctionnant directement sur l'appareil de l'utilisateur, plutôt que dans le cloud ou sur des serveurs haute performance.\u003cbr\u003e L'avantage est que les utilisateurs peuvent utiliser des modèles d'IA sans craindre que leurs informations personnelles ne soient divulguées, car leurs informations ne quittent pas l'appareil.\u003cbr\u003e Cette tendance majeure du marché des LLM peut être confirmée par les modèles et projets récemment publiés par les principales entreprises d'IA.\u003cbr\u003e\u003cbr\u003e En mai 2024, OpenAI a dévoilé GPT-4o, un nouveau modèle de langage capable de voir, d'entendre et de parler. \u003cbr\u003eLe lendemain, Google DeepMind a dévoilé le projet Astra, un agent multimodal qui fait quasiment la même chose.\u003cbr\u003e En juin 2024, Anthropic a publié son modèle Claude 3.5 Sonnet, qui a surpassé le GPT-40 d'OpenAI.\u003cbr\u003e Sonnet est le nom du modèle de milieu de gamme d'Anthropic.\u003cbr\u003e Cela nous laisse présager d'excellentes performances pour le prochain modèle haut de gamme, le Claude 3.5 Opus.\u003cbr\u003e\u003cbr\u003e En juin 2024, Apple a annoncé un nouveau nom pour les capacités d'IA exécutées sur ses appareils : Apple Intelligence.\u003cbr\u003e Depuis la sortie de ChatGPT, Apple n'a montré aucun progrès significatif dans la recherche et le développement en IA, ce qui amène beaucoup à penser qu'Apple est en train de perdre son leadership à l'ère de l'IA. \u003cbr\u003eCependant, Apple a fait preuve de confiance en utilisant un nom provocateur qui signifie IA, pouvant également se lire Apple Intelligence, et le marché affiche également de grandes attentes.\u003cbr\u003e\u003cbr\u003e Pour comprendre les mots-clés mentionnés jusqu'à présent, il est nécessaire de comprendre les modèles d'IA les plus récents, notamment les grands modèles de langage, et comment les utiliser.\u003cbr\u003e\u003cbr\u003e Ce livre aborde à la fois les modèles eux-mêmes et leur application, aidant ainsi les lecteurs à se tenir au courant des tendances récentes du marché de l'IA.\u003cbr\u003e Les deux premières parties du livre (chapitres 1 à 8) présentent les principes du LLM et le modèle lui-même, y compris comment apprendre le modèle et comment faire des inférences, pour vous aider à le comprendre en profondeur.\u003cbr\u003e La partie 3 du livre (chapitres 9 à 13) explore les composants nécessaires au développement d'applications utilisant LLM et la génération augmentée par récupération (RAG). \u003cbr\u003eEnfin, la partie 4 (chapitres 14 à 16) introduit la multimodalité, les agents et les architectures LLM nouvellement étudiées, offrant un aperçu du futur proche du LLM.\u003cbr\u003e\u003cbr\u003e \u003cb\u003e[Note de l'éditeur]\u003c\/b\u003e\u003cbr\u003e\u003cbr\u003e Avant d'aborder le développement d'applications LLM, il est nécessaire de se demander pourquoi ces applications sont si attrayantes pour les gens.\u003cbr\u003e De nombreuses technologies ont émergé puis disparu au fil des ans, mais les principales technologies encore utilisées aujourd'hui se distinguent par des paradigmes de développement ou d'utilisation considérablement avancés.\u003cbr\u003e Pour déterminer si les applications LLM vont se généraliser et devenir un outil essentiel pour les développeurs, il est préférable d'examiner d'abord les changements en cours.\u003cbr\u003e\u003cbr\u003e\u003cbr\u003e Commençons par les changements côté utilisateur.\u003cbr\u003e Même aujourd'hui, il est nécessaire de garder à l'esprit la recherche pour acquérir des connaissances. \u003cbr\u003eLorsqu'un utilisateur saisit un mot-clé ou une combinaison de mots dans un moteur de recherche, une liste de documents correspondants apparaît comme par magie.\u003cbr\u003e Au départ, les listes étaient compilées méticuleusement, élément par élément, comme un annuaire téléphonique, afin d'en améliorer la qualité. Mais l'avènement de la surcharge informationnelle a rapidement entraîné l'automatisation. Le moteur de recherche le plus emblématique, la série AltaVista, ne disposait pas d'un algorithme performant pour le classement des résultats ; il fallait donc parcourir manuellement de nombreuses listes.\u003cbr\u003e Puis, Google, sur lequel nous nous appuyons encore aujourd'hui, est arrivé et a considérablement amélioré la qualité de la recherche, permettant de trouver ce que l'on cherchait dès la première page.\u003cbr\u003e\u003cbr\u003e\u003cbr\u003e Mais récemment, l'accent s'est déplacé de la recherche vers la formulation de questions. \u003cbr\u003eDans notre société actuelle, où tout va très vite, même l'ouverture d'une liste élément par élément est devenue fastidieuse, et la qualité des résultats de recherche ne cesse de se dégrader par rapport au passé, notamment à cause de pratiques abusives sous couvert d'optimisation pour les moteurs de recherche. On peut donc y voir la réponse au désir de poser une question et d'obtenir la réponse souhaitée.\u003cbr\u003e Dans le cas de ChatGPT ou de Google Gemini, la multimodalité est prise en charge, vous pouvez donc poser et recevoir des questions en combinant images et texte.\u003cbr\u003e\u003cbr\u003e Ensuite, nous devons examiner les changements survenus dans l'apprentissage automatique et l'apprentissage profond.\u003cbr\u003e Avant l’avènement de l’IA générative et des grands modèles de langage (LLM), la plupart des modèles d’apprentissage automatique et d’apprentissage profond étaient spécifiques à un domaine.\u003cbr\u003e En d'autres termes, des travaux de recherche et de développement ont été menés pour résoudre efficacement des problèmes de portée limitée, afin que des prédictions et des analyses puissent être réalisées en utilisant les données accumulées dans le domaine concerné. \u003cbr\u003eBien sûr, lorsque le monde de l'apprentissage profond a commencé, les infrastructures de big data, de cloud et de GPU existaient déjà, mais il n'y avait pas de percée technologique ou économique permettant de les étendre à des fins générales.\u003cbr\u003e Par exemple, dans le domaine des images, divers modèles d'apprentissage profond ont émergé, à commencer par le jugement de chiffres à l'aide de l'ensemble de données MNIST et divers jugements de classe à l'aide de l'ensemble de données CIFAR-10, et même YOLO, qui peut identifier l'emplacement des objets et juger les classes en temps réel, mais ils sont tous limités à la classification d'images.\u003cbr\u003e\u003cbr\u003e\u003cbr\u003e Cependant, avec l'émergence de l'IA générative, elle évolue vers un modèle à usage général capable d'effectuer diverses tâches.\u003cbr\u003e Par exemple, ChatGPT est très performant pour répondre non seulement aux questions générales, mais aussi aux questions spécialisées telles que les questions médicales ou juridiques, et les modèles avancés tels que GPT-4V ou 4o qui prennent en charge la multimodalité peuvent également répondre aux questions concernant les tableaux ou les images. \u003cbr\u003eIl est également considéré comme un outil polyvalent car il peut générer du code Python à l'exécution et afficher les résultats de l'exécution dans un environnement isolé lorsque des calculs complexes ou des sorties graphiques sont nécessaires.\u003cbr\u003e L'IA générative démontre des cas d'utilisation diversifiés, notamment les questions-réponses, la traduction, la classification, le résumé, l'analyse, la modification stylistique et l'analyse des sentiments, et évolue au-delà de l'information et du soutien à la décision pour atteindre le niveau du raisonnement autonome.\u003cbr\u003e\u003cbr\u003e\u003cbr\u003e Enfin, il ne faut pas oublier les changements survenus dans le développement lui-même, qui sont susceptibles d'intéresser le plus les développeurs.\u003cbr\u003e Les premiers langages de programmation étaient axés sur la logique. Les langages fonctionnels comme LISP mettaient à l'épreuve les capacités de calcul humaines en s'appuyant sur la théorie mathématique. Les méthodes procédurales ont été introduites par Fortran, Pascal et le langage C. Les techniques orientées objet ont été introduites par C++ et Java. \u003cbr\u003eParallèlement, les progrès se sont concentrés sur les données. SQL a facilité la manipulation de données structurées sous forme de tableaux, et avec l'avènement du Big Data, il est devenu possible de traiter non seulement des données structurées, mais aussi des données semi-structurées et non structurées.\u003cbr\u003e\u003cbr\u003e\u003cbr\u003e Parallèlement, avec l'émergence récente de l'IA générative, une autre vague de changement se fait sentir.\u003cbr\u003e Une nouvelle méthode a vu le jour : utiliser un langage plus proche des humains que des ordinateurs pour implémenter la logique métier ! Cette technique, également appelée ingénierie des prompts, orchestre les entrées du langage pour obtenir les résultats souhaités et ajuste la sortie afin d’atteindre le résultat escompté. \u003cbr\u003eComme les invites sont plus proches du langage utilisé par les humains, il est difficile de garantir leur exactitude, mais en contrepartie, on gagne en flexibilité et en extensibilité, ce qui a permis de mettre en œuvre facilement une logique métier qui était auparavant assez difficile à implémenter.\u003cbr\u003e\u003cbr\u003e L'émergence de l'IA générative s'accompagne de nombreux changements, et les développeurs doivent se préparer à s'adapter.\u003cbr\u003e Si vous développez une application avec la structure existante navigateur web (ou application) - WAS (serveur d'applications web) - base de données (relationnelle ou NoSQL), vous devez identifier les cas d'utilisation de LLM en fonction des exigences de l'entreprise et modifier l'architecture en conséquence. \u003cbr\u003eUne technologie particulièrement intéressante est la génération de recherche augmentée (RAG), qui a récemment suscité un vif intérêt dans le monde de l'entreprise. RAG est une application qui utilise une technologie d'intégration de documents et de données au sein de l'entreprise pour construire une base de connaissances sous forme de base de données vectorielle. Elle extrait ensuite de cette base les fragments de documents les plus pertinents pour la question de l'utilisateur et les fait synthétiser par un assistant logiciel.\u003cbr\u003e\u003cbr\u003e \u003cbr\u003eAlors que les méthodes de recherche traditionnelles, basées sur des algorithmes tels que TF\/IDF ou BM25, encodent les mots (mots-clés) d'une phrase à l'aide de vecteurs creux, la recherche sémantique utilisée dans RAG emploie des vecteurs denses pour encoder le sens abstrait et les relations entre les mots. Elle s'avère ainsi parfaitement compatible avec LLM, qui excelle dans le traitement automatique du langage naturel. RAG illustre parfaitement la mise en œuvre concrète du concept d'entropie de l'information, défendu par Claude Shannon dans les années 1950. Elle combine judicieusement les deux technologies majeures que sont l'intégration et LLM pour optimiser le traitement d'informations aux significations multiples. Les développeurs pourront ainsi puiser une riche source d'inspiration dans cet écosystème technologique.\u003cbr\u003e\u003cbr\u003e \u003cbr\u003eCe livre commence par présenter l'architecture de base de LLM, l'adapte aux exigences des applications, le rend léger pour une utilisation dans des environnements informatiques limités et jette les bases d'une prestation de services fluide. Il explique ensuite étape par étape comment créer une application LLM représentative appelée RAG.\u003cbr\u003e Cela ne s'arrête pas là, mais couvre également la manière de surmonter les difficultés rencontrées lors de l'exploitation réelle, ainsi que des sujets avancés tels que la multimodalité et les agents.\u003cbr\u003e En d'autres termes, il explique les connaissances en matière de développement essentielles à l'ère du LLM d'un point de vue à la fois théorique et pratique, ce qui constituera un soulagement bienvenu pour les développeurs cherchant à s'adapter au nouveau paradigme.\u003cbr\u003e Je recommande vivement ce produit à tous les développeurs qui travaillent constamment dans le domaine de la recherche et du développement.\u003cbr\u003e\u003cbr\u003e - Jaeho Park \/ Responsable du blog « Computer vs. Book » et traducteur de « Clean Code: Now Python » (Bookman, 2022) \u003c\/div\u003e\n\u003cdiv\u003e\u003c\/div\u003e\n\u003c\/div\u003e\n\u003c\/div\u003e\n\n\n\u003c\/div\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003cdiv style=\"width:95%;padding-top:20px;padding-bottom:20px\"\u003e\n\n\u003cdiv style=\"text-align:left;font-size:16px;font-weight:bold;padding-bottom:20px\"\u003e SPÉCIFICATIONS DES PRODUITS\u003c\/div\u003e\n\n\u003cdiv style=\"text-align:left;font-size:14px;line-height:1.6em;\"\u003e\n\n \u003cdiv style=\"width:100%;margin-bottom:5px;line-height:1.6em;font-size:14px\"\u003e- \u003cstrong\u003eDate d'émission :\u003c\/strong\u003e 25 juillet 2024\u003c\/div\u003e\n\n\u003cdiv style=\"width:100%;margin-bottom:5px;line-height:1.6em;font-size:14px\"\u003e \u003cstrong\u003eNombre de pages, poids, dimensions :\u003c\/strong\u003e 556 pages | 1 030 g | 184 × 240 × 28 mm\u003c\/div\u003e\n\n\u003cdiv style=\"width:100%;margin-bottom:5px;line-height:1.6em;font-size:14px\"\u003e - \u003cstrong\u003eISBN13 :\u003c\/strong\u003e 9791189909703\u003c\/div\u003e\n\n\u003cdiv style=\"width:100%;margin-bottom:5px;line-height:1.6em;font-size:14px\"\u003e - \u003cstrong\u003eISBN10 :\u003c\/strong\u003e 1189909707 \u003c\/div\u003e\n\n\n\u003c\/div\u003e\n\n\n\u003c\/div\u003e\n\n\n\u003c\/div\u003e\n\n\u003ccenter\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003ccenter\u003e\u003ctable\u003e\u003ctr\u003e\u003ctd style=\"height:10px\"\u003e\u003c\/td\u003e\u003c\/tr\u003e\u003c\/table\u003e\u003c\/center\u003e\n\n\u003cspan\u003e\u003c\/span\u003e\n\n\u003c\/center\u003e\n\n\n\u003c\/center\u003e","brand":"LIBRAIRIE COREENNE","offers":[{"title":"Default Title","offer_id":43893684568106,"sku":"110165","price":46.0,"currency_code":"EUR","in_stock":true}],"thumbnail_url":"\/\/cdn.shopify.com\/s\/files\/1\/0683\/2750\/5962\/files\/5af9db55b3df68eb95500569ca558635.jpg?v=1765411655","url":"https:\/\/librairie.coreenne.fr\/products\/110165","provider":"LIBRAIRIE COREENNE","version":"1.0","type":"link"}