Recommandation
Entrée
Structure de ce livre
Aménager votre environnement de travail

Chapitre 1 : Exploration de la chaîne de langage

1.
Aperçu de Langchain
__1.1 Package principal Langchain
__1.2 Mises à jour des fonctionnalités spécifiques à la version de Langchain
__1.3 Pourquoi devrais-je utiliser Langchain ?
1.4 Principaux cas d'utilisation de Langchain
2.
Modèles de langage à grande échelle
__2.1 Langchain contre API OpenAI
__2.2 Définition des paramètres du modèle de langage à grande échelle
__2.3 Principaux modèles de langage à grande échelle disponibles dans LangChain
3.
Langage d'expression Langchain
__3.1 Interface standard exécutable
3.2 Comment enchaîner les processus exécutables
4.
rapide
__4.1 Fewshot Prompt
__4.2 Centre d'invite
5.
Analyseur de sortie
5.1 Trois méthodes principales de l'analyseur de sortie
__5.2 Analyseur de sortie Pydantic
__5.3 Analyseur de sortie JSON simple
__5.4 Analyseur de sortie JSON
6.
Gestion de la mémoire : conservation de l’historique des conversations
6.1 Transfert de l'historique de conversation de base
6.2 Gestion et traitement de l'historique des conversations
6.3 Gestion automatique de l'historique des conversations
6.4 Résumé et élagage de l'historique des conversations

Chapitre 2 : Principes fondamentaux et pratique de la génération de recherche augmentée

1.
Aperçu de la génération d'augmentation de la recherche
__1.1 Intégration de texte
__1.2 Similitude cosinus
__1.3 Utilisation de l'API d'intégration Langchain
2.
Chargeur de documents
__2.1 Chargeur de page Web
__2.2 Chargeur PDF
Chargeur CSV __2.3
3.
Segmentation du texte
__3.1 Division récursive du texte en fonction de la longueur et du délimiteur
3.2 Segmentation sémantique basée sur le sens
4.
Base de données vectorielles
__4.1 Chroma
__4.2 Tarte
5. Exercices pratiques avec le chatbot RAG
__5.1 Implémentation du chatbot RAG
5.2 Application de l'interface utilisateur Streamlet au chatbot

Chapitre 3 Traitement complexe des données à l'aide de RAG multimodal

1.
Aperçu multimodal de RAG
__1.1 Qu'est-ce que le RAG multimodal ?
1.2 Pourquoi le RAG multimodal est difficile
2.
Comment implémenter un RAG multimodal ?
__2.1 Inclure toutes les modalités dans le même espace vectoriel
__2.2 Exprimer toutes les modalités comme une seule modalité de base
__2.3 Gestion de différentes modalités dans des référentiels séparés
3.
Pratique RAG multimodale
3.1 Paramètres d'environnement
3.2 Prétraitement des données
__3.3 Détecteur multi-vecteurs
3.4 Mise en œuvre multimodale RAG

Chapitre 4 : Stratégies d’amélioration RAG pour optimiser la recherche et la réponse

1.
stratégie de découpage
1.1 Division parent-enfant
2.
Transformation de requête
__2.1 Création de plusieurs requêtes
__2.2 Intégration de documents virtuels
3.
Algorithme de recherche
3.1 Recherche clairsemée
3.2 Recherche dense
3.3 Recherche d'ensemble
4.
Post-traitement des documents
__4.1 Réordonnancement à grande échelle et haute performance basé sur un modèle de langage
4.2 Réordonnancement basé sur l'encodeur croisé
5.
Méthodologie RAG étendue
5.1 Aperçu de l'auto-évaluation RAG
5.2 Mise en œuvre de l'auto-RAG

Chapitre 5 : Utiliser le graphe RAG avec un graphe de connaissances

1.
Aperçu de Graph RAG
1.1 Limites de la méthode RAG existante
__1.2 Qu'est-ce qu'un graphe de connaissances ?
__1.3 Processus de fonctionnement du graphique RAG
2.
Création d'une base de données graphiques
__2.1 Processus de construction de la base de données graphiques
__2.2 Exercices pratiques de construction de bases de données graphiques
3.
Requête RAG du graphe
3.1 Processus de requête Graph RAG
3.2 Exercices pratiques sur les requêtes RAG sur les graphes
4.
Implémentation de GraphRAG avec Neo4j et Langchain
__4.1.
Intégration du graphe de connaissances et de Neo4j

Chapitre 6 : Conception de pipelines RAG avec Langgraph

1.
Composants d'un graphe de langage
__1.1 Graphique
__1.2 statut
__1.3 nœud
__1.4 Bord
2.
Utilisation de Langgraph
2.1 Implémentation d'une boucle
__2.2 Mise en œuvre des instructions conditionnelles
__2.3 Streaming
2.4 Sauver l'État
__2.5 Interrompre la boucle
3.
Pratique du Langgraph
3.1 Autocorrection - RAG
__3.2 Chatbot d'assistance au code

Chapitre 7 RAG avec agents réactifs

1.
Chaîne de pensées
2.
Agent RAG
2.1 Préparation des bibliothèques et des données
__2.2 Création d'un outil d'agent
__2.3 Paramètres d'invite de l'agent
__2.4 Création d'un objet agent
__2.5 Exercices RAG de l'agent

Chapitre 8 : Optimisation du LLM pour améliorer les performances RAG

1. Examiner le document RAFT
1.1 Échantillon négatif
__1.2 Chaîne de pensées
2.
Conseils pour améliorer ses performances
__2.1 Aucune donnée de réponse
2.2 Citation de la source
3. Examen du jeu de données d'entraînement RAG
3.1 Introduction aux données d'entraînement
3.2 Exploration des données d'entraînement
4.
Ajustement précis de votre LLM local Qwen
4.1 Mise en place d'un environnement d'entraînement avec Runpot
4.2 Prétraitement des données
4.3 Comprendre le modèle Qwen
4.4 Paramètres d'apprentissage de Laura
4.5 Environnements d'apprentissage
4.6 Encodage des entiers
4.7 Test du modèle
4.8 Arrêt du GPU

Chapitre 9 : Optimisation des modèles d’intégration

1.
Principes d'apprentissage des modèles d'intégration
1.1 Apprentissage contrastif
1.2 Composition du jeu de données
1.3 Échantillonnage négatif au sein d'un lot
__1.4 Perte de classement due à des nombres multiples négatifs
1.5 Comprendre le code d'apprentissage
2.
Comment améliorer ses performances pendant l'apprentissage
2.1 Augmentation de la taille du lot
2.2 Sélection négative stricte
2.3 Autres conseils pour améliorer les performances d'apprentissage
3.
Réglage fin pratique
3.1 Chargement des données
3.2 Sélection négative stricte
3.3 Génération de données synthétiques
3.4 Chargement du modèle
3.5 Prétraitement des données d'évaluation
3.6 Entraînement du modèle
3.7 Index d'évaluation des performances de recherche
3.8 Évaluation du modèle de réglage fin

En conclusion
Recherche

Du multimodal au graphe RAG, au graphe de langage, à l'agent ReAct et au réglage fin
Service pratique de LLM complété avec RAG

Malgré leurs performances exceptionnelles, les modèles de langage à grande échelle (LLM), tels que ChatGPT, ont des limites quant à la fourniture d'informations à jour ou d'informations détaillées sur des documents spécifiques.
Une technologie représentative qui résout ce problème est RAG (Augmented Search Generation).

Ce livre couvre tout, des principes fondamentaux de RAG, essentiels à la construction de services basés sur LLM, aux différentes techniques avancées.
En plus des concepts de base de RAG, nous vous guiderons étape par étape à travers des sujets avancés nécessaires en pratique, tels que RAG multimodal, RAG graphique, pipelines utilisant des graphes de langage, RAG d'agent et réglage fin.
De plus, nous abordons systématiquement les technologies essentielles à la mise en œuvre de RAG, telles que l'intégration de texte, la segmentation de texte sémantique et l'utilisation de bases de données vectorielles, à travers la théorie et la pratique.
Cela fournit des connaissances et un savoir-faire utiles à tous, des débutants en développement de services LLM aux développeurs cherchant à acquérir une expérience pratique.

Ce livre explique notamment en détail comment utiliser LangChain, un framework optimisé pour l'implémentation RAG.
LangChain est un framework puissant qui fournit diverses fonctions et modules pour développer facilement et rapidement des applications d'IA basées sur LLM.


Tous les exemples sont conçus pour être faciles à suivre par tous, même sans configuration complexe, en utilisant Google Colab et LangChain.
En suivant pas à pas les exercices RAG détaillés proposés dans ce livre, vous acquerrez naturellement la capacité de développer des applications d'IA immédiatement applicables à des situations commerciales réelles, telles que les chatbots et les systèmes de recherche de connaissances basés sur les données d'entreprise.

Recommandé pour ces personnes !

● Utilisateurs Python débutants à intermédiaires intéressés par le développement de l'IA
● Étudiants, développeurs et chercheurs souhaitant apprendre Langchain et RAG
● Développeurs et ingénieurs souhaitant développer des systèmes basés sur LLM et RAG
● Les professionnels envisageant de créer un chatbot et un système de recherche de connaissances à partir de données d'entreprise

- Structure de ce livre -

Ce livre se compose de neuf chapitres, couvrant étape par étape les principes fondamentaux de la technologie RAG, des bases aux diverses méthodes d'application pratique.

Le chapitre 1 explique en détail les principaux concepts et fonctions de Langchain.
Nous abordons en détail les concepts qui constituent la base de l'implémentation RAG, notamment la compréhension du modèle de langage utilisé dans LangChain, les méthodes d'écriture d'invites, l'utilisation des analyseurs syntaxiques de sortie et les techniques de gestion de la mémoire.

Au chapitre 2, nous apprendrons et mettrons en pratique les principes de base de la méthode RAG.
Nous allons construire des bases solides en abordant des concepts tels que l'intégration de texte et la similarité cosinus, les méthodes de chargement et de segmentation de documents, ainsi que le processus de mise en œuvre de base d'un chatbot utilisant une base de données vectorielle.

Au chapitre 3, nous examinerons le RAG multimodal, qui peut être utilisé avec différents types de données tels que des images ainsi que du texte.
De la nécessité d'un RAG multimodal aux méthodes de mise en œuvre et à la pratique concrète, vous apprendrez des méthodes d'application pratiques.

Au chapitre 4, nous apprendrons des stratégies avancées spécifiques pour améliorer les performances de RAG.
Nous abordons les stratégies efficaces de segmentation des documents, les méthodes de transformation des requêtes, les algorithmes de recherche, le réordonnancement des documents, et même la technique Self-RAG, qui développe davantage ces stratégies.

Le chapitre 5 présente Graph RAG, qui surmonte les limitations de RAG en utilisant des graphes de connaissances.
Nous apprendrons à construire une base de données graphiques à l'aide de Neo4j et à l'utiliser pour des requêtes réelles.

Le chapitre 6 explique comment rendre le système RAG plus flexible et sophistiqué en tirant parti des graphes de langage.
Comprendre les concepts et les composants essentiels des graphes de langage, et apprendre à implémenter des RAG complexes, tels que les instructions conditionnelles et les structures de boucle, par la pratique.

Le chapitre 7 explique comment mettre en œuvre un système RAG plus intelligent et automatisé en tirant parti des agents React.
Comprendre les principes de fonctionnement des agents, créer des outils pour agents et pratiquer concrètement le RAG.

Le chapitre 8 traite du réglage fin du modèle de langage pour améliorer encore les performances de RAG.
Nous fournissons des explications détaillées sur la nécessité d'un réglage fin, les méthodes de préparation des données, la configuration de l'environnement d'apprentissage et le processus de réglage fin d'un modèle LLM local réel (Qwen), en fournissant des conseils qui peuvent être directement appliqués en pratique.

Enfin, le chapitre 9 explique comment ajuster directement le modèle d'intégration pour maximiser les performances de récupération, ce qui est au cœur de RAG.
Apprenez les principes et l'application des méthodes d'apprentissage par intégration efficaces, et acquérez des connaissances pratiques en matière de création de données d'entraînement à partir de données réelles pour modéliser l'entraînement, l'évaluation des performances de récupération et des conseils d'optimisation des performances.