[Partie 1] Flux LLMOps de base

▣ Chapitre 1 : Flux LLMOps
1.1 Contexte : Le processus itératif de création d'une demande de maîtrise en droit (LLM)
1.2 Pourquoi LLMOps est nécessaire
1.3 Différences entre MLOps et LLMOps
1.3.1 Complexité et échelle du modèle
1.3.2 Gestion et traitement des données
__1.3.3 Personnalisation et optimisation
1.3.4 Surveillance
1.4 Flux de travail LLMOps

▣ Chapitre 2 : Connaissances de base pour le développement de candidatures au LLM
2.1 Sélection du modèle LLM
__2.1.1 Modèle commercial fermé
__2.1.2 Modèle open source
2.1.3 Différences entre les modèles à source fermée et à source ouverte
2.1.4 Sélection d'un modèle en fonction des besoins métier
2.2 Ajustement des paramètres LLM en fonction du type d'application
2.3 Éléments de l'invite
__2.3.1 Composantes de l'invite
__2.3.2 Rôle de l'invite
__2.3.3 Modèles d'invite

▣ Chapitre 3 : Développement d’une application pratique de classification des demandes clients
3.1 Présentation de l'application de classification des demandes clients
3.2 Sélection du modèle de langage
__3.2.1 API de messages d'Antropic
3.2.2 Accès aux modèles open source via Olama
3.3 Présentation de Langchain
__3.3.1 Pourquoi utiliser Langchain ?
3.3.2 Installation de Langchain et création d'exemples d'applications
3.4 Notions de base de Langchain
__3.4.1 Modèle d'invite
__3.4.2 Modèle de chat
__3.4.3 Analyseur de sortie
__3.4.4 LCEL
3.5 Développement d'une application pratique avec LangChain
3.5.1 Définition du modèle
3.5.2 Définition de l'analyseur de sortie
3.5.3 Développement de la chaîne d'applications

▣ Chapitre 4 : Développement d’outils LLMOps
4.1 Le besoin d'outils LLMOps
__4.1.1 Gestion des versions des invites
4.1.2 Gestion des ensembles de données à des fins d'évaluation
4.1.3 Critères et méthodes d’évaluation des performances
4.2 Fonctionnalités et composants essentiels de l'outil LLMOps
4.2.1 Fonction de test
4.2.2 Fonctionnalités de gestion des invites et de versionnage
4.2.3 Évaluation
4.2.4 Fonction de gestion des ensembles de données
4.3 Configuration de l'environnement de développement
4.3.1 Streamlet pour créer facilement des applications web basées sur Python
4.3.2 SQLite pour le stockage des données
4.4 Fonction de test LLM
4.4.1 Pourquoi tester l'interface utilisateur est nécessaire
4.4.2 Implémentation d'une classe de gestion de modèle prise en charge par la fonction de test
4.4.3 Création d'un menu de test à l'aide de Streamlet
4.5 Gestion des invites et versionnage
4.5.1 Pourquoi une gestion rapide est nécessaire
4.5.2 Conception de tableaux pour une gestion rapide
4.5.3 Implémentation d'une classe pour la gestion des prompteurs
__4.5.4 Améliorations du menu de test Streamlet : prise en charge de l’enregistrement des invites et du versionnage
__4.5.5 Implémentation d'une classe pour gérer des modèles d'invite spécifiques
4.6 Critères d'évaluation
4.6.1 Divers indicateurs d'évaluation
4.6.2 Implémentation d'une classe d'évaluateur qui génère des métriques d'évaluation
4.6.3 Création et utilisation des évaluateurs
4.7 Ensemble de données
4.7.1 Conception de tableaux pour la gestion des ensembles de données
4.7.2 Implémentation de la classe de stockage de l'ensemble de données
4.7.3 Implémentation d'une classe pour la gestion d'un seul ensemble de données
4.7.4 Création d'un menu de gestion des jeux de données à l'aide de Streamlet
4.8 Évaluation de l'ensemble de données
4.8.1 Conception du tableau pour l'évaluation des ensembles de données
__4.8.2 Implémentation de la classe d'évaluation du jeu de données
4.8.3 Création d'un menu d'exécution d'évaluation à l'aide de Streamlet
4.8.4 Création d'un menu pour afficher les résultats d'évaluation à l'aide de Streamlet
4.9 Configuration du menu LLMOps

▣ Chapitre 5 : Gestion des candidatures LLM à l’aide des outils LLMOps
5.1 Concevoir et créer une ébauche de consigne
5.2 Constitution de l'ensemble de données
5.3 Évaluation des progrès
5.4 Ajout d'une nouvelle version de l'invite
5.5 Comparez les indicateurs d'évaluation par version pour prendre une décision.
5.6 Répondez aux questions en fonction des résultats de l'évaluation

[Partie 2] Flux LLMOps pour RAG

▣ Chapitre 6 : Application pratique d’un chatbot d’assurance basé sur le système RAG
6.1 Aperçu de l'application de chatbot de demande d'assurance
6.2 Flux de travail général de génération de recherche augmentée (RAG)
6.2.1 Processus d'indexation des documents
6.2.2 Processus de génération des réponses
6.2.3 Paradigme RAG supplémentaire
6.3 Utilisation de la base de données vectorielles Pinecone
6.3.1 Exercice : Trouver des documents similaires à l'aide de Pinecone
6.4 Lecture des fichiers PDF et indexation dans une base de données vectorielle
6.4.1 Segmentation des documents
__6.4.2 Vectorisation des segments de documents
__6.4.3 Index
6.5 Trouvez les documents les plus similaires à la question saisie
__6.5.1 Recherche de documents candidats à l'aide du modèle d'intégration (10 documents)
__6.5.2 Filtrage final avec modèle de réordonnancement (3)
6.6 Élaboration d'une chaîne d'application pratique
6.6.1 Recherche : Trouver des documents similaires
6.6.2 Générer : Générer des réponses à partir de documents

▣ Chapitre 7 : Développement d’outils LLMOps pour RAG
7.1 Fonctions de l'outil pour le système RAG
7.2 Mise en œuvre de l'évaluateur RAG
7.2.1 Comprendre les indicateurs d'évaluation RAG
__7.2.2 Lagas prenant en charge les métriques d'évaluation RAG
7.2.3 Mise en œuvre d'un évaluateur pour RAG
7.2.4 Intégration des outils : Assistance dynamique pour l’évaluation
7.2.5 Intégration des outils : Assistance à l’évaluation RAG
__7.2.6 Ajout de la fonction de menu d'évaluation Streamlet
7.3 Fonction de création d'ensembles de données synthétiques
__7.3.1 Types de questions RAG
7.3.2 Pipeline de génération d'ensembles de tests basé sur un graphe de connaissances
7.3.3 Exercice : Générer un ensemble de tests synthétiques à partir de documents PDF
7.3.4 Implémentation d'une classe de jeu de données synthétiques basée sur des documents PDF

▣ Chapitre 8 : Gestion des applications LLM à l’aide des outils LLMOps
8.1 Création d'une invite
8.2 Création et enregistrement d'ensembles de données synthétiques
8.3 Évaluation des progrès
8.4 Analyse des résultats de l'évaluation
8.4.1 Analyse de l'utilisation des jetons et de la latence
8.4.2 Analyse des indicateurs de précision et de fiabilité du contexte
8.5 Répondre aux questions en fonction des résultats de l'évaluation

[Partie 3] Amélioration continue

▣ Chapitre 9 : Gestion continue des demandes de maîtrise en droit
9.1 Surveillance
__9.1.1 Utilisation du modèle de suivi
__9.1.2 Collecte des indicateurs de performance
__9.1.3 Détection des attaques par injection prompte
9.2 Gestion des ressources : réduction des coûts et allègement du modèle
__9.2.1 Mise en cache
9.2.2 Allègement du modèle : quantification
__9.2.3 Allègement du modèle : Distillation des connaissances
9.3 Orientation du marché déterminée par Deep Seek
9.3.1 Développement de modèles d'IA performants et peu coûteux
__9.3.2 Stratégie Open Source
9.3.3 Introduction de techniques d'apprentissage efficaces

▣ Chapitre 10 : Amélioration continue des outils LLMOps
10.1 Chaînage, prise en charge des agents et surveillance
__10.1.1 Chaînage
__10.1.2 Agent
10.2 Assistance au processus de déploiement du modèle
__10.2.1 Formation du modèle
__10.2.2 Modèle de service

★ Ce que ce livre aborde ★

◎ Comprendre le flux LLMOps pour le développement itératif d'applications LLM
◎ Critères de sélection et éléments d'invite pour les modèles LLM à code source fermé/ouvert
◎ Développement d'une application de classification des demandes clients utilisant Langchain
◎ Développement d'un outil LLMOps capable de gérer, tester et évaluer rapidement les versions.
◎ Configuration de l'interface utilisateur de gestion des invites, des ensembles de données et des métriques basée sur Streamlet
◎ Implémentation d'un chatbot basé sur le modèle RAG utilisant Finecon et le découpage de documents
◎ Création d'un ensemble de données synthétiques et d'un évaluateur Lagas pour mesurer les performances du système RAG.
◎ Intégration de stratégies et d’outils d’amélioration continue, tels que la mise en cache, l’allègement des modèles et la surveillance.