Le développement actuel de l'IA est axé sur les SLM : une IA petite et rapide, maîtrisant de petits modèles de langage.
Préface du livre : Pourquoi les petits modèles de langage (SLM) maintenant ?
Partie 1 : SLM, le début d'une nouvelle ère
Chapitre 1 : L’ère des grands modèles de langage (LLM) et l’émergence des SLM
1.1.
Le LLM qui a changé le monde : ChatGPT, GPT-4 et au-delà
1.2. L'ombre du LLM : coûts élevés, lenteur du raisonnement et difficultés de contrôle
1.3.
L'essor des alternatives : qu'est-ce que le Small Language Model (SLM) ?
1.4. LLM vs. SLM : Quoi, quand et comment choisir ?
1.5.
Aperçu des modèles SLM représentatifs
Chapitre 2 : Comment fonctionne le SLM : en quoi diffère-t-il du LLM ?
2.1.
Réexamen des principes fondamentaux de l'architecture des transformateurs
2.2.
L'art de la miniature : innovations en architecture de maquettes
2.3.
Apprentissage efficace : l'importance des données de haute qualité
2.4.
Jetons, plongements et attention : comprendre les mécanismes internes du SLM
Partie 2 : Prise en main du SLM (Utilisation de base)
Chapitre 3 : Mon premier SLM : Mise en place de l’environnement de développement
3.1.
Matériel requis : Python, Jupyter Notebook/VS Code
3.2.
Installez les bibliothèques principales : PyTorch, Transformers et Accelerate.
3.3. Paramètres CUDA pour l'utilisation du GPU (utilisateurs de GPU NVIDIA)
3.4.
Démarrez facilement avec un environnement cloud/Colab.
3.5.
[Pratique] « Bonjour, SLM ! » - Chargement du modèle et génération de votre premier texte
Chapitre 4 : Maîtriser le visage câlin et l'écosystème SLM
4.1.
Hugging Face : un terrain de jeu pour les développeurs d'IA
4.2.
Plateforme de modélisation : Trouvez et comparez les modèles SLM que vous recherchez.
4.3.
Jeux de données : Exploration des jeux de données pour un réglage fin
4.4.
Le cœur de la bibliothèque Transformers : comment utiliser les pipelines
4.5.
[Exercice] Créer un bot de résumé de texte et de réponse aux questions en seulement 5 lignes avec Pipeline
Partie 3 : Création de votre propre modèle SLM (Réglage)
Chapitre 5 : Réglage fin : Intégration de mes données dans SLM
5.1.
Qu’est-ce que le réglage fin ? Pourquoi est-il nécessaire ? (Modèles à usage général vs modèles spécialisés)
5.2.
Préparation des données : Création d'un ensemble de données d'instructions de haute qualité
5.3.
Réglage fin complet : une méthode puissante mais lourde
5.4.
[Exercice] Créez votre propre chatbot qui imite un ton de voix spécifique (Réglages complets)
Chapitre 6 : Réglage intelligent avec la technique de réglage léger (PEFT)
6.1. La nécessité d'un réglage fin efficace des paramètres (PEFT)
6.2.
LoRA (Adaptation de bas rang) : La technique de réglage léger la plus populaire
6.3.
Comprendre facilement le fonctionnement de LoRA
6.4.
[Exercice pratique] Optimisation d'un GPU bas de gamme avec LoRA
6.5. QLoRA : Réglage avec une mémoire réduite
Chapitre 7 : Quantification des modèles : la rendre plus légère et plus rapide
7.1.
Qu'est-ce que la quantification ? (FP16, INT8, INT4)
7.2.
Pourquoi la quantification ? : Économiser de la mémoire et accélérer l’inférence
7.3.
Chargement quantifié à l'aide de la bibliothèque bitsandbytes
7.4.
[Exercice] Chargement du SLM avec une quantification de 4 bits et comparaison de l'utilisation des ressources.
Partie 4 : SLM, développement et déploiement d’applications pratiques
Chapitre 8 : Synergie entre RAG (Research Augmentation Generation) et SLM
8.1.
Limites des modèles de langage : hallucinations et manque d’informations à jour
8.2. Qu’est-ce que la génération augmentée par récupération (RAG) ?
8.3.
Le rôle des bases de données vectorielles et des modèles d'intégration (avec FAISS et ChromaDB)
8.4.
[Atelier pratique] Création d'un chatbot de questions-réponses basé sur des documents en combinant SLM et RAG
Chapitre 9 : Stratégies de déploiement d’applications SLM
9.1.
Stratégie optimale pour chaque scénario de déploiement
9.2.
Déploiement local/sur site : tirer parti d’Ollama et de vLLM
9.3.
Déploiement de serveur cloud : créer votre propre serveur API avec FastAPI
9.4.
Déploiement de périphériques Edge : présentation de Llama.cpp et du framework MLX
9,5.
[Exercice] Déploiement d'un modèle optimisé sous forme d'API avec FastAPI
Chapitre 10 : Utilisation responsable de la gestion durable des terres et perspectives d’avenir
10.1 Éthique de l'IA : questions de biais, d'équité et de transparence
10.2. Gestion des données et protection des données
10.3. L'avenir du SLM : plus petit, plus intelligent et plus multimodal
10.4.
Grandir avec la communauté open source
supplément
Annexe A : Glossaire des termes
Annexe B : Liste des outils et bibliothèques utiles
Annexe C : Modèles SLM recommandés en fonction de la situation

Faibles coûts : Les coûts d'exploitation sont des dizaines de fois inférieurs à ceux d'un LLM.
Réponse ultra-rapide : vitesse d’inférence rapide adaptée aux services en temps réel.
Sécurité renforcée : Fonctionne sur les réseaux locaux et intranet sans fuite de données.

Optimisation personnalisée : Créez une IA adaptée à des domaines, des modèles de parole et des processus métier spécifiques.

Partout dans le monde, les développeurs exploitent déjà le SLM dans divers domaines, notamment les chatbots de service client, les assistants embarqués, l'analyse des données industrielles et les assistants vocaux en temps réel.
Une ère s'est ouverte où nous pouvons créer « l'IA que je veux, dans l'environnement que je veux », sans avoir besoin de ressources informatiques à grande échelle.

Ce livre vous guide pas à pas dans la mise en œuvre du SLM, du début à la fin, des concepts de base aux pratiques les plus récentes, en passant par le réglage fin, l'allègement, la combinaison RAG et le déploiement dans divers environnements.
Au-delà du simple respect du code, nous l'avons conçu pour vous aider à développer des compétences pratiques qui vous permettront de concevoir et d'optimiser votre propre code.