Des fondamentaux de l’IA aux LLM : créer un modèle de langage depuis zéro (GPT‑2) en Python

Cette formation de 4 jours (28 heures) offre un parcours progressif et structuré, de la découverte de l’intelligence artificielle jusqu’à l’implémentation complète d’un modèle de langage. La première journée pose les fondations : histoire de l’IA, concepts clés, cas d’usage concrets et introduction au machine learning avec un premier projet de prédiction (régression linéaire sur un dataset Kaggle).

La deuxième journée plonge dans le deep learning : réseaux de neurones, descente de gradient, backpropagation et entraînement avec PyTorch sur le dataset MNIST. Les deux dernières journées sont consacrées à la construction, pas à pas, d’un transformer complet : tokenization, embeddings, mécanisme d’attention, puis implémentation intégrale de l’architecture GPT-2 et entraînement sur un corpus de texte.

La formation se conclut par le fine-tuning, l’inférence, l’évaluation de LLM, et une ouverture sur les usages en entreprise : RAG, agents, quantization, vLLM et Model Context Protocol (MCP).

Jour 1 : Démystification de l’IA et Introduction au Machine Learning

Objectif / Output :

• Une vue résumée de l’histoire de l’IA
• Compréhension de comment fonctionne l’IA
• Une connaissance des termes clés ; Bonus : Lexique
• Une connaissance des outils standards en IA ; Bonus : nos recommandations
• Des idées de où l’IA peut vous aider

Jour 2 : Introduction au Deep Learning et Atelier pratique No-Code

Objectif / Output :

• Comprendre les réseaux de neurones, la descente de gradient et la backpropagation
• Entraîner un modèle sur le dataset MNIST avec PyTorch

Jour 3 : Architecture des Transformers et construction de GPT

Objectif / Output :

• Comprendre la tokenization, les embeddings et le mécanisme d’attention
• Construire le bloc transformer complet (LayerNorm, Dropout, Feed Forward, Shortcut connections)
• Maîtriser la génération de texte : greedy decoding, temperature et top-k sampling

Jour 4 : Coder GPT-2 from scratch et LLM en entreprise

Objectif / Output :

• Implémenter l’architecture complète de GPT-2 en Python
• Entraîner le modèle sur un corpus de texte
• Appliquer le fine-tuning (SFT) pour transformer un modèle de base en assistant
• Comprendre l’inférence, la quantization et vLLM
• Découvrir RAG et le Model Context Protocol (MCP)
• Évaluer un LLM (MMLU, benchmarks, LLM-as-judge)