Les outils LLM/Agentiques sont incontournables, mais restent mal maîtrisés du fait de leur nouveauté et des évolutions régulières du domaine. L’enjeu est de proposer une vision d’ensemble raisonnée et argumentée, dénuée de fantasme, pour donner les clés de gestion et de direction d’un projet basé sur ces technologies. Gestion des hallucinations, maîtrise des coûts, choix d’un modèle, test d’un outil IA, enjeux de cyber-sécurité sont autant de points abordés pendant cette journée et illustrés par des résultats de recherche ou des retours d’expérience.

Moyens techniques

Support de cours projeté pendant la formation et transmis à l’ensemble des stagiaires à l’issue de la formation; cas et exemples pratiques choisis selon les domaines d’intérêt des stagiaires

Suivi de l’exécution

Emargement demandé chaque demie-journée à tous les stagiaires Évaluation : Questionnaire d’évaluation des acquis à l’issue de la formation

Appréciation des résultats

Questionnaire de satisfaction à l’issue de la formation

Objectifs pédagogiques

 

1.1 – Rappels des fondamentaux

* Des Large Language Models aux systèmes agentiques : rapide revue des évolutions depuis GPT3
* Biais et hallucinations sont une composante de l’IA : limites fondamentales de nos approches, impacts à prendre en compte.
* Méthode principale d’évaluation d’un outil IA : limites et aveuglements.
* Parcours détaillé de trois benchmarks centraux et de leurs limites : SWE-Bench, ARC-AGI, τ2-bench
* Coût humain caché! Focus sur les écueils AI Slop en dévelopement logiciel et vers les projets Open Source.
* Réflexions en conduite du changement IA : contrôle, informations partagées. Pièges des valeurs d’incertitude.

 
 

1.2 – Tour d’horizon de l’écosystème IA/Agents

Attention : le programme donné ici est celui d’août 2026. Cette partie de la formation est mise à jour mensuellement.
* Anthropic : Analyse des derniers modèles et des extensions de Claude (Claude Legal). Evolution des modèles et écueils rencontrés sur les derniers modèles. Focus sur Claude Fable : conflit avec le gouvernement américain, communication, limites d’utilisation et coûts. Enjeux de l’IPO.
* OpenAI : retour sur la guerre avec Anthropic. Recherche de sources de revenus (publicité, market-place). Analyse des derniers modèles et des pistes d’évolution. Enjeux de l’IPO
* Google : analyse d’un positionnement différent. Contrôle interne du hardware utilisé. Différentiation des modèles Gemma : Diffusion, Differential Privacy, Edge AI. Autres travaux (robotique, World Models, etc.)
* Modèles chinois « Open Source » ? Analyse du phénomène DeepSeek, focus sur le modèle proposé et l’optimisation hardware.
* Modèles chinois « Open Source » ? Analyse GLM & Kimi.
* Le « Software as a Service » est-il condamné ? Analyse et échanges.

 
 

1.3 – Sécurité de l’IA : points d’attention

* Sécurité de l’IA ? Revue des principales failles de sécurité d’un modèle : Adversarial Attacks, Jailbreaking, Prompt Injection, Model Inversion, Membership Inference, Poisoned Datasets
* Sécurité de l’IA face aux systèmes agentiques : revue de failles publiques découvertes. Analyse des conditions de fonctionnement sécurisé d’un système agentique.
* Retour sur Antropic Mythos : détection de failles de sécurité par IA. Résultats par modèles Open Source. Impacts à prendre en compte.
* Etude de cas : détournement d’un système de recherche agentique ou RAG : précautions indispensables et bonnes pratiques

 
 

1.4 – Solutions : investissements en data

* L’IA comme royaume du PoC : quelles actions représentent de réels investissements en IA ?
* Principes méthodologiques d’architecture data : itérations sur la compréhension de la donnée, en entraînement ou en test/validation d’un ouril.
* L’architecture data comme point de rencontre entre experts métiers et data-scientists : étude de cas.
* Tester un outil IA d’une manière stable et itérative ? Approches de black-box testing en architecture data
* Exploitation de la donnée synthétique pour élargissement de la couverture de test.
* Test automatisé et sur mesure d’un outil externe

 
 

1.5 – Solutions : investissements en IA

* Appels de grands modèles en approche « black box » : limites fortes et pistes de solution.
* Architecture IA : grands principes, confrontation au paradigme logiciel. Pertinence des petits modèles en coût et en traçabilité.
* Itération contrôlée en qualité en IA par architecture. Opportunisme sur les différents modèles disponibles.
* Souveraineté et IA : enjeux et solutions.
* Leviers de contrôle des coûts en IA : estimations, adaptations et maîtrise économique du système.

Technologies abordées

LLMs par API : Anthropic/OpenAI/Gemini/Mistral
LLMs « Open Source » : DeepSeek, Kimi, Qwen
Systèmes agentiques

Compétences visées

Compréhension des enjeux et risques des outils LLM/Agentique
Connaissance fine de l’éco-système et des voies d’évolution
Définition et maîtrise de la qualité d’un outil IA
Mise en oeuvre d’un projet et des investissements liés : architecture data & architecture IA