JOUR 1 – Surfaces d’attaques d’une solution IA
1.1 – Introduction et rappels
* Entraînement d’un modèle Deep Learning : modélisation par batch, absence de contrôle unitaire
* Evolution de l’IA : explosion de la taille des modèles et impacts en contrôle/interprétabilité
* Présentation d’une architecture très simple (MLP) pour illustration
1.2 – Adversarial Attacks : modalité image
* Présentation globale des attaques, travaux originaux de GoodFellow & Papernot
* Présentation des attaques classiques. Approches image-based et patch-based. Transfert d’attaques inter-modèles
* Attaques avancées au-delà de la contrainte Lp, utilisation de bruits spécifiques. Exploitation de modèles génératifs
* Cas des Vision Language Models : étude de cas sur l’approche « AnyAttack » (Zhang et al) sur des modèles du commerce. Autre cas sur l’exploitation du lien langage/image
1.3 – Adversarial Attacks : ouvertures et défenses
* Adversarial attacks & LLM ? Distinction avec les injections de prompt, exemple d’approche
* Attaques physiques. Reprise des travaux de Berkeley sur Yolo. Autre cas de figure
* Se défendre de ces attaques : parcours des approches : Adversarial Training, Supplementary Networks / Adversarial Purification
* Sé défendre de ces attaques : proposition d’approche en architecture de système. Best effort et stratégie.
1.4 – Poisoned datasets
* Présentation de l’approche. Full training ou fine-tuning/distillation.
* Etude de cas : empoisonnement d’un LLM en fine-tuning.
* Défense et mitigation : pistes de travail.
1.5 – Backdoors en Deep Learning
* Poisoned dataset comme une backdoor sur la donnée. Extension sur l’ensemble de la « Supply Chain » de l’IA.
* Etude de cas simple : Pixel backdoor, Pattern backdoor. Parcours des surfaces de risque classiques : Feature Collision Attacks, Bilevel Optimization, Label Flipping, Influence Functions
* Vision générale : packages, spécificités du langage python, frameworks, poids du modèle
* Analyse des backdoors sur les poids d’un modèle : Model Design, Compilation/Graph Optimization, AutomML/NAS pipelines, Déploiement
* Modifications architecturales d’un modèle : Single-Layer, Subgraph Trigger, Distributed Trigger
1.6 – Model Inversion et protection de la donnée
* Présentation de l’attaque. Types de cas : Data Extraction, Data Reconstruction, Membership Inference
* Analyse de travaux sur un modèle de diffusion et sur un LLM. Pistes de protection : sanctuarisation du dataset
1.7 – JailBreaking & Prompt Injection
* Du LLM à l’agentique : évolution des surfaces de risques et des complexité de contrôle.
* L’injection de prompt est une « feature » d’un LLM : absence de division entre instruction et donnée, exemples d’attaques simples.
* Approches usuelles : Greedy Coordinate Gradient (adversarial), Prompt Automatic Iterative Refinement, Random Search. Analyse d’implémentations et de résultats face à des modèles SOTA.
* Etudes de cas complexe : Indirect Prompt Injection, attaque du LLM-as-a-Judge.
* Extension de ces attaques aux systèmes agentiques. Analyse de deux travaux académiques récents.
* Prise de recul : peut-on se protéger de ces attaques ? quelles stratégies mettre en ouvre ?
* LLM PenTesting : outil Garak (NVIDIA)
* Proposition : l’architecture IA comme axe de protection en minimisant la complexité de chaque traitement. Adaptation au tooling des agents et au contrôle de la loop.
JOUR 2 – Applications des attaques par sujets métier
2.1 – Analyse risques/stratégies : RAG.
* Système Retrieval Augmented Search (RAG) : présentation de l’architecture complète. Présentation des évolutions en application (specific chunking, graphRAG).
* RAG : analyse des surfaces d’attaque simples : injection dans un document ou une question.
* RAG : surfaces d’attaque complexes : cartographie des possibilités.
* Protéger un système RAG ? échanges autour d’une proposition de stratégie itérative.
2.2 – Analyse risques/stratégies : système agentique texte/vision.
* Présentation des différentes architectures sur ce type de système. Isolation dans un VLM des points d’entrée.
* Attaques basées sur la vision : étude de cas depuis des images préparées spécifiquement.
* Attaques hybrides : présentation d’exemples.
* Protection du système : possibilités et limites fortes. Approche par modification d’architecture
2.3 – Analyse risques/stratégies : systèmes agentiques.
* Vue d’ensemble sur les assistants de code. Reprise des surfaces d’attaques propres à l’architecture et applications.
* Cas d’attaque sur un assistant de code, extension aux systèmes agentiques génériques.
* Outils de type OpenClaw. Sécurisation maximale et limites fortes du système. Approche NVIDIA de sécurisation et limites.
* Etudes de cas : industrie, robotique, médical.
2.4 – Recherche de failles par système agentique.
* Révolution (et/ou communication) sur l’usage d’agents en recherche de failles. Fable & Mythos. Un agent peut-il détourner ou corrompre un système externe.
* Etude de cas sur un modèle chinois « Open Source » (Qwen). Paradigme agentique (loop, tooling, oracle) pour la recherche de failles. Enjeux méthodologiques d’itération.
* Prise de recul sur l’évolution de l’écosystème, de l’AI Slop à l’accélération réelle des failles découvertes.
2.5 – Sécurité et IA : revue de bonnes pratiques
* Le contrôle de la donnée sous une architecture évolutive (DAG) pour une maîtrise des modèles et de leurs comportements. Liens avec le test Deep Learning (black box testing, adversarial testing)
* Approche « full black-box » ou contrôle fin des appels ? Avantages et risques. Recherche d’un point d’équilibre avec sanctuarisation des modèles.
* Monitoring d’un système IA ? Quelles sondes, quelles analyses ? Proposition d’une méthodologie itérative de prospection et d’analyse pour la protection des systèmes.
