Contexte

Le Conseil de l’Europe, soucieux de ne pas ignorer les récents développements des Large Language Models (LLMs) tels que ChatGPT, a identifié de nombreux cas d’usage potentiels pour automatiser et accélérer les travaux sur le contenu textuel et documentaire. Toutefois, ces expérimentations se sont multipliées de façon informelle, sans cadre de sécurité ni de bonnes pratiques, exposant l’institution à des risques liés à la confidentialité des données, à la fiabilité des résultats et à la conformité réglementaire.

Besoin

Face à cette situation, le département Innovation Technologique du Conseil de l’Europe souhaite mettre à disposition de ses collaborateurs une plateforme permettant de mettre en commun des prompts formalisés qui permettent d’adresser les besoins les plus fréquents de ses collaborateurs. Dans ce cadre, il est demandé à Datalchemy de :

  • Auditer en profondeur l’outil utilisé en interne avec des comptes professionnels (architecture, flux de données, garde-fous, sécurité).
  • Évaluer la pertinence de cette plate-forme et des LLM en général par rapport aux besoins métiers identifiés (extraction d’informations de qualité, génération de résumés, comparaison de documents, usage de contexte conversationnel).
  • Formuler des recommandations pour maîtriser les risques (exagération des performances, fuites de données, requêtes hors UE) avant toute déploiement à grande échelle.

Travail effectué

  • Tests techniques sur la plateforme : évaluation des performances, de la latence et de la couverture fonctionnelle.
  • Tests de cloisonnement des échanges : vérification de l’isolation des données entre différents comptes et contextes.
  • Tests de “jailbreaking” : tentatives d’élusion des restrictions pour mesurer les vulnérabilités.
  • Extraction du prompt administrateur : analyse des mécanismes de transmission et de stockage des consignes système.
  • Tests d’utilisation du client :
    • insertion de contenu invisible dans les requêtes,
    • mécanisme de citation client/serveur et affichage des sources,
    • identification de failles de sécurité et points d’instabilité du client,
    • simulation de requêtes depuis des IP hors Union européenne.

Résultats

Pour des raisons de confidentialité, les détails de l’audit ne peuvent être divulgués. Néanmoins, le Conseil de l’Europe a intégré nos préconisations pour :

  • Renforcer les mécanismes de cloisonnement des échanges,
  • Mettre en place des procédures de validation des prompts et des résultats,
  • Encadrer strictement l’usage des LLMs aux seuls cas d’usage autorisés et conformes au RGPD.

Cette mission a ainsi permis au Conseil de l’Europe de cadrer ses expérimentations IA et de préparer sereinement une éventuelle industrialisation future de ces outils d’assistance, en toute sécurité.