# Les données avant les modèles : préparer un projet IA | tracee > Pourquoi les pilotes IA échouent sur la responsabilité des données plutôt que sur le modèle : classes, inventaire, accès minimal, jeux de données et responsables. Source: https://traceegroup.com/fr/ia/analyses/donnees-avant-modeles --- # Les données avant les modèles. La plupart des pilotes IA échouent sur la responsabilité, pas sur la précision. ## Maîtrisez ce qui se maîtrise : les données, pas le modèle. Le modèle est la partie d'un système d'IA qui change le plus vite et que vous maîtrisez le moins. Un fournisseur publie une nouvelle version ; un modèle ouvert est dépassé en quelques mois. Les données, c'est l'inverse. Quelles sources font foi, qui en est responsable, qui peut les consulter, combien de temps on les garde : ce sont des décisions que votre organisation prend et avec lesquelles elle vit. C'est aussi la partie que la plupart des pilotes sautent. Un prototype est construit sur un dossier exporté par quelqu'un, il fonctionne pendant la démonstration, et les questions de responsabilité n'arrivent qu'au moment de s'en servir pour de vrai. Ce guide décrit le travail sur les données qui devrait venir en premier. - Quatre classes - Inventaire - Quatre jeux de données - Accès minimal - Responsabilité et revue - Pourquoi les pilotes échouent - Limites ## Quatre classes, comme repère de conception. Ranger les données en quatre classes accélère les échanges de conception. C'est un repère de conception, pas une classification juridique : les « données personnelles » ont une définition précise au sens du RGPD, et « diffusion restreinte » signifie simplement ici soumis à un contrat, au secret ou à une règle sectorielle. - Classe - Exemples - Traitement par défaut dans une conception IA - Publiques - Rapports publiés, registres publics, votre propre site. - Peu de contraintes. Vérifier les droits de réutilisation et l'exactitude. - Internes - Procédures, modèles, rapports internes sans données personnelles. - Accès réservé au personnel ; conditions du fournisseur vérifiées sur l'entraînement et la conservation. - Personnelles - CV, dossiers clients, e-mails, tout ce qui concerne une personne identifiable. - Base légale, minimisation, accord de sous-traitance, examen d'impact, conservation fixée selon la finalité. - Diffusion restreinte - Contenus sous NDA, secret des affaires, données spécialement encadrées. - Lire la contrainte elle-même avant toute conception. Souvent exclues du périmètre au départ. Les classes se recoupent. Une procédure interne peut citer un cas nominatif. Classez un document selon son élément le plus sensible, ou scindez-le. ## Neuf informations pour chaque source. Avant qu'une source soit branchée à quoi que ce soit, consignez : - Son responsable : la personne qui décide de son contenu et en répond. - Son emplacement : logiciel, dossier, base de données. - Son format et sa structure. - Son volume et son rythme de mise à jour. - Sa classe de données. - Ses contraintes : base légale, clauses contractuelles, règles sectorielles. - Ses défauts connus : doublons, versions périmées, lacunes. - Qui y a accès aujourd'hui. - Sa durée de conservation, et pourquoi. La qualité, c'est l'adéquation à la tâche, pas la perfection. Pour la recherche documentaire, le problème principal tient aux doublons et aux versions remplacées qui concurrencent la version en vigueur. Pour l'extraction, il s'agit de savoir si l'échantillon couvre la variété réelle des mises en page. Pour l'évaluation, de savoir si les cas annotés incluent les cas difficiles. ## Inférence, recherche, entraînement, évaluation : quatre rôles, quatre jeux de règles. « Les données du projet IA » désigne en général quatre choses différentes, chacune avec ses propres risques. Les données avant les modèles · Jeux de données ### Les mêmes sources, quatre jeux de données aux rôles distincts. Faites défiler le schéma latéralement pour le voir en entier. **Lire le schéma sous forme de texte** - Les sources sont d'abord inventoriées : responsable, emplacement, classe de données, qualité et conservation. - Le corpus documentaire est une sélection de documents, versionnée et respectant les droits d'accès, indexée pour la recherche. - Les entrées d'inférence sont les champs envoyés au modèle à chaque requête, réduits à ce que la tâche exige. - Le jeu d'évaluation est un ensemble de cas annotés mis de côté, rejoué à chaque modification des prompts, modèles, règles ou de l'index. - Les données d'entraînement sont rarement nécessaires et portent alors les contrôles les plus stricts. - Les corrections faites par les relecteurs en production deviennent de nouveaux cas annotés du jeu d'évaluation. Les entrées d'inférence sont ce que le modèle voit à l'usage : les champs de cette facture, de cette demande. Elles doivent être minimisées, car elles quittent votre application à chaque appel. Le corpus documentaire est l'ensemble choisi dans lequel puise l'étape de recherche ; il exige versionnement et filtrage par droits d'accès. Les données d'entraînement modifient le modèle lui-même, sont rarement utiles pour les workflows de PME, et sont les plus difficiles à défaire. Le jeu d'évaluation est un ensemble de cas annotés, mis de côté, qui sert à mesurer le système à chaque changement. C'est le jeu dont presque tous les projets ont besoin et que presque aucun ne budgète. ## Un index ne doit pas devenir un contournement des droits. Un système de recherche qui indexe tous les partages de fichiers peut répondre avec des passages que la personne qui interroge n'a jamais eu le droit d'ouvrir. La recherche doit filtrer selon les droits de l'utilisateur, pas selon ceux du compte technique qui a construit l'index. Testez-le avec de vrais comptes de test avant la mise en service. L'accès minimal vaut aussi pour le modèle. Envoyez les champs dont la tâche a besoin. Une extraction a besoin de la facture, pas de l'historique bancaire du fournisseur. Un assistant de rédaction a besoin du résumé du dossier, pas du dossier client complet. La minimisation coûte moins cher à concevoir qu'à rattraper, et elle réduit tous les autres risques de ce guide. ## Chaque jeu de données a besoin d'un responsable nommé. Pour chaque source et chacun des quatre jeux, nommez un responsable qui décide de ce qui y entre, valide les mises à jour, retire ce qui est obsolète et répond de la qualité. Fixez la conservation selon la finalité : les journaux d'inférence nécessaires à l'audit pour une durée donnée, les jeux d'évaluation aussi longtemps que le système fonctionne, rien « au cas où ». Les autorités de protection des données comme la CNIL traitent la limitation des finalités et de la conservation comme des exigences de conception des systèmes d'IA, pas comme des ajouts tardifs. La revue humaine ferme la boucle. Relisez le corpus avant la mise en service. Relisez un échantillon de résultats chaque semaine au début. Conservez chaque correction d'un relecteur : c'est un cas de test annoté, gratuit. ## Le modèle a répondu fidèlement. Les données n'avaient pas de responsable. Illustratif Une histoire fictive mais familière. Une entreprise lance un assistant interne qui répond aux questions du personnel sur les politiques internes. La démonstration impressionne. La troisième semaine, un salarié se voit indiquer l'ancien barème de frais de déplacement : la politique en vigueur se trouvait dans un autre dossier, et les deux étaient indexées. Les RH disent que l'assistant appartient à la DSI. La DSI dit que le contenu appartient aux RH. Personne ne retire le fichier périmé, faute de savoir qui en a le droit. Le personnel cesse de faire confiance aux réponses, et l'usage s'éteint. Rien n'a changé dans le modèle, et il n'avait aucun défaut. Il a répondu à partir de ce qu'on lui a donné. La solution n'a jamais été un meilleur modèle. C'était un responsable du contenu, une source unique faisant foi par politique, un versionnement, une procédure de retrait et un bouton de signalement qui aboutit chez quelqu'un. ## Ce que ce guide ne fait pas. - Les quatre classes sont un repère de travail et ne remplacent pas une analyse juridique de vos données. - Il ne traite pas de l'entraînement de modèles à grande échelle, qui soulève des questions hors du périmètre de la plupart des projets de PME. - Il ne fixe pas de durées de conservation ; elles dépendent de vos finalités et de vos obligations. - CNILIntelligence artificielle : le guide. Recommandations sur les données personnelles dans les systèmes d'IA : finalité, base légale, minimisation, conservation et droits des personnes. - NISTAI Risk Management Framework, AI RMF 1.0 (en anglais), publié le 26 janvier 2023. Sa fonction « Map » couvre le contexte, les données et l'usage prévu que ce guide traite comme des prérequis. Ingénieur, titulaire d'un doctorat en informatique et systèmes de Sorbonne Université. Dirige le pôle IA appliquée. Profil complet.