Une démo RAG tient en 20 lignes. Un système digne de confiance exige 20 décisions.

La version provocatrice

Une démo RAG est souvent une chaîne élégante : découper → vectoriser → retrouver → générer. Elle tient dans un notebook et peut convaincre en un après-midi.

Un système d’IA digne de confiance est différent. Le travail difficile n’est pas d’appeler le modèle. Il consiste à décider ce que le modèle peut voir, quels outils il peut utiliser, comment les affirmations sont testées et ce qui se passe lorsque la qualité, la latence ou le coût dérivent.

Cette note est un pattern d’architecture indépendant. Elle ne décrit aucun employeur, client, système interne ni déploiement réel en entreprise.

Ouvrir le Pattern Lab dans Ask Nyami Ask →

Les cinq plans de contrôle

Les vingt décisions deviennent plus faciles à raisonner lorsqu’elles sont regroupées en cinq plans de contrôle.

1. Finalité et frontière des données

1. Finalité — quelle décision ou tâche le système est-il autorisé à soutenir ?
2. Classification — quelles sources sont publiques, internes, confidentielles ou interdites ?
3. Identité — qui pose la question et quel niveau d’authentification faut-il ?
4. Autorisation — quels documents cette identité peut-elle retrouver avant tout appel au modèle ?

2. Retrieval et preuves

5. Contrat d’ingestion — qui possède la fraîcheur, la suppression et la qualité des sources ?
6. Stratégie de chunking — quelles unités sémantiques préservent le sens et les métadonnées d’accès ?
7. Politique de retrieval — lexical, vectoriel ou hybride ; les filtres s’appliquent avant le ranking, jamais après.
8. Contrat de preuve — toute affirmation importante pointe vers une source inspectable.

3. Agents et outils

9. Frontière du workflow — code déterministe lorsque le chemin est connu ; agent seulement lorsqu’un choix est réellement nécessaire.
10. Contrat d’outil — MCP expose des capacités typées, mais chaque outil exige encore des entrées, sorties et permissions étroites.
11. Frontière d’approbation — les actions à conséquence passent par une validation déterministe ou humaine.
12. Sémantique d’échec — timeouts, résultats partiels et retries restent visibles au lieu d’être improvisés silencieusement.

4. Évaluation et release

13. Jeu d’évaluation métier — questions représentatives, négatifs difficiles et cas sensibles aux politiques.
14. Gate de groundedness — la qualité des preuves est mesurée séparément de la qualité rédactionnelle.
15. Tests adversariaux — prompt injection, exfiltration et mauvais usage des outils sont des critères de release.
16. Politique de régression — un changement de modèle, prompt ou index ne part que dans les seuils définis.

5. Opérations et responsabilité

17. Observabilité — tracer retrieval, outils, sortie, latence et coût sans journaliser de secrets.
18. SLO de budget et de latence — contrôler les caps avant la dépense et dégrader proprement lorsque les limites sont atteintes.
19. Rollout et rollback — versionner prompts, index et politiques ; canary et retour arrière rapide.
20. Responsabilité humaine — définir ownership, escalade, rétention et réponse aux incidents avant le lancement.

Où se placent les technologies citées

• RAG fonde les réponses sur des preuves contrôlées.
• IA agentique traite des choix bornés et décompose les tâches incertaines.
• MCP fournit un accès typé aux outils ; il ne fournit pas l’autorisation à lui seul.
• LangChain et CrewAI sont des options d’orchestration, pas l’architecture.
• Kubernetes peut assurer isolation, rollout et contrôles opérationnels lorsque cette complexité est justifiée.
• MLOps / LLMOps porte l’évaluation, le versioning, le monitoring, la réponse aux incidents et le rollback.
• Dataiku DSS peut être compris comme une option de plateforme Data Science gouvernée dans un environnement de contrôle plus large.

Trois anti-patterns

« Nous avons ajouté des citations. » Elles ne servent à rien si le retrieval a ignoré les permissions documentaires.

« L’agent possède un serveur MCP. » Un protocole n’est pas un modèle de sécurité ; permissions et approbations restent nécessaires.

« La réponse était bonne pendant la démo. » Une bonne réponse est une anecdote. Une gate exige un dataset, des seuils et un historique de régression.

À retenir

Ne commencez pas par demander quel framework utiliser. Commencez par rendre explicites les vingt décisions. Choisissez ensuite la plus petite stack capable de les faire respecter et de produire la preuve que les contrôles fonctionnent.

Le Pattern Lab d’Ask Nyami transforme cette note en carte interactive : choisissez un plan de contrôle, inspectez ses quatre décisions et challengez les trade-offs.

Transparence

Cet article partage des connaissances techniques générales à des fins éducatives et communautaires. Il ne contient aucune identité d’employeur ou de client, aucun nom de système interne, aucun détail propriétaire et aucune métrique confidentielle. Il ne prétend pas que cette architecture de référence est déployée par une entreprise.