Guide de test et validation

Un flow non testé est un flow qui va embarrasser l'équipe en démo. Ce guide fournit une méthode structurée pour tester vos flows avant de les présenter au client ou de les mettre en production.

Pourquoi tester un flow IA est différent

Un flow nAIxus n'est pas un programme classique. La sortie d'un node Agent est non déterministe : la même question peut produire des réponses légèrement différentes à chaque exécution.

Conséquences pour le test :

• On ne teste pas "la réponse exacte" mais "le comportement attendu".
• On vérifie que la réponse est pertinente, pas qu'elle est identique à un texte de référence.
• On teste les limites : que se passe-t-il quand l'entrée est inattendue ?

Les 5 niveaux de test

Niveau 1 : Test unitaire de chaque node

Objectif : Vérifier que chaque node fonctionne isolément.

Comment faire :

1. Utilisez le Trigger Manual pour isoler le test.
2. Exécutez le flow avec une entrée contrôlée.
3. Inspectez la sortie de chaque node dans le panneau d'exécution.

Niveau 2 : Test du flow complet (chemin nominal)

Objectif : Vérifier que le flow fonctionne de bout en bout avec un scénario typique.

Méthode :

1. Identifiez 3-5 entrées représentatives du cas d'usage principal.
2. Exécutez chacune via Trigger Manual.
3. Vérifiez que la réponse finale est correcte et pertinente.

Exemple pour un assistant RH :

Niveau 3 : Test des cas limites (edge cases)

Objectif : Vérifier que le flow gère correctement les entrées inattendues.

Cas limites à toujours tester :

L'injection de prompt est particulièrement importante si le flow est exposé à des utilisateurs externes.

Niveau 4 : Test du canal

Objectif : Vérifier que le flow fonctionne correctement via son canal de déploiement réel (pas juste via Trigger Manual).

Checklist par canal :

Niveau 5 : Test de la qualité des réponses

Objectif : Évaluer la qualité des réponses de l'agent sur un échantillon significatif.

Grille d'évaluation :

Méthode :

1. Préparez 15-20 questions couvrant tout le périmètre.
2. Exécutez chacune et notez la réponse sur la grille.
3. Identifiez les patterns de faiblesse (toujours trop long ? jamais de source ? hors sujet sur un thème ?).
4. Ajustez le prompt en conséquence.

Checklist de validation avant livraison

Fonctionnel

• Le chemin nominal fonctionne (minimum 5 tests passants).
• Les cas hors périmètre sont correctement gérés (redirection, refus).
• Les cas limites ne provoquent pas de plantage.
• Le flow gère gracieusement les erreurs (API down, réponse inattendue).
• Les variables et expressions sont correctement évaluées.

Qualité des réponses

• Le score moyen de pertinence est ≥ 4/5 sur l'échantillon de test.
• Aucune hallucination détectée (information inventée).
• Le ton est cohérent et adapté.
• Les sources sont citées quand elles devraient l'être.
• L'agent refuse correctement les questions hors périmètre.

Canal et intégration

• Le canal est fonctionnel en environnement staging.
• Le temps de réponse est acceptable (< 5-10 secondes pour une question simple).
• Le formatage des réponses est correct dans le canal cible.
• Le message d'erreur/fallback est compréhensible par l'utilisateur final.

Sécurité

• L'injection de prompt ne permet pas de contourner les instructions.
• Aucune donnée sensible n'est exposée dans les réponses.
• Les clés API sont celles de l'environnement approprié (test ≠ prod).
• Les logs ne contiennent pas de données personnelles.

Documentation

• Le flow est nommé et documenté (description, annotations canvas).
• Le prompt est versionné (copie dans le dossier projet).
• Les cas de test sont documentés et reproductibles.
• Les limitations connues sont listées.

Template de rapport de test

Utilisez ce template pour documenter vos résultats de test :

# Rapport de test — [Nom du flow]
Date : [date]
Testeur : [nom]
Environnement : [dev/staging/prod]

## Résumé
- Tests passants : X/Y
- Cas limites OK : X/Y
- Score qualité moyen : X/5

## Tests fonctionnels
| # | Entrée | Résultat attendu | Résultat obtenu | Statut |
|---|--------|-------------------|-----------------|--------|
| 1 | ...    | ...               | ...             | ✅/❌  |

## Cas limites
| # | Cas | Résultat | Statut |
|---|-----|----------|--------|
| 1 | Message vide | ... | ✅/❌ |

## Qualité des réponses
Score moyen : X/5
Points forts : ...
Points faibles : ...

## Problèmes identifiés
| # | Problème | Sévérité | Action |
|---|----------|----------|--------|
| 1 | ...      | Haute/Moyenne/Basse | ... |

## Décision
[ ] Prêt pour validation client
[ ] Corrections nécessaires (voir problèmes ci-dessus)

Quand retester