Tu as écrit un prompt, la réponse est décevante, et tu ne sais pas quoi modifier. Le réflexe courant est d’ajouter des consignes à la suite. Ce n’est pas toujours la bonne piste. Mieux vaut traiter le prompt comme un petit test : on observe, on change une chose, on compare.
Cet article ne reprend pas les bases de la formulation. Pour les fondamentaux, lis plutôt Comment bien parler à une IA ?. Ici, on part d’un prompt qui existe déjà et qui ne te satisfait pas. Aucune méthode ne garantit un bon résultat, mais celle-ci permet d’avancer de façon moins hasardeuse. Elle s’accorde avec les recommandations du guide officiel d’OpenAI sur le prompt engineering, qui insiste notamment sur le test et l’évaluation des prompts. Les outils évoluent : consulte la documentation de celui que tu utilises.
1. Définir ce qu’est une « bonne » réponse
Avant de modifier quoi que ce soit, écris en quelques lignes ce que tu attends. Sans critère, tu risques de juger au feeling et de tourner en rond. Quelques exemples de critères vérifiables :
- le résumé tient en moins de 100 mots et contient les trois décisions du document ;
- l’e-mail ne contient aucune information absente de mes notes ;
- la réponse suit exactement le format demandé (tableau, liste, etc.) ;
- le ton est jugé acceptable par la personne qui relira le texte.
Mieux vaut quelques critères simples et oui/non qu’une impression générale.
2. Constituer 3 à 5 cas d’essai
Un prompt qui fonctionne sur un exemple peut échouer sur un autre. Rassemble de trois à cinq cas variés, issus de ton usage réel :
- un cas typique ;
- un cas plus long ou plus compliqué ;
- un cas incomplet ou ambigu ;
- un cas où la bonne réponse est « je ne sais pas » ou « l’information manque ».
Ce petit jeu d’essai ne prouve pas que ton prompt est fiable, mais il révèle vite ses faiblesses. Évite d’y mettre des données personnelles ou confidentielles, selon les règles de l’outil.
3. Changer une seule variable à la fois
Si tu modifies le ton, la longueur, l’exemple et le format en même temps, tu ne sauras pas ce qui a fait la différence. Procède par versions :
- garde la version A telle quelle ;
- crée une version B qui ne change qu’un élément (par exemple, ajouter un exemple de réponse) ;
- lance A et B sur les mêmes cas d’essai ;
- note ce qui est meilleur, pire ou identique, d’après tes critères.
Les modèles peuvent répondre différemment d’une exécution à l’autre. Si un résultat t’étonne, relance le test avant d’en tirer une conclusion.
4. Garder une trace et comparer
Un simple tableau suffit : une ligne par version, une colonne par cas, et une note du type « critère respecté / non respecté ». Conserve la version qui satisfait le plus de critères sur l’ensemble des cas, pas celle qui brille sur un seul. Si deux versions se valent, garde la plus courte et la plus lisible.
Ce que les « techniques avancées » ne garantissent pas
Le rôle joué
Écrire « Tu es avocat » ou « Tu es chirurgien » peut modifier le ton et le vocabulaire. Cela ne donne aucune expertise réelle au modèle. Traite cette consigne comme une variable à tester, comme les autres, et non comme un gage de qualité.
Le raisonnement étape par étape
Demander de détailler les étapes peut aider sur certains problèmes, parfois pas du tout. Les étapes affichées peuvent paraître logiques et contenir des erreurs : cette méthode ne rend pas la réponse fiable pour autant. Les approches nommées Chain of Thought, Tree of Thoughts ou ReAct viennent de la recherche et de l’ingénierie. Elles ne sont pas des recettes universelles : leur effet dépend du modèle et de la tâche, et c’est justement ce que tes cas d’essai permettent de mesurer.
Quand arrêter d’ajouter des consignes
Allonger un prompt n’améliore pas forcément le résultat : trop de consignes peuvent se contredire ou être ignorées. Pose-toi ces questions :
- L’information manque-t-elle ? Si le modèle n’a pas accès à tes données, aucune formulation ne les inventera à bon escient. Fournis-les, ou change de méthode.
- La tâche dépasse-t-elle l’outil ? Calculs précis, données récentes ou sources vérifiables peuvent exiger un outil capable de faire des recherches ou d’utiliser un calcul, selon ce que propose ton produit.
- Les échecs sont-ils toujours du même genre ? Après plusieurs versions sans progrès sur les mêmes cas, tester un autre modèle ou une autre offre peut être plus utile qu’une consigne de plus. Les capacités varient d’un modèle à l’autre : compare sur les mêmes cas d’essai.
- Le risque est-il élevé ? Pour la santé, le droit ou la finance, fais-toi accompagner par un professionnel plutôt que de peaufiner un prompt.
Vérifier malgré tout
Un prompt qui passe tes tests ne rend pas chaque réponse exacte. Une réponse plausible peut être fausse : recoupe les faits, chiffres, dates et citations avec des sources fiables, surtout si le texte doit être publié ou envoyé. Pour mieux cerner ce que ces outils savent ou non faire, lis aussi Une IA peut-elle s’améliorer avec le temps ?.
À retenir
Pour améliorer un prompt décevant : un critère de réussite, 3 à 5 cas d’essai, une variable à la fois, une comparaison écrite. Si rien ne progresse, la cause est peut-être ailleurs : information manquante, limite de l’outil, ou modèle inadapté. Dans tous les cas, la vérification humaine reste nécessaire.