Promptfoo
Outil open source pour tester et évaluer des prompts et des applications LLM, avec un module de red teaming pour détecter les failles de sécurité des agents
Fiche mise à jour le
Notre avis
Pour qui
Équipes de développement qui veulent tester leurs prompts et leurs agents IA dans leur pipeline de livraison, avec un outil gratuit à installer soi-même.
À éviter si
Vous n'avez pas de profil technique : tout passe par la ligne de commande et des fichiers de configuration, l'interface est en anglais, et les offres Enterprise ne publient aucun prix.
- Prix
- Freemium
- À partir de
- Community gratuit (open source) ; Enterprise sur devis ; On-Premise sur devis
- Prise en main
- Avancé
- En français
- Non
- API
- Oui
Présentation
Promptfoo est un outil de test pour les applications fondées sur des modèles de langage. On décrit dans un fichier de configuration des prompts, des modèles et des cas de test, puis la ligne de commande compare les réponses et signale les régressions. Le site met surtout en avant le red teaming automatisé : le logiciel simule des attaques contre un agent ou un système RAG pour repérer les failles. Le CLI open source est publié sous licence MIT. La page de tarifs affiche trois offres : Community, « gratuit pour toujours », avec l'évaluation de LLM, tous les fournisseurs de modèles, 10 000 sondes de red teaming par mois et un usage local ou auto-hébergé ; Enterprise, « Custom », avec tableau de bord centralisé, SSO, accès API et support prioritaire ; On-Premise, également « Custom », déployé sur votre infrastructure. Aucun montant n'est publié : Enterprise et On-Premise se négocient avec l'équipe commerciale.
OpenAI a annoncé le 9 mars 2026 l'acquisition de Promptfoo, dont la technologie doit rejoindre sa plateforme OpenAI Frontier une fois l'opération finalisée. L'équipe affirme que le projet reste open source et que le service aux utilisateurs et aux clients continue ; le site promptfoo.dev reste en ligne et vend sous son nom. Le site et la documentation sont en anglais uniquement, sans sélecteur de langue. Un package Node et une API de programmation permettent d'intégrer les évaluations dans le code, et la documentation décrit des intégrations CI/CD avec GitHub Actions, GitLab CI ou Jenkins. L'outil s'adresse à des développeurs à l'aise avec la ligne de commande et les fichiers YAML. Limites : pas d'interface en français, une prise en main technique, et un avenir produit lié à la stratégie d'OpenAI, que la page tarifs ne détaille pas.
Alternatives
DeepEval
Framework open source d'évaluation de LLM en Python avec de nombreuses métriques pour tester RAG, agents et chatbots, relié à la plateforme cloud Confident AI
LangSmith
Plateforme de debugging, test et monitoring pour applications LLM et agents, créée par les auteurs de LangChain et intégrée nativement à son écosystème
Braintrust
Plateforme active d'observabilité pour agents IA avec logging, évaluation automatisée et optimisation continu des performances en production
Dans la même catégorie
D'autres outils cybersécurité du catalogue.
SentinelOne Purple AI
Analyste sécurité IA qui investigate les alertes et traque les menaces en autonomie dans votre SOC
Snyk
Sécurité applicative developer-first pour détecter et corriger les vulnérabilités dans le code, les dépendances et les conteneurs
Socket
Protège vos dépendances open source contre les attaques supply chain avant qu'elles n'entrent dans votre code
Tines
Plateforme d'automatisation no-code et d'agents IA pour les équipes sécurité et IT, avec une édition gratuite et des éditions payantes sur devis
Torq
Plateforme SOC pilotée par IA qui trie les alertes, enquête et répond aux menaces, pour les équipes cybersécurité et IT, vendue sur démonstration
Vectra AI
Détection et réponse aux attaques réseau et cloud hybride grâce à une IA spécialisée dans les comportements d'attaquants
Wiz
Plateforme CNAPP de sécurité cloud native qui relie le code, l'infrastructure et le runtime pour une détection des risques unifiée
Abnormal AI
Protection comportementale des e-mails cloud contre la fraude, le phishing et la compromission de comptes
APIaxess
Banc d'essai gratuit et open source pour tester la sécurité des API web et mobiles : navigateur, émulateur Android et proxy déjà configurés
CrowdStrike Charlotte AI
Analyste SOC IA générative qui répond aux questions de sécurité en langage naturel dans la plateforme Falcon
Cybereason
Plateforme XDR/EDR qui détecte et répond aux menaces endpoint par analyse comportementale et visualisation des attaques
Darktrace
Détection et réponse autonome aux cybermenaces grâce à une IA auto-apprenante sur votre réseau
Avis des membres
Pas encore d’avis sur Promptfoo. Vous l’utilisez ? Partagez votre retour, il aidera d’autres pros à choisir.
Vous éditez Promptfoo ?
Affichez le badge sur votre site ou votre page presse. Une information est fausse ou datée ? Écrivez-nous, on corrige la fiche.
