Promptfoo

Promptfoo est un outil de test pour les applications fondées sur des modèles de langage. On décrit dans un fichier de configuration des prompts, des modèles et des cas de test, puis la ligne de commande compare les réponses et signale les régressions. Le site met surtout en avant le red teaming automatisé : le logiciel simule des attaques contre un agent ou un système RAG pour repérer les failles. Le CLI open source est publié sous licence MIT. La page de tarifs affiche trois offres : Community, « gratuit pour toujours », avec l'évaluation de LLM, tous les fournisseurs de modèles, 10 000 sondes de red teaming par mois et un usage local ou auto-hébergé ; Enterprise, « Custom », avec tableau de bord centralisé, SSO, accès API et support prioritaire ; On-Premise, également « Custom », déployé sur votre infrastructure. Aucun montant n'est publié : Enterprise et On-Premise se négocient avec l'équipe commerciale.

OpenAI a annoncé le 9 mars 2026 l'acquisition de Promptfoo, dont la technologie doit rejoindre sa plateforme OpenAI Frontier une fois l'opération finalisée. L'équipe affirme que le projet reste open source et que le service aux utilisateurs et aux clients continue ; le site promptfoo.dev reste en ligne et vend sous son nom. Le site et la documentation sont en anglais uniquement, sans sélecteur de langue. Un package Node et une API de programmation permettent d'intégrer les évaluations dans le code, et la documentation décrit des intégrations CI/CD avec GitHub Actions, GitLab CI ou Jenkins. L'outil s'adresse à des développeurs à l'aise avec la ligne de commande et les fichiers YAML. Limites : pas d'interface en français, une prise en main technique, et un avenir produit lié à la stratégie d'OpenAI, que la page tarifs ne détaille pas.