DeepEval
Framework open source d'évaluation de LLM en Python avec de nombreuses métriques pour tester RAG, agents et chatbots, relié à la plateforme cloud Confident AI
Overview
DeepEval est un framework open source qui s'utilise comme une bibliothèque de tests pour les applications à base de LLM : on écrit des cas de test en Python, on les lance en local ou en intégration continue, et on obtient des scores sur des métriques adaptées aux systèmes RAG, aux agents et aux chatbots. Le framework est gratuit sous licence Apache 2.0. Il s'associe à Confident AI, une plateforme cloud payante pour garder l'historique des tests et tracer les appels. Sa page tarifs affiche : Free à 0 $ par mois (2 sièges, 1 projet, 5 exécutions de test par semaine), Starter à 200 $ par mois (5 projets, utilisateurs illimités, 5 Go-mois de traces), Team à 2 000 $ par mois (projets illimités, SSO, 75 Go-mois de traces) et Enterprise sur devis. Au-delà, les traces coûtent 1 $ par Go-mois.
La documentation et le site sont uniquement en anglais. L'outil s'utilise principalement en Python, avec une version TypeScript annoncée dans la documentation, et la plateforme Confident AI mentionne un accès complet à l'API de projet dès l'offre Starter. DeepEval cite des intégrations avec LangChain, LlamaIndex, CrewAI ou Pydantic AI, ainsi que des bases vectorielles comme Weaviate et Qdrant. L'offre Enterprise propose un déploiement dédié sur site et une résidence des données personnalisable. Les limites : un outil de développeurs qui suppose de savoir écrire des tests, un saut de prix important entre Starter et Team, et une offre gratuite du cloud limitée à 5 exécutions de test par semaine.
Our verdict
À recommander aux développeurs qui construisent une application RAG ou un agent et veulent des tests de qualité automatisés, gratuits en local avec la possibilité d'ajouter le cloud plus tard. À éviter si personne dans l'équipe ne code en Python : l'outil est technique, en anglais, et le palier Team à 2 000 $ par mois est un gros saut après Starter.