P0 / 01Localiser les échecs
Une réponse fausse ne dit pas à quelle étape intervenir. Comparer plusieurs entrées avec le même modèle et les mêmes outils complémentaires.
- Exécution normale sur le corpus complet.
- Pages de référence fournies directement : diagnostic du retrieval.
- Pages extraites, puis texte de référence vérifié : diagnostic du parsing et du raisonnement.
MesurerRéussite par configuration, erreurs OCR ou d’unité, documents retrouvés, passages lus et erreurs de calcul.
Interpréter les écarts
Un succès avec les preuves fournies suggère une piste côté accès aux preuves ; un échec persistant appelle une inspection de l’extraction, du raisonnement ou du jugement. Les configurations « oracle » sont diagnostiques et ne participent pas au classement principal. Cette méthode reprend les ablations de l’étude OfficeQA.
Comparer à budget égal
Tracer les résultats en fonction du temps et du coût disponibles, avec une référence RAG optimisée : recherche hybride, reranking et contexte adapté.
- Figer modèle, corpus, extraction, index et réglages hors variante étudiée.
- Documenter l’accès au web, au calcul et à l’exécution de code.
- Publier les limites de temps, tokens et appels ainsi que les dépassements.
MesurerExactitude, latence p50/p95, coût total et coût par réponse correcte = coût de toutes les exécutions / nombre de réponses correctes.
Inclure le travail en amont
Déclarer séparément OCR, embeddings, construction d’index ou de graphe, puis amortir ces coûts sur un volume de questions explicite. Le coût par réponse correcte est non défini si aucune réponse n’est correcte. Les échecs et timeouts restent comptabilisés.
Évaluer les preuves
Distinguer l’exactitude de la réponse, la qualité des citations et la couverture des éléments nécessaires pour la justifier.
- Relier chaque affirmation vérifiable à son passage source.
- Vérifier valeur, unité, période et périmètre.
- Accepter des preuves alternatives après validation.
MesurerCitations qui soutiennent l’affirmation / citations vérifiées ; éléments de preuve couverts / éléments attendus et validés.
Utiliser les annotations disponibles
FinanceBench fournit des extraits et pages de référence. Ils amorcent l’évaluation sans constituer nécessairement la liste exhaustive des preuves valides. Une preuve non annotée reste « à vérifier », et ne devient pas automatiquement incorrecte. La réponse et ses citations gardent des scores distincts.
Tester le transfert
Régler une configuration sur OfficeQA Pro, la figer, puis l’évaluer sur OfficeQA Pro V2 sans réajustement sur les résultats de test.
- V2 apporte 90 questions sur un autre corpus de documents financiers.
- Conserver séparément réglage, validation et test final.
- Compléter ensuite avec manuels, contrats ou documents multilingues.
MesurerGain par corpus, type de question, format de document et nombre de sources nécessaires.
Garder un vrai test final
Si V2 sert à régler les paramètres, il devient à son tour un jeu de développement. Prévoir alors de nouvelles questions tenues à l’écart. Les réponses de référence doivent rester inaccessibles à l’agent pendant l’exécution.
Ajouter des situations difficiles
Créer des variantes annotées où les informations sont absentes, proches mais non pertinentes, contradictoires ou corrigées dans une version ultérieure.
- Question sans réponse et question répondable avec vocabulaire différent.
- Même entité, autre période ou unité ; tableaux perturbés par OCR.
- Document ajouté, corrigé ou supprimé, avec état de l’index vérifié.
MesurerAbstentions justifiées, abstentions à tort, affirmations non soutenues et sélection de la version attendue.
Éviter un score trompeur
Ne pas récompenser un système qui refuse toutes les questions. Publier séparément les résultats des cas répondables et non répondables. Chaque modification de document exige une réponse de référence et une provenance adaptées à cette variante.
Mesurer la stabilité
Répéter chaque question, conserver les résultats individuels et publier les incertitudes sur les différences entre configurations.
- Prévoir 3 à 5 répétitions par question pour une première campagne.
- Comparer les configurations sur les mêmes questions ; tenir compte des documents partagés.
- Figer versions du modèle, prompts, outils, corpus, index et juge.
MesurerVariation entre répétitions, différence appariée avec intervalle de confiance, questions gagnées et questions qui régressent.
Rendre la campagne reproductible
Exporter le manifeste du corpus et ses empreintes, les paramètres de génération, l’ordre d’exécution et les états de cache. Sur un petit jeu, une variation de quelques réponses peut déplacer le score agrégé : conserver les traces permet de comprendre ces écarts.