Deux questions, deux mesures : MIRA retrouve-t-elle les bons souvenirs ? Combien de temps prend chaque étape ? Chaque chiffre est rattaché à son corpus, son modèle, sa machine et sa version du core.
FIG. 01 · OBSERVATION / MESURES
01 / ÉTAT DES RÉSULTATS
MESURES PUBLIÉES · CORE 0.8.6
Un relevé est disponible. Son périmètre est précis.
La qualité est testée sur 20 souvenirs, 6 requêtes et 8 jugements. Les temps sont mesurés sur des jeux de 100, 1 000 et 10 000 souvenirs pour le backend indiqué dans le rapport. Ce run décrit AMD Ryzen 5 7535U with Radeon Graphics avec sentence-transformers/all-MiniLM-L6-v2 ; il ne prédit pas toutes les charges.
RAPPORT · 20261007T173823.806087409Z
Que retrouve MIRA, et en combien de temps ?
Les scores décrivent la qualité du rappel sur un petit corpus contrôlé. Les temps montrent chaque étape sur plusieurs tailles de jeu.
Run
7 octobre 202620261007T173823.806087409Z
Core & stockage
0.8.6 · sqlite 3.53.3Go go1.27.1
Machine
elite · AMD Ryzen 5 7535U with Radeon Graphicslinux amd64
6 requêtes évaluées · 0 échec · 20 souvenirs · 8 jugements. Un score de 1 correspond au meilleur résultat possible sur ce jeu.
Recall@5Recall@5Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 5 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000
Souvenirs pertinents dans les 5 premiers résultats.
Recall@10Recall@10Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 10 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000
Souvenirs pertinents dans les 10 premiers résultats.
Recall@20Recall@20Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 20 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000
Souvenirs pertinents dans les 20 premiers résultats.
MRRMRRRang du premier résultat pertinent converti en 1/rang (1 au premier rang, 0 si aucun résultat pertinent), puis moyenné sur les requêtes et répétitions.
0.750
Rang moyen du premier souvenir pertinent.
nDCG@10nDCG@10Mesure le classement des 10 premiers résultats en tenant compte du degré de pertinence : les grades 0, 1 et 2 valent des gains 0, 1 et 3, diminués selon le rang. Le score est normalisé par le classement idéal, puis moyenné.
0.815
Qualité de l’ordre des 10 premiers résultats.
Test synthétique fixe · graine 42 · SHA-256 du corpus 2202fb02f9154531a811e227773bba5df328b7203700adbb9d7688f795c2d396. Il vérifie le comportement et les régressions ; il ne mesure pas la qualité générale des réponses d’un agent.
02 / TEMPS DE RÉCUPÉRATION
Combien de temps prend chaque étape ?
p50 est la médiane du run. p95 indique le temps sous lequel se trouvent 95 % des mesures. Les deux chiffres décrivent ce run, pas une garantie de délai.
100 souvenirs
jeu de mesure
Étape mesurée
p50 / mesure
p95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 100 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure
84.084 ms · observation unique
— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 100 vecteurs déjà stockés dans le jeu SQLite.5 mesures
18.597 ms
25.570 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures
0.661 ms
0.724 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 100 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures
2.304 ms
2.623 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 100 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure
3658.668 ms · observation unique
— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 100 mémoires.5 mesures
51.934 ms
55.010 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 100 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures
19.974 ms
20.953 ms
1 000 souvenirs
jeu de mesure
Étape mesurée
p50 / mesure
p95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 1 000 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure
270.254 ms · observation unique
— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 1 000 vecteurs déjà stockés dans le jeu SQLite.5 mesures
315.863 ms
325.099 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures
0.516 ms
0.526 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 1 000 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures
3.226 ms
3.411 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 1 000 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure
41702.732 ms · observation unique
— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 1 000 mémoires.5 mesures
1084.194 ms
1120.581 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 1 000 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures
54.328 ms
59.066 ms
10 000 souvenirs
jeu de mesure
Étape mesurée
p50 / mesure
p95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 10 000 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure
2535.220 ms · observation unique
— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 10 000 vecteurs déjà stockés dans le jeu SQLite.5 mesures
3972.766 ms
4061.854 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures
0.603 ms
0.612 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 10 000 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures
2.893 ms
3.675 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 10 000 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure
945879.624 ms · observation unique
— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 10 000 mémoires.5 mesures
9892.259 ms
9928.234 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 10 000 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures
74.294 ms
75.580 ms
Les tailles d’essai sont relevées sur SQLite. Les préparations sont affichées comme observations uniques. Les reconstructions HNSW, recherches HNSW, replis SQL et rappels complets via MIRA reposent sur des mesures répétées ; le rapport brut conserve tous les échantillons et percentiles.
Rapport source : empreinte SHA-256 déclarée à l’export d16d15c9431d02defa52c2767c12855ce572e700bf8e2a1d50f1c02a65ed1db4 · commit MIRA 907af17968011d78a6cc5741f0550bd72e3fec41 · 5 répétitions prévues · ouvrir le rapport brut. Le site vérifie le snapshot et le format de l’empreinte ; il ne télécharge pas le rapport brut pour recalculer cette empreinte.
02 / DEUX AXES
Qualité et temps, mesurés séparément.
Un rappel utile et un rappel rapide sont deux choses différentes. La page mesure chaque résultat séparément.
01
Qualité du rappel
Le test vérifie si MIRA retrouve et classe les souvenirs attendus : Recall@k mesure ceux trouvés dans les k premiers résultats, MRR le rang du premier souvenir utile, et nDCG@10 l’ordre des dix premiers. Le jeu fixe contient 20 souvenirs, 6 requêtes et 8 jugements (graine et SHA-256 inclus).
Ce corpus réduit sert à repérer le comportement et les régressions. Il ne remplace pas LoCoMo et ne mesure pas la qualité des réponses produites par un agent.
02
Coût de récupération
Les temps sont regroupés par taille de jeu et par étape : préparation, index HNSW, recherche HNSW, repli SQL ou rappel complet via MIRA. Le rapport conserve les échantillons bruts ; les percentiles décrivent les opérations répétées et les préparations restent des observations uniques.
Les temps varient selon la machine, le système, le backend, le modèle et la taille du jeu. SQLite et PostgreSQL pgvector ont des rapports séparés ; ils ne sont pas présentés comme des performances générales et ne constituent pas un SLO.
03 / PUBLICATION
Une référence doit être vérifiable.
Un chiffre publiable doit pouvoir être relié à la source exacte, au corpus, au modèle et à la machine qui l’ont produit.
01
Le core valide le rapport à l’export ; le commit MIRA est identifié et l’empreinte SHA-256 du corpus correspond.
02
Le modèle local est fixé par version et par empreinte des fichiers.
03
La machine, le système, le backend, les dimensions et le protocole de répétition sont consignés.
04
Les latences de recherche et de rappel reposent sur au moins cinq échantillons. Les préparations de jeu sont des observations uniques : elles ne servent pas à estimer p95.
04 / REPRODUIRE
Le protocole vit avec le core.
Les commandes, le schéma de rapport et les limites de chaque mesure sont documentés dans le dépôt source.