PROTOCOLE PUBLIC · CORE 0.8.6

Mesurer avant
de conclure.

Deux questions, deux mesures : MIRA retrouve-t-elle les bons souvenirs ? Combien de temps prend chaque étape ? Chaque chiffre est rattaché à son corpus, son modèle, sa machine et sa version du core.

01 / ÉTAT DES RÉSULTATS

MESURES PUBLIÉES · CORE 0.8.6

Un relevé est disponible.
Son périmètre est précis.

La qualité est testée sur 20 souvenirs, 6 requêtes et 8 jugements. Les temps sont mesurés sur des jeux de 100, 1 000 et 10 000 souvenirs pour le backend indiqué dans le rapport. Ce run décrit AMD Ryzen 5 7535U with Radeon Graphics avec sentence-transformers/all-MiniLM-L6-v2 ; il ne prédit pas toutes les charges.

RAPPORT · 20261007T173823.806087409Z

Que retrouve MIRA,
et en combien de temps ?

Les scores décrivent la qualité du rappel sur un petit corpus contrôlé. Les temps montrent chaque étape sur plusieurs tailles de jeu.

Run
7 octobre 202620261007T173823.806087409Z
Core & stockage
0.8.6 · sqlite 3.53.3Go go1.27.1
Machine
elite · AMD Ryzen 5 7535U with Radeon Graphicslinux amd64
Corpus
mira-synthetic v1.0.020 souvenirs · 6 requêtes
Modèle
sentence-transformers/all-MiniLM-L6-v2révision c21050a7ef692090620a6d037dd736908f9c7cf6

Protocole : 2 échauffements · 5 répétitions · concurrence 1. SHA-256 modèle d3ca8e9a40bf6d71b224b46079c23688e84bb770201d8006892db5835f558f4a.

01 / QUALITÉ DU RAPPEL

Les souvenirs utiles remontent-ils ?

6 requêtes évaluées · 0 échec · 20 souvenirs · 8 jugements. Un score de 1 correspond au meilleur résultat possible sur ce jeu.

Recall@5Recall@5Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 5 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000

Souvenirs pertinents dans les 5 premiers résultats.

Recall@10Recall@10Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 10 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000

Souvenirs pertinents dans les 10 premiers résultats.

Recall@20Recall@20Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 20 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000

Souvenirs pertinents dans les 20 premiers résultats.

MRRMRRRang du premier résultat pertinent converti en 1/rang (1 au premier rang, 0 si aucun résultat pertinent), puis moyenné sur les requêtes et répétitions.
0.750

Rang moyen du premier souvenir pertinent.

nDCG@10nDCG@10Mesure le classement des 10 premiers résultats en tenant compte du degré de pertinence : les grades 0, 1 et 2 valent des gains 0, 1 et 3, diminués selon le rang. Le score est normalisé par le classement idéal, puis moyenné.
0.815

Qualité de l’ordre des 10 premiers résultats.

Test synthétique fixe · graine 42 · SHA-256 du corpus 2202fb02f9154531a811e227773bba5df328b7203700adbb9d7688f795c2d396. Il vérifie le comportement et les régressions ; il ne mesure pas la qualité générale des réponses d’un agent.

02 / TEMPS DE RÉCUPÉRATION

Combien de temps prend chaque étape ?

p50 est la médiane du run. p95 indique le temps sous lequel se trouvent 95 % des mesures. Les deux chiffres décrivent ce run, pas une garantie de délai.

100 souvenirs

jeu de mesure
Étape mesuréep50 / mesurep95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 100 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure84.084 ms · observation unique— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 100 vecteurs déjà stockés dans le jeu SQLite.5 mesures18.597 ms25.570 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures0.661 ms0.724 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 100 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures2.304 ms2.623 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 100 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure3658.668 ms · observation unique— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 100 mémoires.5 mesures51.934 ms55.010 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 100 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures19.974 ms20.953 ms

1 000 souvenirs

jeu de mesure
Étape mesuréep50 / mesurep95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 1 000 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure270.254 ms · observation unique— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 1 000 vecteurs déjà stockés dans le jeu SQLite.5 mesures315.863 ms325.099 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures0.516 ms0.526 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 1 000 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures3.226 ms3.411 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 1 000 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure41702.732 ms · observation unique— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 1 000 mémoires.5 mesures1084.194 ms1120.581 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 1 000 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures54.328 ms59.066 ms

10 000 souvenirs

jeu de mesure
Étape mesuréep50 / mesurep95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 10 000 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure2535.220 ms · observation unique— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 10 000 vecteurs déjà stockés dans le jeu SQLite.5 mesures3972.766 ms4061.854 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures0.603 ms0.612 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 10 000 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures2.893 ms3.675 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 10 000 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure945879.624 ms · observation unique— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 10 000 mémoires.5 mesures9892.259 ms9928.234 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 10 000 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures74.294 ms75.580 ms

Les tailles d’essai sont relevées sur SQLite. Les préparations sont affichées comme observations uniques. Les reconstructions HNSW, recherches HNSW, replis SQL et rappels complets via MIRA reposent sur des mesures répétées ; le rapport brut conserve tous les échantillons et percentiles.

Rapport source : empreinte SHA-256 déclarée à l’export d16d15c9431d02defa52c2767c12855ce572e700bf8e2a1d50f1c02a65ed1db4 · commit MIRA 907af17968011d78a6cc5741f0550bd72e3fec41 · 5 répétitions prévues · ouvrir le rapport brut. Le site vérifie le snapshot et le format de l’empreinte ; il ne télécharge pas le rapport brut pour recalculer cette empreinte.

02 / DEUX AXES

Qualité et temps,
mesurés séparément.

Un rappel utile et un rappel rapide sont deux choses différentes. La page mesure chaque résultat séparément.

01

Qualité du rappel

Le test vérifie si MIRA retrouve et classe les souvenirs attendus : Recall@k mesure ceux trouvés dans les k premiers résultats, MRR le rang du premier souvenir utile, et nDCG@10 l’ordre des dix premiers. Le jeu fixe contient 20 souvenirs, 6 requêtes et 8 jugements (graine et SHA-256 inclus).

Ce corpus réduit sert à repérer le comportement et les régressions. Il ne remplace pas LoCoMo et ne mesure pas la qualité des réponses produites par un agent.

02

Coût de récupération

Les temps sont regroupés par taille de jeu et par étape : préparation, index HNSW, recherche HNSW, repli SQL ou rappel complet via MIRA. Le rapport conserve les échantillons bruts ; les percentiles décrivent les opérations répétées et les préparations restent des observations uniques.

Les temps varient selon la machine, le système, le backend, le modèle et la taille du jeu. SQLite et PostgreSQL pgvector ont des rapports séparés ; ils ne sont pas présentés comme des performances générales et ne constituent pas un SLO.

03 / PUBLICATION

Une référence
doit être vérifiable.

Un chiffre publiable doit pouvoir être relié à la source exacte, au corpus, au modèle et à la machine qui l’ont produit.

  1. 01

    Le core valide le rapport à l’export ; le commit MIRA est identifié et l’empreinte SHA-256 du corpus correspond.

  2. 02

    Le modèle local est fixé par version et par empreinte des fichiers.

  3. 03

    La machine, le système, le backend, les dimensions et le protocole de répétition sont consignés.

  4. 04

    Les latences de recherche et de rappel reposent sur au moins cinq échantillons. Les préparations de jeu sont des observations uniques : elles ne servent pas à estimer p95.

04 / REPRODUIRE

Le protocole vit
avec le core.

Les commandes, le schéma de rapport et les limites de chaque mesure sont documentés dans le dépôt source.