RAPPORT DE RELEASE · CORE 0.8.4

Mesures
de la version 0.8.4.

Résultats validés pour cette release, avec le commit, le modèle, le corpus, l’hôte et les répétitions consignés dans le rapport.

RAPPORT · 20261004T063208.314761358Z

Que retrouve MIRA,
et en combien de temps ?

Les scores décrivent la qualité du rappel sur un petit corpus contrôlé. Les temps montrent chaque étape sur plusieurs tailles de jeu.

Run
4 octobre 202620261004T063208.314761358Z
Core & stockage
0.8.4 · sqlite not exposedGo go1.27.1
Machine
elite · AMD Ryzen 5 7535U with Radeon Graphicslinux amd64
Corpus
mira-synthetic v1.0.020 souvenirs · 6 requêtes
Modèle
sentence-transformers/all-MiniLM-L6-v2révision c21050a7ef692090620a6d037dd736908f9c7cf6

Protocole : 2 échauffements · 5 répétitions · concurrence 1. SHA-256 modèle d3ca8e9a40bf6d71b224b46079c23688e84bb770201d8006892db5835f558f4a.

01 / QUALITÉ DU RAPPEL

Les souvenirs utiles remontent-ils ?

6 requêtes évaluées · 0 échec · 20 souvenirs · 8 jugements. Un score de 1 correspond au meilleur résultat possible sur ce jeu.

Recall@5Recall@5Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 5 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000

Souvenirs pertinents dans les 5 premiers résultats.

Recall@10Recall@10Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 10 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000

Souvenirs pertinents dans les 10 premiers résultats.

Recall@20Recall@20Part des souvenirs jugés pertinents (grade ≥ 1) retrouvés dans les 20 premiers résultats. Le score est calculé par requête et répétition, puis moyenné sur les évaluations réussies.
100.0%score 1.000

Souvenirs pertinents dans les 20 premiers résultats.

MRRMRRRang du premier résultat pertinent converti en 1/rang (1 au premier rang, 0 si aucun résultat pertinent), puis moyenné sur les requêtes et répétitions.
0.750

Rang moyen du premier souvenir pertinent.

nDCG@10nDCG@10Mesure le classement des 10 premiers résultats en tenant compte du degré de pertinence : les grades 0, 1 et 2 valent des gains 0, 1 et 3, diminués selon le rang. Le score est normalisé par le classement idéal, puis moyenné.
0.782

Qualité de l’ordre des 10 premiers résultats.

Test synthétique fixe · graine 42 · SHA-256 du corpus 2202fb02f9154531a811e227773bba5df328b7203700adbb9d7688f795c2d396. Il vérifie le comportement et les régressions ; il ne mesure pas la qualité générale des réponses d’un agent.

02 / TEMPS DE RÉCUPÉRATION

Combien de temps prend chaque étape ?

p50 est la médiane du run. p95 indique le temps sous lequel se trouvent 95 % des mesures. Les deux chiffres décrivent ce run, pas une garantie de délai.

100 souvenirs

jeu de mesure
Étape mesuréep50 / mesurep95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 100 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure55.501 ms · observation unique— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 100 vecteurs déjà stockés dans le jeu SQLite.5 mesures14.930 ms15.280 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures0.515 ms0.567 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 100 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures2.400 ms2.452 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 100 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure2207.883 ms · observation unique— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 100 mémoires.5 mesures38.967 ms40.633 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 100 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures13.612 ms13.971 ms

1 000 souvenirs

jeu de mesure
Étape mesuréep50 / mesurep95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 1 000 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure187.062 ms · observation unique— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 1 000 vecteurs déjà stockés dans le jeu SQLite.5 mesures227.878 ms238.274 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures1.371 ms1.410 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 1 000 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures4.203 ms4.300 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 1 000 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure27524.449 ms · observation unique— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 1 000 mémoires.5 mesures807.740 ms825.564 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 1 000 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures43.671 ms43.860 ms

10 000 souvenirs

jeu de mesure
Étape mesuréep50 / mesurep95 · ≥ 5 mesures
Préparer le jeu SQLitePréparer le jeu SQLiteTemps pour créer et remplir le jeu SQLite isolé de 10 000 mémoires, avec leurs empreintes et vecteurs. La recherche n'est pas incluse.1 mesure1826.257 ms · observation unique— non estimé
Construire l’index HNSWConstruire l’index HNSWTemps pour reconstruire l'index HNSW à partir des 10 000 vecteurs déjà stockés dans le jeu SQLite.5 mesures2919.526 ms3039.358 ms
Recherche avec HNSWRecherche avec HNSWTemps d'une recherche des 10 voisins dans l'index HNSW déjà construit, avec le vecteur de requête fixe du protocole. Les échauffements sont exécutés avant les échantillons mesurés.5 mesures12.924 ms13.003 ms
Recherche SQL de secoursRecherche SQL de secoursTemps d'une recherche vectorielle SQL de repli dans le jeu SQLite de 10 000 mémoires, avec le vecteur fixe et une limite de 10 résultats. Cette mesure n'utilise pas l'index HNSW.5 mesures28.886 ms29.302 ms
Ingérer les souvenirs via MIRAIngérer les souvenirs via MIRATemps d'ingestion de 10 000 mémoires de test via l'API MIRA Store, dont leur traitement et leur enregistrement. Cette préparation est séparée des mesures de rappel.1 mesure1011882.839 ms · observation unique— non estimé
Construire l’index de MIRAConstruire l’index de MIRATemps pour reconstruire l'index HNSW de l'application MIRA après l'ingestion des 10 000 mémoires.5 mesures11109.287 ms12054.361 ms
Rappel complet via MIRARappel complet via MIRATemps du rappel complet via l'API MIRA Recall sur le jeu SQLite de 10 000 mémoires, avec la requête fixe et le modèle déjà préparé. Il couvre le pipeline de rappel, pas seulement la recherche vectorielle.5 mesures153.547 ms182.836 ms

Rappel complet PostgreSQLRappel complet PostgreSQLLe rappel complet avec PostgreSQL et pgvector n'est pas mesuré par le protocole v1. Cette ligne signale cette absence; elle ne contient pas de latence PostgreSQL.Non mesuréPostgreSQL and pgvector are not exercised by benchmark v1; this run uses SQLite only

Les tailles d’essai sont relevées sur SQLite. Les préparations sont affichées comme observations uniques. Les reconstructions HNSW, recherches HNSW, replis SQL et rappels complets via MIRA reposent sur des mesures répétées ; le rapport brut conserve tous les échantillons et percentiles.

Rapport source : empreinte SHA-256 déclarée à l’export 2b15e245a291068c285043ba94ace9497bf2b7e272b901c7911f0d9eb90c5676 · commit MIRA 09be3a6a05c5a363249ea023804aaaf3f31af4fa · 5 répétitions prévues · ouvrir le rapport brut. Le site vérifie le snapshot et le format de l’empreinte ; il ne télécharge pas le rapport brut pour recalculer cette empreinte.