Madani Lab · WAB v0.3.4 · open source
Benchmark open-source per architetture workspace agentic. Valutiamo 7 workspace di riferimento su 12 pillar e pubblichiamo metodologia + 18 paper.
§ 02 · il problema
I tassi di fallimento dei pilot non sono migliorati nemmeno quando i modelli sono migliorati. Quattro dati mostrano dove gli agent in produzione si rompono davvero.
95%
tasso di fallimentoNon perché i modelli siano deboli, ma perché i workspace attorno sono fragili. Il 5% che va in produzione ha progettato l’infrastruttura per essere portatile, esportabile e ri-fondabile dal giorno zero.
MIT Sloan 2025 · Gartner Q4 2025 · Madani field study (47 enterprise EU, WSB-08)
92%
varianza spiegataPassare da Claude Sonnet a Opus produce un lift di circa il 15%. Raddoppiare la qualità del workspace (α = Q × Q) produce un lift dell’83%. Il capitale allocato alla scelta del modello ha rendimenti decrescenti; quello allocato all’engineering dell’harness compone.
Madani Lab · 142 task in produzione · R² = 0,78 (WSB-04)
7 of 8
win rateReplicando il principio Data Processing Inequality (DPI) di Stanford in produzione: un single agent ben strutturato vince 7 confronti su 8. L’unica vittoria multi-agent è su un task naturalmente parallelo — esattamente dove la teoria DPI lo prevede.
Replicazione Madani di Tran & Kiela · arXiv:2604.02460 (WSB-05)
38%
quota fallimentipass@k nasconde cosa si rompe davvero in produzione. Applicata la tassonomia MAST a 14 modalità di fallimento, il quadro si ribalta: la reliability è una disciplina dell’harness (chiavi di idempotenza, scritture atomiche, re-grounding mid-task), non una proprietà del modello.
Madani · 1.200 run in produzione · baseline MAST Cleric & Yu 2025 (WSB-07)
§ 03 · metodologia
Ogni pillar viene valutato su una scala di maturità L0–L4 ispirata a CMMI. Il composito è una media pesata sui quattro cluster, normalizzata 0–100, con voti letterali (A ≥75 · B 60–74 · C 45–59 · D 30–44 · F <30).
la mente dell’agent
Profondità, freschezza e accessibilità delle informazioni disponibili all’agent al momento della decisione.
Stato persistente tra sessioni · disciplina di retrieval · compattazione consapevole del decay.
Single-thread di default · delega basata su evidenze quando le condizioni DPI sono soddisfatte.
come esegue
Capabilities modulari, componibili, hot-swappable che l’agent può invocare senza re-engineering.
Auto-valutazione pre-task · update post-task · loop di feedback cibernetico.
Prompt model-agnostic · stato esportabile · zero vendor lock-in.
sicurezza e governance
pass@k + tassonomia 14-failure MAST · chiavi di idempotenza · replay harness.
Hard rules · gate di compliance · audit trail · checkpoint human-in-the-loop.
Riferimenti vault op:// · zero secret in chiaro · token scoped e rotabili.
Logging strutturato · metriche · trace ID · telemetria sul token-spend.
production readiness
Loop di Reflexion · dreams · skill discovery · evoluzione del capability profile.
Replicabile tra contesti · onboarding documentato · install deterministico.
scala di maturità · valutata per pillar
§ 04 · research papers
18 paper-grade · clicca per espandere l’abstract.
Perché l'intelligenza del modello non è più il collo di bottiglia — e cosa lo è.
Quattro Cluster ortogonali · dodici dimensioni · derivate dall'analisi dei failure in produzione su 142 task.
Una matrice di accettazione a 60 celle che operazionalizza «AI-ready» oltre la certificazione di marketing.
Dal paper alla produzione — traduzioni esplicite dalle primitive accademiche a componenti deployabili.
L'informazione mutua di Shannon applicata all'astrazione workspace-come-canale · R² 0,78 su 142 task.
arXiv:2604.02460 nel contesto PMI italiano · 7/8 vittorie single-thread · la penalità multi-agent cresce non-linearmente per hop.
La calibrazione collassa 2,6× dai task Easy agli Hard · la peer evaluation cross-agent contribuisce quasi quanto l'autointrospezione · ECE 0,24 → 0,087 in 4 giorni.
Il 78,7% dei multi-agent failure NON è un problema di modello · Step Repetition (15,7%) è il modo di failure singolo numero 1 · l'Allucinazione è esclusa deliberatamente dalla tassonomia.
Studio sul campo di 47 enterprise UE · la portability spiega il 64% della varianza di outcome · una checklist a 23 artefatti che separa il 5% da tutti gli altri.
1,2M agent turn · 340M token · half-life dell'SNR di 340 turn al baseline · tre interventi compongono moltiplicativamente fino a una half-life di 950 turn.
Steel-man Cognition validato · audit su 14 deployment · 12 dei 14 deployment multi-agent rolled back o abbandonati · diluizione del context dominante in 11 su 14.
Adattare Shinn et al. (NeurIPS 2023, arXiv:2303.11366) dai benchmark short-horizon ai cicli di produzione pluri-mensili · +17pp di task-success sostenuti su 12 mesi.
La decisione 270s vs 1200s · perché finestre di cache da 5 minuti ridisegnano ogni architettura di loop autonomo · −87% di costo con zero impatto sull'accuratezza.
Da RAGAS benchmark-time a un retrieval QA continuamente in esecuzione · perché ogni agent long-lived ha bisogno di una CI per la propria memoria · l'asse di recall drift che Es et al. non hanno misurato.
Adattare l'autoresearch di Karpathy dalla sperimentazione individuale a uno skill durevole del workspace · 6 mesi di production run · 7 finding controintuitivi su scoring composito e sleep adattivo.
Come codificare regole «mai fare X» così che gli agent in produzione le rispettino in ogni condizione, anche adversarial · 41.302 decisioni di gate · zero violazioni osservate · 7 prese controintuitive.
23 servizi · zero secret nel repo · risoluzione runtime via 1Password CLI · 12 mesi di produzione · 7 prese controintuitive sulle credentials a scala.
Perché gli «skill» battono «tool» e «ability» come unità di composizione delle capability agentic · 42 skill attivi · uso power-law · 7 prese controintuitive sul design degli skill.
Perché la memory di un agente ha bisogno di cinque tier separati — semantic, episodic, procedural, personalized, environment-dynamics — e perché collassarli è la ragione silenziosa per cui gli agent di produzione falliscono alla terza settimana.
Curator, Dreams, Reflexion producevano 50 proposte per run e ne applicavano zero. L'engine a cinque layer — gate PP · gate alpha · gate LLM-behavior · snapshot · log — chiude il gap codificando quando una decisione macchina è più sicura di una umana.
§ 05 · contribuisci
Il benchmark è aperto · la metodologia è aperta · il tooling di audit è aperto. Tre modi per partecipare.
01 · github
WAB v0.3.4 · architettura a 12 pillar · maturità L0–L4 · matrice di audit · tutto nel repo pubblico.
ceomadani/workspace-agentic-benchmark ↗02 · pull request
Audita il tuo workspace contro la matrice a 60 celle · apri una PR su /workspaces/{slug}.md · rispondiamo entro 7 giorni.
apri una PR ↗03 · email
Draft di paper · studi di replicazione · procurement enterprise · audit in stile MAST · leggiamo tutto.
lab@madani.agency