Arkadium · Wisdom Benchmark
Historial de versions.
Com ha anat canviant la resposta d'Arkadium als 30 dilemes a mesura que el pipeline evoluciona: cada versió amb el que va canviar, la nota del jutge, la llargada i els veredictes a cegues, i per a cada dilema la resposta de cada versió.
Els mateixos 30 dilemes i el mateix jutge a totes les versions (Opus 5, tres repeticions per resposta, quatre criteris de 0 a 3 —oposició real, síntesi que treballa, ancoratge al cas, coherència—, nota sobre 12 i reduïda a 0–1). Una versió és una configuració del pipeline provada sobre els dilemes; les que tenen menys de 25 dilemes són pilots i la seva mitjana no és comparable amb la de les tandes senceres: per això la columna «vs versió anterior» es calcula només sobre els dilemes que tenen totes dues. Els veredictes són el mateix jutge triant a cegues entre dues respostes al mateix dilema, sense saber quina és quina. La versió en producció és la v1 · bucle semàntic; la darrera tanda sencera és la v6 (18/09/2026). Mètode: pàgina del benchmark; lectura costat per costat de la versió actual: les respostes, comparades; enunciats: els 30 dilemes.
Nota mitjana del jutge, versió per versió
Llargada mitjana (paraules)
Les versions
| Versió | Dilemes | Jutge | Opos · sínt · anc · coh | Paraules | vs Sonnet 4.6 nota · veredictes | vs versió anterior nota · veredictes | Què va canviar |
|---|---|---|---|---|---|---|---|
| Sonnet 4.6 17/09/2026 · model sol | 30 | 0,678 | 2,01 · 2,16 · 1,68 · 2,29 | 423 | — | — | El punt de partida: Claude Sonnet 4.6 sense res d'Arkadium. El dilema com a únic missatge, sense pensament estès. |
| Prompt sense bucle 17/09/2026 · Arkadium | 30 | 0,710 | 2,12 · 2,40 · 1,59 · 2,41 | 427 | +0,032 | vs Sonnet 4.6 +0,032 | El prompt del Meta-Globàlium i el RAG de les 80 fitxes, en una sola generació, sense cap reformulació. |
| Bucle lèxic 17/09/2026 · Arkadium | 30 | 0,707 | 2,04 · 2,52 · 1,84 · 2,07 | 537 | +0,029 | vs Prompt sense bucle -0,003 | El pipeline tal com era fins al 17/09: el bucle de reformulació disparat pel verificador lèxic 𝓦, amb la regeneració pel mateix model (abans la feia Haiku i es tallava). |
| Bastida oculta 17/09/2026 · Arkadium | 30 | 0,737 | 2,13 · 2,44 · 1,68 · 2,59 | 337 | +0,059 | vs Bucle lèxic +0,030 | Com el bucle lèxic, amb escope −1: la resposta sense codis ni capçaleres del model. |
| v1 · bucle semàntic 17/09/2026 · Arkadium · en producció | 30 | 0,794 | 2,31 · 2,51 · 1,77 · 2,93 | 455 | +0,116 28–2 de 30 | vs Bucle lèxic +0,087 | El re-prompt deixa de disparar-lo el verificador lèxic i el guia un crític intern amb quatre criteris (oposició, síntesi, ancoratge, coherència), amb suggeriments de contingut i mai d'estil. Prosa sense codis; el mapa de categories es llegeix i s'esborra abans de lliurar. Per defecte en producció des del 17/09/2026. |
| v2 17/09/2026 · Arkadium · pilot | 2 | 0,861 | 2,50 · 2,83 · 2,00 · 3,00 | 584 | -0,001 2–0 de 2 | vs v1 · bucle semàntic +0,027 | Raons a la posició que no es tria, concreció amb les dades del cas, decisió final amb condicions, sense tancaments sentenciosos, i dos criteris més al crític intern (sinceritat, operativitat). Pilot sobre els dos dilemes on Arkadium perdia el veredicte. |
| v4 17/09/2026 · Arkadium · pilot | 4 | 0,896 | 2,75 · 3,00 · 2,00 · 3,00 | 684 | +0,062 4–0 de 4 | vs v3 0,000 | La v3 amb el crític intern fet per un model diferent del generador (Haiku) i un límit d'unes 500 paraules. Pilot de quatre dilemes; no va millorar la v3 i es va deixar. |
| Sense Meta-Globàlium 17/09/2026 · ablació | 30 | 0,776 | 2,11 · 2,44 · 1,81 · 2,94 | 478 | +0,098 27–3 de 30 | vs v1 · bucle semàntic -0,018 19–11 de 30 | La v1 amb l'ontologia treta del tot: sense prompt del model, sense RAG, sense passada estructural ni mapa. Mesura què fa el bucle sol. El resultat (a tocar de la v1) va ser el que va obrir la línia de les antípodes. |
| v3 18/09/2026 · Arkadium | 29 | 0,879 | 2,85 · 2,72 · 1,97 · 3,00 | 728 | +0,206 29–0 de 29 | vs v2 +0,056 | La v2 més els elements pràctics que els veredictes valoraven del model sol, dins la prosa: una alternativa intermèdia, la frase que es podria dir, què evitar, què fer després, i un tancament breu «En concret:». |
| v5 · antípodes 18/09/2026 · Arkadium | 29 | 0,907 | 2,97 · 2,94 · 2,02 · 2,95 | 754 | +0,234 29–0 de 29 | vs v3 +0,028 | L'ontologia fa feina: al prompt, els pols de la pregunta i el costat que sol quedar sense veu (les antípodes de les cel·les del dilema, dites en paraules); al crític, quin pol falta quan l'oposició és fluixa. |
| v6 18/09/2026 · Arkadium | 29 | 0,872 | 2,82 · 2,77 · 1,94 · 2,93 | 590 | +0,199 29–0 de 29 | vs v5 · antípodes -0,035 11–18 de 29 | Les antípodes més: l'essència del pol contrari en aquest dilema (no la lectura literal del nom), l'entorn de les cel·les veïnes, la volta que la passada estructural troba activa com a pauta del raonament, i un límit de llargada de 400 a 550 paraules. |
| Opus 5 18/09/2026 · model sol · pilot | 8 | 0,812 | 2,12 · 2,62 · 2,04 · 2,96 | 594 | +0,096 2–0 de 2 | — | Claude Opus 5 sense res d'Arkadium, amb el mateix prompt que Sonnet 4.6. Referència per a les versions que generen amb Opus. |
| v6 · Opus 5 18/09/2026 · Arkadium · pilot | 8 | 0,896 | 2,88 · 3,00 · 2,00 · 2,88 | 612 | +0,180 | vs v6 -0,021 | La v6 amb Opus 5 com a generador, també al re-prompt. Es llegeix contra Opus 5 sol, no contra Sonnet: el jutge és Opus i puntua el seu propi estil. |
Dilema per dilema
Nota del jutge de cada versió a cada dilema; en negreta, la millor del dilema. Cada nota enllaça amb la resposta.