Arkadium · Wisdom Benchmark
Historial de versions.
Com ha anat canviant la resposta d'Arkadium als 30 dilemes a mesura que el pipeline evoluciona: cada versió amb el que va canviar, la nota del jutge, la llargada i els veredictes a cegues, i per a cada dilema la resposta de cada versió.
Els mateixos 30 dilemes i el mateix jutge a totes les versions (Opus 5, tres repeticions per resposta, quatre criteris de 0 a 3 —oposició real, síntesi que treballa, ancoratge al cas, coherència—, nota sobre 12 i reduïda a 0–1). Una versió és una configuració del pipeline provada sobre els dilemes; les que tenen menys de 25 dilemes són pilots i la seva mitjana no és comparable amb la de les tandes senceres: per això la columna «vs versió anterior» es calcula només sobre els dilemes que tenen totes dues. Els veredictes són el mateix jutge triant a cegues entre dues respostes al mateix dilema, sense saber quina és quina. La versió en producció és la v9 · sense cel·les al prompt; la darrera tanda sencera és la v9 · Opus 5 (23/09/2026). Dues rúbriques. El 18 de setembre es va veure que la nota original (v1, quatre criteris sobre 12) tenia sostre: el 3 d'ancoratge demanava «dades comprovables», que un dilema inventat no té, i el màxim real era 11 sobre 12, on les versions fortes ja eren gairebé sempre. La rúbrica v4 (cinc criteris sobre 15: el 3 d'ancoratge es guanya amb una conseqüència concreta i pròpia del cas, i s'hi afegeix la completesa) ho corregeix; s'ha aplicat a Sonnet 4.6 i a la v6, i on hi és surt al costat de la v1. Per ordenar les versions fortes entre elles, però, la nota no basta: cal el veredicte a cegues. Mètode: pàgina del benchmark; lectura costat per costat de la versió actual: les respostes, comparades; enunciats: els 30 dilemes.
Nota mitjana del jutge, versió per versió
model solArkadiumablaciópilot (menys de 25 dilemes)rúbrica v4 (rombe; cercle, la v1)
Les versions
De la més recent a la més antiga; la gràfica i la matriu de sota van en ordre cronològic.
| Versió | Nota mitjana, 0–1 | Criteris mitjana, 0–3 | Comparacions diferència de nota · veredictes a cegues | Què va canviar |
|---|---|---|---|---|
| v9 · passada per Sonnet 24/09/2026 · ablació 30 dilemes · 652 paraules | 0,941 v4 · sobre 15 | opos2,84 sínt2,93 anc2,71 coh2,96 compl2,67 ancoratge a 3 en el 71 % dels judicis | vs Sonnet 4.6 +0,231 · 30–0 veredictes vs v9 · v7 curta -0,006 · 15–15 veredictes | La v9 amb la passada estructural feta per Sonnet 4.6 pel client Claude Code (a la ruta Max l'API la fa amb Haiku) i amb la instrucció de la cascada per eixos (8 pols → 26 direccions → 80 cel·les). Prova si les cel·les pròpies de cada dilema aporten més que les de Haiku (R) o que cap (T): no ho fan (0,941 a totes tres; veredictes 15–14). No va a producció (40–50 s més per resposta). |
| v9 · sense cel·les al prompt 23/09/2026 · ablació · en producció 30 dilemes · 613 paraules | 0,941 v4 · sobre 15 | opos2,84 sínt2,88 anc2,82 coh3,00 compl2,57 ancoratge a 3 en el 82 % dels judicis | vs Sonnet 4.6 +0,231 · 30–0 veredictes vs v9 · v7 curta -0,006 · 13–17 veredictes | Ablació ACCIDENTAL (23/09 nit): havia de ser la v9 amb la passada estructural per Sonnet i la cascada per eixos, però el JSON de la passada no es va poder llegir a cap dilema i el pipeline va córrer sense cap cel·la (ni pols ni antípodes ni dimensions situades). Mesura què aporten les cel·les de la passada a la v9: −0,007 i 16–13 a favor de la v9. La condició registrada torna a córrer com a U. ⚠️ Des del 24/09/2026 és, pel que fa al prompt, la configuració DE PRODUCCIÓ: la v9 amb la passada estructural en paral·lel (`prepass: async`), on les cel·les ja no entren al prompt i només omplen les fitxes del tauler; la tanda T és la seva mesura (0,941; R − T = +0,005, veredictes 16–13) i no s'ha repetit. |
| v9 · Opus 5 23/09/2026 · Arkadium 30 dilemes · 607 paraules | 0,993 v4 · sobre 15 | opos2,99 sínt3,00 anc2,96 coh2,99 compl2,97 ancoratge a 3 en el 96 % dels judicis | vs Sonnet 4.6 +0,283 vs Opus 5 +0,110 · 29–1 veredictes | La v9 (la versió de producció des del 23/09) amb Opus 5 com a generador, també al re-prompt, sobre els 30 dilemes (AWB-022 inclòs: des del 23/09 el classificador no el pot prendre per xerrada). Es llegeix contra Opus 5 sol. Tanda C del registre: jutjada també per Sonnet 4.6 com a segon jutge, per mesurar l'autopreferència d'Opus (no n'hi ha: M − A és +0,17 amb Opus jutge i +0,24 amb Sonnet jutge; r entre jutges 0,85). |
| v9 · v7 curta 18/09/2026 · Arkadium · en producció 30 dilemes · 640 paraules | 0,947 v4 · sobre 15 | opos2,90 sínt2,87 anc2,80 coh3,00 compl2,64 ancoratge a 3 en el 80 % dels judicis | vs Sonnet 4.6 +0,237 · 30–0 veredictes vs v7 · completesa +0,021 (29 dil.) · 18–11 veredictes | La v7 amb els dos retocs que en queden: el crític intern només dona el 3 de síntesi si la conclusió no és la de cap de les dues posicions, i el límit de llargada es fa complir (380–500 paraules, escurçament a partir de 560). Sense la cinquena pregunta de la v8. Serveix també per saber si el guany de la v7 és llargada. |
| v8 · via intermèdia 18/09/2026 · Arkadium · pilot 6 dilemes · 706 paraules | 0,945 v4 · sobre 15 | opos3,00 sínt2,83 anc2,78 coh2,83 compl2,72 ancoratge a 3 en el 78 % dels judicis | vs Sonnet 4.6 +0,123 vs v7 · completesa -0,022 · 3–3 veredictes | La v7 amb dos retocs sortits de l'anàlisi del dilema de la mentida pietosa: el crític intern només dona el 3 de síntesi si la conclusió no és la de cap de les dues posicions (una posició amb condicions és un 2), i la via intermèdia deixa de ser una frase enterrada al format i passa a ser la cinquena pregunta obligada del bloc de les dimensions. Jutjada només amb la rúbrica v4. |
| v7 · completesa 18/09/2026 · Arkadium · en producció 29 dilemes · 677 paraules | 0,925 v4 · sobre 15 | opos2,97 sínt2,83 anc2,72 coh2,97 compl2,39 ancoratge a 3 en el 72 % dels judicis | vs Sonnet 4.6 +0,218 · 29–0 veredictes vs v6 +0,041 · 20–9 veredictes | La v6 més les quatre dimensions de la completesa —afectats, costos, l'irreversible i el que hi ha en joc més enllà del cas— situades al Meta-Globàlium per a cada dilema (la cel·la de cada dimensió més pròxima al tema), al prompt i al crític intern, que ara compta quantes en tracta la resposta i diu quina falta. Jutjada només amb la rúbrica v4. |
| v6 · Opus 5 18/09/2026 · Arkadium · pilot 8 dilemes · 612 paraules | 0,896 v1 · sobre 12 v4 pilot, 3 dil. | opos2,88 sínt3,00 anc2,00 coh2,88 | vs Sonnet 4.6 +0,180 vs v6 -0,021 | La v6 amb Opus 5 com a generador, també al re-prompt. Es llegeix contra Opus 5 sol, no contra Sonnet: el jutge és Opus i puntua el seu propi estil. |
| Opus 5 18/09/2026 · model sol 30 dilemes · 662 paraules | 0,883 v4 · sobre 15 v1 0,812 | opos2,16 sínt2,73 anc2,93 coh3,00 compl2,42 ancoratge a 3 en el 93 % dels judicis | vs Sonnet 4.6 +0,173 · 30–0 veredictes | Claude Opus 5 sense res d'Arkadium, amb el mateix prompt que Sonnet 4.6. Referència per a les versions que generen amb Opus. |
| v6 18/09/2026 · Arkadium 29 dilemes · 590 paraules | 0,884 v4 · sobre 15 v1 0,872 | opos2,86 sínt2,78 anc2,67 coh2,91 compl2,05 ancoratge a 3 en el 67 % dels judicis | vs Sonnet 4.6 +0,177 · 29–0 veredictes vs v5 · antípodes -0,022 (4 dil.) · 11–18 veredictes | Les antípodes més: l'essència del pol contrari en aquest dilema (no la lectura literal del nom), l'entorn de les cel·les veïnes, la volta que la passada estructural troba activa com a pauta del raonament, i un límit de llargada de 400 a 550 paraules. |
| v5 · antípodes 18/09/2026 · Arkadium 29 dilemes · 754 paraules | 0,907 v1 · sobre 12 v4 pilot, 4 dil. | opos2,97 sínt2,94 anc2,02 coh2,95 | vs Sonnet 4.6 +0,234 · 29–0 veredictes vs v3 +0,028 | L'ontologia fa feina: al prompt, els pols de la pregunta i el costat que sol quedar sense veu (les antípodes de les cel·les del dilema, dites en paraules); al crític, quin pol falta quan l'oposició és fluixa. |
| v3 18/09/2026 · Arkadium 29 dilemes · 728 paraules | 0,879 v1 · sobre 12 | opos2,85 sínt2,72 anc1,97 coh3,00 | vs Sonnet 4.6 +0,206 · 29–0 veredictes vs v2 +0,056 (2 dil.) | La v2 més els elements pràctics que els veredictes valoraven del model sol, dins la prosa: una alternativa intermèdia, la frase que es podria dir, què evitar, què fer després, i un tancament breu «En concret:». |
| Sense Meta-Globàlium 17/09/2026 · ablació 30 dilemes · 478 paraules | 0,776 v1 · sobre 12 | opos2,11 sínt2,44 anc1,81 coh2,94 | vs Sonnet 4.6 +0,098 · 27–3 veredictes vs v1 · bucle semàntic -0,018 · 19–11 veredictes | La v1 amb l'ontologia treta del tot: sense prompt del model, sense RAG, sense passada estructural ni mapa. Mesura què fa el bucle sol. El resultat (a tocar de la v1) va ser el que va obrir la línia de les antípodes. |
| v4 17/09/2026 · Arkadium · pilot 4 dilemes · 684 paraules | 0,896 v1 · sobre 12 | opos2,75 sínt3,00 anc2,00 coh3,00 | vs Sonnet 4.6 +0,062 · 4–0 veredictes vs v3 0,000 | La v3 amb el crític intern fet per un model diferent del generador (Haiku) i un límit d'unes 500 paraules. Pilot de quatre dilemes; no va millorar la v3 i es va deixar. |
| v2 17/09/2026 · Arkadium · pilot 2 dilemes · 584 paraules | 0,861 v1 · sobre 12 | opos2,50 sínt2,83 anc2,00 coh3,00 | vs Sonnet 4.6 -0,001 · 2–0 veredictes vs v1 · bucle semàntic +0,027 | Raons a la posició que no es tria, concreció amb les dades del cas, decisió final amb condicions, sense tancaments sentenciosos, i dos criteris més al crític intern (sinceritat, operativitat). Pilot sobre els dos dilemes on Arkadium perdia el veredicte. |
| v1 · bucle semàntic 17/09/2026 · Arkadium · en producció 30 dilemes · 455 paraules | 0,794 v1 · sobre 12 | opos2,31 sínt2,51 anc1,77 coh2,93 | vs Sonnet 4.6 +0,116 · 28–2 veredictes vs Bucle lèxic +0,087 | El re-prompt deixa de disparar-lo el verificador lèxic i el guia un crític intern amb quatre criteris (oposició, síntesi, ancoratge, coherència), amb suggeriments de contingut i mai d'estil. Prosa sense codis; el mapa de categories es llegeix i s'esborra abans de lliurar. Per defecte en producció des del 17/09/2026. |
| Bastida oculta 17/09/2026 · Arkadium 30 dilemes · 337 paraules | 0,737 v1 · sobre 12 | opos2,13 sínt2,44 anc1,68 coh2,59 | vs Sonnet 4.6 +0,059 vs Bucle lèxic +0,030 | Com el bucle lèxic, amb escope −1: la resposta sense codis ni capçaleres del model. |
| Bucle lèxic 17/09/2026 · Arkadium 30 dilemes · 537 paraules | 0,707 v1 · sobre 12 | opos2,04 sínt2,52 anc1,84 coh2,07 | vs Sonnet 4.6 +0,029 vs Prompt sense bucle -0,003 | El pipeline tal com era fins al 17/09: el bucle de reformulació disparat pel verificador lèxic 𝓦, amb la regeneració pel mateix model (abans la feia Haiku i es tallava). |
| Prompt sense bucle 17/09/2026 · Arkadium 30 dilemes · 427 paraules | 0,710 v1 · sobre 12 | opos2,12 sínt2,40 anc1,59 coh2,41 | vs Sonnet 4.6 +0,032 | El prompt del Meta-Globàlium i el RAG de les 80 fitxes, en una sola generació, sense cap reformulació. |
| Sonnet 4.6 17/09/2026 · model sol 30 dilemes · 423 paraules | 0,710 v4 · sobre 15 v1 0,678 | opos2,00 sínt2,09 anc1,98 coh2,87 compl1,71 ancoratge a 3 en el 8 % dels judicis | — | El punt de partida: Claude Sonnet 4.6 sense res d'Arkadium. El dilema com a únic missatge, sense pensament estès. |
Dilema per dilema
Nota del jutge de cada versió a cada dilema, amb la rúbrica de la versió (v1 sobre 12 fins a la v6; v4 sobre 15 des de la v7, i a les versions rejutjades amb la v4); en negreta, la millor del dilema dins de cada rúbrica, perquè les dues escales no es comparen. Cada nota enllaça amb la resposta, on hi ha les dues notes quan n’hi ha.