← Benchmark

Arkadium · Wisdom Benchmark · pàgina de treball

Les respostes, comparades.

Els 30 dilemes, amb la resposta de Claude Sonnet 4.6 i la d'Arkadium (el mateix model, ancorat al Meta-Globàlium) costat per costat, i les notes del jutge.

Aquesta pàgina compara Claude Sonnet 4.6 tal qual amb Arkadium en la seva versió més recent, la v9 (18 de setembre de 2026, defecte de producció des del 23): el mateix model, ancorat al Meta-Globàlium amb els pols del dilema i les seves antípodes al prompt, l'essència del pol contrari, les cel·les veïnes, la volta activa com a pauta, les quatre dimensions de la completesa (afectats, costos, l'irreversible, el que hi ha en joc més enllà del cas) situades al model per a cada dilema, i una síntesi que no pot ser la de cap de les dues posicions. Una generació per condició, sense pensament estès. El jutge (Opus 5, tres repeticions, codis del model esborrats abans de jutjar) puntua amb la rúbrica v4 cinc criteris de 0 a 3 —oposició real, síntesi que treballa, ancoratge al cas, coherència, completesa— i la nota és la suma sobre 15. Mitjanes sobre els dilemes: Sonnet 4.6 0,710, Arkadium v9 0,947 (30 dilemes). Les versions anteriors (v1 0,789, prompt sense bucle 0,706, bucle lèxic 0,699, bastida oculta 0,731, amb la rúbrica original) són a l'historial. Mètode: pàgina del benchmark; enunciats sencers: els 30 dilemes.

Veredicte. A part de les notes, el mateix jutge ha rebut, per a cada dilema, les dues respostes a cegues —com a «Resposta 1» i «Resposta 2», en ordre aleatori i sense codis— i ha escrit un paràgraf que diu en què és millor i en què és pitjor cadascuna i quina prefereix. És un judici comparatiu, independent de les notes per criteri. Prefereix Arkadium v9 en 30 dilemes, Sonnet 4.6 en 0, empat en 0 (de 30 amb veredicte). La columna d'Arkadium mostra la versió més recent provada a cada dilema, amb les seves notes i el seu veredicte; les versions anteriors (v1, v2, v3, v4, antípodes) la condició sense Meta-Globàlium (el mateix bucle i format sense res de l'ontologia, el punt zero) i les dues ablacions de la v9 del 23 i 24 de setembre (sense passada estructural i passada per Sonnet, amb la rúbrica v4) queden plegades a sota de cada dilema.Totes les versions provades, en ordre, amb el que va canviar a cadascuna i la resposta de cada versió a cada dilema, són a l'historial de versions.

Amb Opus 5. El 23 de setembre de 2026 es repeteix la mesura amb un generador més fort, Claude Opus 5, per veure si Arkadium hi ajuda igual: Opus 5 tot sol i Arkadium (la v9) amb Opus 5 com a generador, mateix jutge i rúbrica v4, els 30 dilemes. Mitjanes: Opus 5 0,883 (30), Arkadium amb Opus 5 0,993 (30); veredicte a cegues entre els dos: Arkadium en 29, Opus 5 en 1, empat en 0 (de 30). Per saber si el jutge, que és Opus 5, afavoreix el seu propi estil, un segon jutge (Claude Sonnet 4.6, mateixa rúbrica) ha puntuat les mateixes respostes: dona a Opus 5 sol un avantatge sobre Sonnet 4.6 sol més gran que el que li dona Opus mateix, i coincideix amb Opus resposta per resposta (r = 0,85); no hi ha autopreferència mesurable. Arkadium sobre Sonnet 4.6 (la v9) puntua per sobre d'Opus 5 sol amb tots dos jutges. ⚠️ Amb Opus la nota toca el sostre de la rúbrica (el 91 % dels judicis d'Arkadium amb Opus són al màxim de 15): el que separa les versions bones és el veredicte a cegues. A cada dilema, les dues respostes amb Opus són a sota de les altres, amb el seu veredicte.

Rúbrica v4. El 18 de setembre de 2026 es va veure que la nota tenia sostre: el 3 d'ancoratge de la rúbrica original demanava «dades comprovables», que un dilema inventat no té, de manera que el màxim real era 11 sobre 12 i les versions fortes hi eren gairebé sempre. La rúbrica v4 ho corregeix: el 3 d'ancoratge es guanya quan la resposta treu una conseqüència concreta i pròpia del cas, i s'hi afegeix un cinquè criteri, la completesa (quantes de les quatre dimensions del dilema considera: afectats, costos, irreversible, el que hi ha en joc més enllà del cas); nota sobre 15. S'ha rejutjat amb la v4 Sonnet 4.6 (0,710, 30 dilemes, ancoratge a 3 en el 8 % dels judicis) i Arkadium · v6 (0,884, 29 dilemes, ancoratge a 3 en el 67 % dels judicis) i Arkadium · v7 (0,925, 29 dilemes, ancoratge a 3 en el 72 % dels judicis) i Arkadium · v9 (0,947, 30 dilemes, ancoratge a 3 en el 80 % dels judicis) i Sense cel·les al prompt (0,941, 30 dilemes, ancoratge a 3 en el 82 % dels judicis) i Passada per Sonnet (0,941, 30 dilemes, ancoratge a 3 en el 71 % dels judicis) i Opus 5 (0,883, 30 dilemes, ancoratge a 3 en el 93 % dels judicis) i Arkadium (0,993, 30 dilemes, ancoratge a 3 en el 96 % dels judicis). On hi ha judici v4 és la nota que es mostra i la que fa la comparació; la v1 queda al costat. Les altres condicions conserven la v1. Detall a l'historial de versions.

Nota del jutge per dilema: Sonnet 4.6 i Arkadium

Sonnet 4.6Arkadium
Cada fila és un dilema, ordenat per la diferència; el punt clar és la nota de Sonnet 4.6 i el fosc la d'Arkadium (mitjana de tres judicis, 0–1, rúbrica v4); l'etiqueta entre parèntesis diu quina versió d'Arkadium es mostra, i va en gris als dilemes on Sonnet 4.6 treu la mateixa nota o més. Els valors exactes, a cada dilema.

Mitjana per criteri (0–3), rúbrica v4

Sonnet 4.6Arkadium v9
Els cinc criteris de la rúbrica v4, mitjana dels dilemes jutjats. Arkadium v9 guanya a tots cinc; la completesa és el criteri on li queda més camí, i el més baix de tots dos.
DilemaFamíliaSonnet 4.6Arkadium v9ΔVeredicte
↑