Varför en benchmarksiffra från i fjol inte går att jämföra med årets

Modellsläppen under det gångna året fick uppmärksamheten. Under tiden hände något annat, med betydligt mindre: nästan varje organisation som mäter modeller på allvar publicerade en rättelse av sitt eget instrument. En av dem drog tillbaka sitt mått helt.

Det är den nyheten som betyder något för den som ska jämföra två leverantörer, för ett tal ur en mätning vars linjal har flyttat sig är inte jämförbart med ett tal ur samma mätning i fjol.

METR bytte metod, och siffrorna med den

METR mäter hur långa uppgifter en modell klarar. Måttet heter tidshorisont och definieras som den uppgiftslängd, mätt i hur lång tid en kunnig människa behöver, där modellen lyckas i hälften av fallen.

I januari 2026 publicerade METR version 1.1 av metoden och utökade uppgiftssviten. Samma modeller, oförändrade, fick nya värden. GPT-4 från mars 2023 föll 35 procent. GPT-4 från november 2023 föll 57 procent. GPT-5 steg 55 procent. o3 steg 29 procent.

Ingen tränade om någonting. Måttet ändrades.

Det gör den enskilt viktigaste praktiska följden lätt att formulera: ett tal ur den gamla metodversionen och ett tal ur den nya får aldrig stå i samma jämförelse. Talen i diagrammet nedan kommer samtliga ur metodversion 1.1.

Kurvan stiger, och det är en verklig utveckling. Men den ska läsas med tre förbehåll som METR själva skriver ut.

Måttet är inte hur länge en modell kan arbeta på egen hand. Det är, med deras ord, mängden seriellt mänskligt arbete den kan ersätta med femtio procents träffsäkerhet. Felmarginalerna är historiskt ungefär en faktor två åt vardera hållet och blir sämre för de senaste modellerna i takt med att sviten mättas. Och mätningar över sexton timmar är enligt METR själva inte tillförlitliga med nuvarande uppgifter.

Jämförelsen mellan 50 och 80 procent går inte att göra

En näraliggande läsning är att horisonten vid femtio procents framgång stiger brant medan horisonten vid åttio procent står stilla, alltså att modellerna blir bättre på att lyckas ibland men inte på att lyckas jämnt. Den läsningen är vanlig och den överlever inte källan. I METR:s ursprungliga arbete från mars 2025, det arbete som redovisar horisonter vid både femtio och åttio procents framgång, anges fördubblingstiden vid åttio procent till 213 dagar och vid femtio procent till 212, alltså samma inom felmarginalen. Och i en egen not om måttets begränsningar skriver de att horisonterna vid tjugo, femtio och åttio procent inte är oberoende skattningar av varandra, eftersom de kommer ur samma tvåparametriga kurva. Förbättrad prestanda på korta uppgifter kan i den modellen sänka åttioprocentshorisonten.

Att ställa de två horisonterna mot varandra är att jämföra ett mått med sig självt.

Ett diagram över de två hade alltså illustrerat en egenskap hos kurvanpassningen och inte en egenskap hos modellerna.

Nivåskillnaden är däremot belagd, och den är mätt inom en enda metodversion. I samma arbete anges Claude Sonnet 3.7 till omkring 15 minuter vid åttio procents framgång, mot 59 minuter vid femtio procent. Att kräva jämnhet kortar uppgiften till ungefär en fjärdedel, och det är den siffra som är relevant för den som ska driftsätta något. Diagrammets 60 minuter för samma modell är ett femtioprocentstal ur version 1.1 och hör inte ihop med femtonminuterstalet. Samma iakttagelse mätt på agenter, alltså skillnaden mellan att lyckas en gång och att lyckas fyra gånger i rad, behandlas i När är en AI-agent redo för skarpt läge.

OpenAI slutade använda SWE-bench Verified

I februari 2026 publicerade OpenAI Why we no longer evaluate SWE-bench Verified. Motiveringen är ovanlig i sin tydlighet: förbättringar på måttet speglar inte längre meningsfulla förbättringar i verklig mjukvaruutveckling, utan alltmer hur mycket modellen sett måttet under träningen.

Det citeras ofta så, och det är halva skälet. Det andra halva har siffror, och de är värre.

Minst 59,4 procent av de granskade uppgifterna har alltså tester som underkänner lösningar som fungerar. En modell som sett problemet under träningen klarar det ändå, eftersom den känner till det som testet kräver men uppgiften aldrig sagt. Benchmarken belönar alltså minne av just den här uppsättningen, och de två problemen är i praktiken samma problem.

Båda felen gynnar den modell som redan sett uppgiften, och därför förstärker de varandra.

OpenAI slutar inte mäta kodförmåga. De rekommenderar en efterföljare. Men mellan de två måtten finns ett hopp som ingen kan räkna om.

GPQA är mättat, FrontierMath Tier 4 är det inte

Epoch AI skrev i maj 2026 om det de kallar de klassiska resonemangsmåtten. Om GPQA, ett prov med naturvetenskapliga frågor på forskarnivå, konstaterar de att det hade anmärkningsvärd uthållighet men vid det här laget är klart mättat.

Samtidigt finns verkliga framsteg där uppgifterna fortfarande är svåra. På FrontierMath Tier 4, den svåraste nivån, noterade Epoch ett nytt rekord i januari 2026: 31 procent mot det tidigare bästa på 19. Det är en stor förflyttning på en uppsättning problem som få modeller löst över huvud taget.

Rekordet bär dock ett förbehåll som Epoch själva skriver ut. Körningen gjordes manuellt i ChatGPT:s webbgränssnitt, efter att deras egen körmiljö gav timeout mot API:et. De två talen kommer alltså inte ur samma uppställning. Det gör inte 31 procent osant, men det gör jämförelsen med 19 svagare än den ser ut.

Hallucinationer och långa indata

Vectaras hallucinationsmätning, uppdaterad i maj 2026, mäter en avgränsad sak: hur ofta en modell hittar på när den ombeds sammanfatta ett givet dokument och uttryckligen instrueras att inte använda sin egen kunskap. Lägsta uppmätta andel är 1,8 procent.

Två saker är värda att notera. Talet tillhör en modell på 32 miljarder parametrar, inte något av de stora labbens flaggskepp. Och måttet går att förbättra genom att svara kortare eller genom att oftare avstå, vilket är skälet att tabellen redovisar svarsfrekvens och sammanfattningarnas längd bredvid andelen.

Chromas rapport om context rot testade 18 modeller och fann att de inte använder sin kontext jämnt, utan att prestandan blir alltmer opålitlig när indata växer, även på enkla uppgifter. Rapporten är från juli 2025 och testade den generation som då var aktuell, så den säger något om den generationen och inte automatiskt om läget i dag. Att ingen publicerat en motsvarande motmätning sedan dess är i sig en observation.

Tre frågor till en leverantör som visar ett benchmarkresultat

Ingen av mätningarna ovan är dålig. Tvärtom är de bra just för att de rättar sig själva offentligt, och den som gör det förtjänar att citeras noggrant.

Följden för ett investeringsbeslut är ändå konkret. När en leverantör visar ett benchmarkresultat finns tre frågor som avgör om talet betyder något:

1. Vilken version av måttet? METR:s metodbyte flyttade oförändrade modeller mellan minus 57 och plus 55 procent. Ett tal utan versionsangivelse går inte att jämföra med något.
2. Under vilka betingelser kördes det? Manuellt i ett webbgränssnitt är inte samma sak som via ett API i en standardiserad uppställning, och Epochs eget rekord visar att skillnaden kan uppstå av rent praktiska skäl.
3. Hur brett är intervallet? En faktor två åt vardera hållet är vanligt i den här litteraturen. Ett tal utan osäkerhetsintervall är en rubrik, inte en mätning.

Den fjärde frågan är svårare och den ställs sällan: mäter det här måttet något som liknar det vi ska göra? SWE-bench Verified mätte något som såg ut som mjukvaruarbete och som i mer än hälften av fallen bestraffade fungerande kod. Det tog fyra år och en granskning av den som byggde starkast på måttet att skriva ut det.