När är en AI-agent redo för skarpt läge, och när räcker ett regelsteg

En AI-agent som löser uppgiften i demonstrationen har visat en sak: att uppgiften går att lösa. Den har inte visat att den löser den nästa gång, eller gången efter det. Skillnaden mellan de två påståendena avgör vad automatiseringen kostar, och den syns sällan i underlaget som ligger på bordet när beslutet fattas.

Måttet som skiljer ett resultat från ett stickprov

Forskarna bakom riktmärket τ-bench föreslog 2024 ett mått de kallade pass^k. Det vanliga måttet, pass^1, svarar på om agenten löste uppgiften. Pass^k svarar på om den löste samma uppgift k gånger i rad. Skillnaden låter akademisk och är det inte. Den är skillnaden mellan en demonstration och en process.

Jämnhet är inget en agent råkar ha, utan något som byggs in i ställningen runt modellen och därför går att beställa.

I studien testades den tidens starkaste funktionsanropande modell, gpt-4o. I detaljhandelsdomänen löste den omkring 61 procent av uppgifterna på en körning. När samma uppgift skulle lyckas åtta gånger i rad föll andelen till omkring 25 procent. Modellen är gammal och talen ska läsas som just det, en mätning från 2024. Det som inte har åldrats är formen på resultatet. Andelen faller till under hälften när samma uppgift ska lyckas åtta gånger i följd, och det beror på hur agenter fungerar snarare än på vilken modell som råkade testas.

Bjarnason, Silva och Monperrus mäter samma fall hos kodagenter

τ-bench är en studie, ett år och en domän. Ett annat forskarlag har sedan mätt samma sak på ett annat slags agent. I preprinten On Randomness in Agentic Evals, lagd på arXiv den 6 februari 2026 och utan känd granskning, samlade Bjarnason, Silva och Monperrus 60 000 agentbanor: 500 uppgifter ur SWE-Bench-Verified, tio oberoende körningar per uppgift och konfiguration, tre modeller och två ställningar. När mätningarna gjordes anges inte i papperet. Det som går att fastställa är att version ett lades upp den 6 februari 2026 och att en av modellerna är en ögonblicksbild från december 2025.

De två måtten ser lika ut och pekar åt motsatt håll. Pass@k betyder att minst ett av k försök lyckas, ett optimistiskt mått. Pass^k betyder att alla k försök lyckas, ett pessimistiskt mått. τ-bench-talen ovan är pass^k, och det är det som gör dem jämförbara med de nya.

För DeepSWE-preview på riktmärket r2e-gym löstes 34,4 procent av uppgifterna på första försöket. Med fem försök nådde konfigurationen 52,9 procent, alltså 18,5 procentenheter mer när det räcker att ett försök lyckas. Bara 15,5 procent av uppgifterna löstes vid alla fem försöken, mindre än hälften av talet för första försöket. Samma grupp mätte också spridningen mellan körningar på SWE-Bench-Verified: skattningen av pass@1 från en enskild körning varierar med 2,2 till 6,0 procentenheter beroende på vilken körning som väljs, med standardavvikelser över 1,5 procentenheter även vid temperatur noll.

Två forskarlag, två domäner, olika modeller och två år emellan ger samma form på fallet. Att spridningen finns kvar vid temperatur noll säger att den inte bara kommer ur slumpmässig sampling, utan också ur hur agenten och ställningen runt den arbetar. Fallet mellan ett försök och flera i rad är därmed något att konstruera bort, och kravet följer av det: mät samma ärende över flera körningar och köp den konfiguration som håller.

Att veta detta ändrar vilken fråga som ställs. Inte om agenten klarar er process, utan hur ofta den klarar den och vad som händer de gånger den inte gör det. Den andra frågan går att räkna på. Den första gör det inte.

Vad regelverket redan efterfrågar

AI-förordningen ställer krav på noggrannhet, robusthet och cybersäkerhet för system som klassificeras som högrisk. Kraven finns i artikel 15. När unionslagstiftaren i juli 2026 ändrade delar av förordningen angavs också vilka risker kraven finns till för: bias, oförutsägbart modellbeteende, dålig robusthet eller noggrannhet, sårbarheter för angrepp från tredje parter och bristande transparens i AI-systemet.

Oförutsägbart modellbeteende är lagstiftarens egen formulering. Pass^k är ett av få mått som ger just den egenskapen en siffra. Ett system som lyckas två gånger av tre är inte opålitligt i någon vag mening. Det är opålitligt på ett sätt som går att skriva in i teknisk dokumentation och följa över tid.

Vilka system som omfattas och från när ändrades i somras. De nya tidsfristerna behandlas i vår genomgång av högriskkraven.

Varje omkörning har ett pris

Om en agent behöver köras om för att lyckas är omkörningen inte gratis. Den kostar tokens, den kostar väntetid, och i de fall någon behöver kontrollera utfallet kostar den arbetstid.

Forskargruppen bakom Holistic Agent Leaderboard vid Princeton kör agentkonfigurationer själva i stället för att återge leverantörernas egna tal, och redovisar både träffsäkerhet och kostnad. På riktmärket GAIA nådde deras generalistagent med Claude Sonnet 4.5 knappt 75 procents träffsäkerhet till en redovisad körkostnad på omkring 178 dollar. En konfiguration byggd på Claude Opus 4.1 i högt läge kostade omkring 562 dollar och nådde drygt 68 procent. Tre gånger kostnaden, lägre träffsäkerhet.

Talen är från 2025 och kommer att bli inaktuella. Förhållandet mellan dem är det som är värt att ta med sig. Ställningen runt modellen påverkar både utfall och kostnad minst lika mycket som valet av modell, och det är den delen leverantören sällan beskriver. Samma mönster som i AI-kostnader: från licens till förbrukning, fast en nivå längre in.

När ett regelsteg räcker

Ett regelsteg har en egenskap ingen språkmodell har. Det gör samma sak varje gång. Uttryckt i den här artikelns mått träffar en korrekt skriven regel lika säkert oavsett hur många gånger i rad den körs.

Det betyder inte att regler är bättre. Det betyder att de är billigare att lita på, och att en agent därför bör behöva förtjäna sin plats. Tre frågor avgör oftast saken.

1. Är uppgiften formulerbar som ett beslutsträd? Om någon i verksamheten kan skriva ner reglerna på en sida är det en regel och inte en bedömning, och då ska den byggas som en regel.
2. Varierar indata i form eller bara i innehåll? Fritext, bilder och dokument som ser olika ut varje gång är det agenten är bra på. Strukturerade fält hanteras billigare med ett regelsteg.
3. Vad kostar ett fel? Ett fel som upptäcks direkt och rättas billigt tål låg jämnhet. Ett fel som går vidare in i ett kundavtal eller ett myndighetsbeslut gör det inte, och där är det pass^k och inte pass^1 som är kravet.

Vad ni kan begära av en leverantör

Tre saker, och alla tre går att skriva in i ett avtal.

1. Begär jämnhet, inte träffsäkerhet. Fråga hur ofta samma uppgift löses flera gånger i rad, och på er egen typ av ärende snarare än på ett publikt riktmärke.
2. Begär kostnad per löst ärende, inte per körning. Ett pris per körning döljer omkörningarna, och det är omkörningarna som skiljer en kalkyl från en överraskning.
3. Begär att få veta vad som ligger runt modellen. Verktyg, minne, felhantering och antal tillåtna försök påverkar utfallet, och två leverantörer med samma modell kan leverera helt olika jämnhet.

Måttstocken tål granskning i sin tur

Det finns skäl att vara försiktig också med riktmärkena själva. En forskargrupp vid Berkeley har publicerat en systematisk granskning av agentriktmärken som visar att flera av dem går att nå höga poäng på genom att utnyttja hur de är konstruerade, utan att uppgifterna faktiskt löses. Författarnas slutsats är att riktmärken behöver vara säkra genom sin konstruktion, på samma sätt som system behöver vara det.

Det är obekvämt för alla som hänvisar till riktmärken. Slutsatsen blir inte att talen är värdelösa, utan att ett resultat från ett publikt riktmärke aldrig ersätter en mätning på era egna ärenden. Den mätningen är avgränsad och görs på era egna ärenden, och den är den enda som svarar på den fråga ni faktiskt har.