Vem bestämmer när er AI-agent måste byggas om
OpenAI lovar minst sex månaders varsel innan en allmänt tillgänglig modell stängs av, Anthropic minst sextio dagar för sina publikt släppta, och Google ingen bestämd tid alls. En AI-agent i drift ärver den kalendern, inte tvärtom.
Nyckelpunkter
- Leverantörerna publicerar när modeller stängs av. OpenAI utfäster minst sex månaders varsel för allmänt tillgängliga modeller, Anthropic minst sextio dagar för publikt släppta, och Google anger ingen period alls.
- Forskare vid Carnegie Mellon och Hong Kong University of Science and Technology jämförde tio par av modelluppdateringar och fann att 58,8 procent av kombinationerna prompt och modell tappade träffsäkerhet.
- I 87,9 procent av de fall där träffsäkerheten totalt sett förbättrades över en uppdatering regresserade ändå minst ett svar som tidigare var rätt. Ett stigande snitt är alltså inget bevis.
- 63,8 procent av regressionerna inträffade när modellen var som mest säker på sitt svar. Merparten av felen kommer alltså utan att modellen signalerar någon osäkerhet.
- En agent som vilar på svarets form går sönder synligt vid ett modellbyte. En som vilar på modellens bedömning blir bara sämre, och det upptäcks bara av någon som mäter.
En AI-agent som är byggd, testad och driftsatt är inte färdig. Modellen under den har ett slutdatum, och det datumet sätts av någon annan. Leverantörerna publicerar sina avvecklingar öppet, men de utfäster olika mycket varsel, och spannet går från två veckor till sex månader.
Frågan är alltså inte om agenten ska byggas om, utan hur ofta och hur mycket.
Slutdatumen är publicerade, och varseltiden skiljer sig kraftigt
OpenAI skriver ut sin policy i dokumentationen över avvecklingar: minst sex månaders varsel innan en allmänt tillgänglig modell pensioneras, minst tre månader för specialiserade varianter, och för förhandsmodeller så lite som två veckor. Utfästelsen bär ett eget förbehåll: den gäller om inte säkerhet eller regelefterlevnad kräver en snabbare tidsplan, och OpenAI lovar då så mycket varsel som rimligen går. Den 11 juni 2026 avvecklades GPT-5 och o3-modellerna, med avstängning den 11 december samma år.
Anthropic utfäster minst sextio dagar för publikt släppta modeller. Claude Opus 4.1 avvecklades den 5 juni 2026 och stängdes av den 5 augusti, alltså två månader senare. Datumen på den sidan gäller dessutom bara Anthropics egna plattformar, alltså Claude API, Claude Platform on AWS och Microsoft Foundry. Partnerdrivna plattformar, Amazon Bedrock och Google Cloud, sätter sina egna avvecklingsscheman, så att en modells livscykelstatus och datum kan skilja sig åt. Vilken väg in ni köpt påverkar alltså er kalender.
Google anger ingen period alls. Dokumentationen skriver att avstängningsdatumen i tabellen anger de tidigaste möjliga datum då en modell kan pensioneras, och att det exakta datumet meddelas i förväg. Hur lång den förvarningen är står inte.
| Leverantör | Utfäst varsel före avstängning |
|---|---|
| OpenAI | Minst sex månader för allmänt tillgängliga modeller, minst tre för specialiserade varianter, så lite som två veckor för förhandsmodeller. Gäller om inte säkerhet eller regelefterlevnad kräver snabbare |
| Anthropic | Minst sextio dagar för publikt släppta modeller |
| Ingen angiven period. Tabellens avstängningsdatum är de tidigaste möjliga, och det exakta meddelas i förväg |
Tre leverantörer, tre olika utfästelser. Den som väljer modell väljer alltså också en kalender.
De publicerade datumen är den synliga halvan. Den andra är förändringar som kommer under ett oförändrat modellnamn, och det är den de två mätningarna nedan handlar om.
En uppdatering som höjer snittet kan ändå vända ett rätt svar till fel
Wanqin Ma vid Hong Kong University of Science and Technology samt Chenyang Yang och Christian Kästner vid Carnegie Mellon mätte vad som händer med en färdig prompt när modellen under den uppdateras. Studien (Why) Is My Prompt Getting Worse? lades upp i november 2023 och presenterades vid IEEE och ACM:s konferens CAIN 2024. Populationen är fem modeller ur OpenAI:s GPT-3.5-familj, släppta mellan mars 2022 och september 2023, prövade på två datamängder för att upptäcka stötande innehåll: 1 000 kommentarer ur Civil Comments och 174 diskussioner från GitHub. Tio par av modelluppdateringar jämfördes.
Modellerna är gamla och talen ska läsas som en mätning från den tiden. Det som gör den värd att återge är formen på resultatet snarare än talen i sig.
Av kombinationerna prompt och modell tappade 58,8 procent träffsäkerhet över en uppdatering, och av dem tappade 70,2 procent mer än fem procentenheter. Räknat på enskilda svar gick 10,9 procent från rätt till fel.
Talet som väger tyngst är ett annat. I 87,9 procent av de fall där den totala träffsäkerheten förbättrades över en uppdatering regresserade ändå minst ett svar som tidigare var rätt.
Ett snitt som stiger kan dölja att just det svar er process byggde på nu är fel.
Och 63,8 procent av regressionerna inträffade när modellen var som mest säker på sitt svar, mätt som entropi noll. Författarna noterar att modellerna i snitt är mer osäkra på just de svar som vänder. Merparten av regressionerna kommer alltså ändå utan den signalen, och därför behöver en modelluppdatering prövas mot kända rätta svar i stället för mot en känsla av att det ser bra ut.
Det som går synligt sönder i en AI-agent är formatet, inte omdömet
En färskare mätning pekar på var bristningarna sitter. Vid NTNU i Trondheim prövade Mohd Sameen Chishti, Damilare Peter Oyinloye och Jingyue Li sju Claude-modeller mot 25 promptar i tre riskkategorier: autentiseringsfunktioner, datavalidering och strukturerad utdata. Varje prompt kördes tre till fem gånger. Studien Test Before You Deploy lades upp den 30 april 2026.
Underlaget är litet och prövningen gjordes genom ett webbgränssnitt och inte mot programmeringsgränssnittet, vilket ska stå utskrivet innan något byggs på talen. Riktningen är ändå värd att notera. Uppgifter som krävde strukturerad utdata drev iväg mest, medan funktioner för databasfrågor och autentisering låg stilla. Två modeller ändrade vilken feltyp de kastade, och en tredje började returnera fel i förtid. Författarna noterar också att en databasfunktion som klarade samtliga prov en dag föll dagen efter på ett prov som de kallar safe encoding, under samma modellnamn. De tolkar det som en tyst infrastrukturändring, men skriver samtidigt att versionsspårningen var ungefärlig och vilade på synliga modellnamn och tidsstämplar.
Det pekar mot en åtskillnad som är användbar när en agent ska budgeteras, och den handlar om hur felet visar sig. En agent som vilar på modellens bedömning tappar träffsäkerhet i stället för att sluta fungera. Att den tappar den alls är vad CMU-materialet visar: toxicitetsdetektering är ett bedömningsuppdrag, och det var där de 58,8 procenten uppmättes. En agent som vilar på svarets form, alltså på att det kommer i en viss struktur med ett visst fältnamn eller ett visst undantag, slutar i stället fungera rakt av. Det första syns bara i en mätning. Det andra syns direkt, och är därför billigare att upptäcka och dyrare att bygga bort.
Det är samma skiljelinje som avgör när ett regelsteg räcker och när det inte gör det, vilket är frågan i När är en AI-agent redo för skarpt läge.
Invändningen som väger
Det finns ett motsatt förhållande som väger. Den mätning som bär tyngst i den här texten är gjord på modeller ur GPT-3.5-familjen mellan 2022 och 2023, alltså på en generation där fyra av de fem prövade modellerna redan är avstängda och den femte, gpt-3.5-turbo-instruct, stängs av den 28 september 2026. Att formen på fenomenet skulle vara oförändrad i dagens modeller är ett antagande och inte ett mätresultat.
Att stanna kvar på en modellversion är inte heller ett alternativ. Avstängningsdatumen står i leverantörernas egna tabeller, så den som avstår från att uppdatera väljer inte bort arbetet. Den som väntar får dessutom göra ett större hopp på en gång, eftersom flera uppdateringar då träffar agenten samtidigt i stället för en i taget.
Utvärderingssviten är byggd på era egna ärenden, och de ändras inte när modellen gör det.
Och det färskaste underlaget ska hanteras försiktigt. NTNU-studien är explorativ, bygger på 25 promptar och kördes genom ett webbgränssnitt. Den räcker för att peka ut var man ska titta. Den räcker inte för att räkna på hur ofta det inträffar.
De två frågorna som avgör hur ofta ni får göra om det
Två organisationer som kör samma agent på samma modell kan få mycket olika arbete, och skillnaden ligger inte i modellen.
Vilar agenten på modellens bedömning eller på svarets form? Läser den ett dokument och bedömer vad det handlar om, eller kräver den att svaret kommer tillbaka med bestämda fält i en bestämd ordning? Formbundna agenter går sönder synligt vid ett byte och kräver ombyggnad. Bedömningsbundna går inte sönder, de blir sämre, och det upptäcks bara av någon som mäter. Båda kostar, men de kostar olika saker. Svaret går att ta reda på utan att vänta på nästa uppdatering: byt modell i en testmiljö och se både vad som slutar fungera och vad som bara blir lite sämre.
Kan någon hos er köra utvärderingen utan den som byggde agenten? Det är den frågan som avgör om avvecklingsdatumen är en planeringspunkt eller en kris. Finns sviten, är dokumenterad och går att köra internt, är ett modellbyte ett avgränsat arbete med ett känt utfall. Saknas den är varje byte ett antagande, och då är det överlämningen som är arbetet och inte modellen.
Vanliga frågor
Den löpande kostnaden består av tre saker: att köra om utvärderingarna när modellen under agenten uppdateras eller byts, att rätta det utvärderingarna hittar, och att hålla integrationerna vid liv. Hur stor den blir avgörs av hur hårt agenten är bunden till en viss modells sätt att svara. En agent som behöver ett visst fältnamn eller ett visst undantag för att fungera kräver arbete vid varje uppdatering som rör den formen.
Takten sätts av leverantören och inte av er. OpenAI avvecklade GPT-5 och o3-modellerna den 11 juni 2026 med avstängning den 11 december samma år. Anthropic avvecklade Claude Opus 4.1 den 5 juni 2026 och stängde av den 5 augusti. En organisation som kör en agent på en namngiven modellversion bör därför kontrollera leverantörens avvecklingstabell innan budgeten läggs, eftersom kadensen står där och inte i den egna planen.
Anropet slutar fungera. Leverantörerna publicerar avstängningsdatumen i förväg, så händelsen är känd i god tid, men den inträffar oavsett om ni är klara eller inte. Arbetet som krävs är att peka agenten mot en ny modell och sedan köra utvärderingssviten för att se vad som ändrades. Utan en sådan svit är bytet ett antagande i stället för en kontroll.
Det skiljer sig kraftigt. OpenAI utfäster minst sex månader för allmänt tillgängliga modeller, minst tre månader för specialiserade varianter och så lite som två veckor för förhandsmodeller, om inte säkerhet eller regelefterlevnad kräver snabbare. Anthropic utfäster minst sextio dagar för publikt släppta modeller, och datumen på den sidan gäller bara Anthropics egna plattformar, och partnerplattformarna Amazon Bedrock och Google Cloud sätter sina egna scheman. Google anger ingen period alls och skriver att avstängningsdatumen i tabellen är de tidigaste möjliga.
Ja, och den kan göra det även när uppdateringen är en förbättring i stort. Forskare vid Carnegie Mellon och Hong Kong University of Science and Technology jämförde tio par av modelluppdateringar och fann att 58,8 procent av kombinationerna prompt och modell tappade träffsäkerhet, och att det i 87,9 procent av de fall där träffsäkerheten totalt sett steg över en uppdatering ändå fanns minst ett svar som gick från rätt till fel. Mätningen gjordes på modeller ur GPT-3.5-familjen och talen ska läsas som en mätning från den tiden.
En utvärderingssvit är en uppsättning av era egna ärenden med känt rätt svar, som körs mot agenten före och efter varje förändring. Den behövs för att en modelluppdatering annars inte går att bedöma: skillnaden syns inte i ett stickprov och den syns sällan i leverantörens egna tal. Sviten behåller dessutom sitt värde när modellen byts, eftersom den är byggd på era ärenden och inte på modellen.
Bara till avstängningsdatumet. Att stanna kvar på en modellversion skjuter upp arbetet men tar inte bort det, och det flyttar tidpunkten till en dag som leverantören har bestämt. Den som väntar får dessutom göra ett större hopp på en gång, eftersom flera uppdateringar då träffar agenten samtidigt i stället för en i taget.
Tre saker som alla går att skriva in i ett avtal. Att utvärderingssviten byggs på era egna ärenden och lämnas över med agenten. Att det står utskrivet vilken modellversion agenten är byggd mot och vad som behöver göras vid ett byte. Och att någon hos er kan köra utvärderingen utan leverantören i rummet, eftersom en agent som bara sin byggare kan hålla ärlig är ett beroende och inte en tillgång.
Landar det här på ert bord bör vi prata.
Ampliro Insights
Ny analys, ungefär varje vecka.
Vi skriver när reglerna ändras och när något visar sig fungera i praktiken. En text i taget, inga serier, och du kan gå ur från vilket nummer som helst.
Vi sparar din adress för att skicka Ampliro Insights, och inget annat. Mer i integritetspolicyn.