Så granskas löftena

Basen innehåller 1 346 vallöften ur riksdagspartiernas valmanifest och valplattformar inför valet 2022, alla med en gällande dom. De redovisas i tre lager:

Granskningen, 182 löften

Löften från partier som hade makt att infria dem (regeringspartierna och stödpartiet), som uppfyller löftesdefinitionen nedan och som står i partiets valmanifest. Det är den jämförbara mätningen, och det är dessa som sammanfattas på startsidan.

Manifestarkivet, 746 löften

Resten av maktpartiernas utfästelser: inriktningsmål och ambitioner ur manifesten, och hela Sverigedemokraternas valplattform. De är dömda på samma sätt men kräver tolkning för att avgöra, och redovisas därför med antal men aldrig med andelar.

Oppositionen, 418 löften

Oppositionspartiernas löften. Ett parti utan makt att infria ett löfte kan inte dömas på utfallet, så de döms på en annan fråga: drev partiet löftet i riksdagen? Den skalan visas på en egen sida, avsnitt 5c, och blandas aldrig med utfallen.

Valmanifest före valplattform, med flit. Sverigedemokraterna är ensamma om att ha båda, och plattformen är flera gånger större än de andra partiernas hela manifest. Utan gränsen hade en stor del av deras granskade löften kommit ur ett dokument de andra partierna inte har.

Urvalet följer definitionen från Comparative Party Pledges Project (CPPP), ett internationellt forskningsprogram som sedan 1990-talet mäter hur partier i ett tjugotal länder infriar sina vallöften. Ett löfte i forskningens mening är ett åtagande om en bestämd handling eller ett bestämt utfall som går att avgöra om det inträffat. Tre krav, alla måste vara uppfyllda:

1. Det utfäster en handling eller ett utfall, inte en värdering eller en inställning.
2. Handlingen är en bestämd sak. Kan åtagandet uppfyllas på flera olika sätt, så att man måste tolka vilket som räknas, faller det.
3. Det går att avgöra om det inträffat. Någon ska kunna samla underlag och föra ett hållbart resonemang om att det skett eller inte.

”Vi ska värna familjen” är därför inget löfte hur bindande det än låter, medan ”förbjuda kusinäktenskap” är det. Det är innehållet som avgör, inte tonen. Varje åtagande i basen har prövats mot de tre kraven, och bara de som klarar alla tre ingår i granskningen. Forskningen kodar omkring 135 löften ur ett helt regeringsmanifest, och vårt urval ligger i samma storleksordning.

Domarna vilar på 4 525 dokument, uppdelade i 198 422 stycken, och 3 120 av dem är kopplade som källor till granskningens löften. Riksdagens handlingar (propositioner, betänkanden, beslut, motioner) är hämtade systematiskt genom riksdagens öppna data. Regeringens egna beslut, myndighetsuppdrag och myndigheternas rapporter är hämtade i urval, och statistik kommer från SCB och från de myndigheter som publicerar den serie ett löfte gäller.

Källbasen är inte jämnt tjock. Ett riksdagsbeslut som fattats syns nästan alltid; ett regeringsbeslut eller ett uppdrag till en myndighet syns bara om just den handlingen är hämtad. Det påverkar domarna, se avsnitt 6.

För varje löfte hämtas de stycken som liknar löftet mest, i två spår: ett som jämför betydelse (vektorer) och ett som jämför ord. Myndigheternas statistik och riksdagens beslut har egna platser i listan, eftersom de annars förlorar mot prosa som liknar löftets språk. Varje hämtat stycke prövas sedan i en grind: gäller det samma sak som löftet, samma tidsperiod och samma utgångspunkt? Det som faller i grinden räknas bort och visas som borträknat under löftet, med modellens skäl.

Modellen läser de stycken som återstår och skriver en motivering med hänvisningar till dem, väljer ett utfall och, för kvantitativa löften, läser av nivån vid periodens början och den senaste uppmätta nivån. Därefter tar koden över det som går att räkna: hur stor del av sträckan mot ett målvärde som avverkats, om mandatperiodens sista dag passerat, och om de tal modellen läst av faktiskt står i källan den pekar på. Ett tal som inte står i någon källa räknas inte, hur rimligt det än ser ut.

Utfallsskalan:

Hållet

genomfört i sin helhet, och källorna visar det.

Delvis hållet

en väsentlig men ofullständig del är genomförd; för ett målvärde: en påtaglig del av sträckan, grovt mer än en tiondel.

Inte hållet

inte genomfört, en försumbar del genomförd, eller rörelse åt fel håll. Efter mandatperiodens slut räknas ett beslut som inte syns i källorna som ett beslut som inte fattades.

Saknar kontext

källorna finns men motsäger varandra eller går inte att tolka, eller ett kvantitativt löfte saknar sin mätserie.

Ej granskningsbart

så vagt formulerat att det inte går att pröva mot fakta.

Utfallen och motiveringarna är AI-genererade. Modellen är deepseek/deepseek-v3.2, med instruktionsversion 34. Modellen väljer utfall och skriver motivering; den hämtar inga källor själv, och den får inte hänvisa till något som inte ligger i underlaget. Varje dom bär modellnamn, instruktionsversion och datum, och de visas i granskningsrapporten under löftet. Ingen människa har granskat den enskilda domen innan den publiceras. Det är därför sajten märker varje utfall som maskinellt: enligt EU:s AI-förordning (artikel 50) ska AI-genererad text som informerar allmänheten om frågor av allmänt intresse märkas som sådan, om den inte genomgått mänsklig redaktionell granskning.

Hur ofta modellen har rätt. En mänsklig granskare har satt en referensdom på 255 löften, utan att se modellens svar. De gällande domarna stämmer med granskarens i 160 fall, 63 %, med Cohens kappa 0,468 (0 är slumpen, 1 är full samstämmighet). Körs samma löfte om med samma underlag byter ungefär vart fjortonde löfte utfall, och den bruskällan är inbyggd i alla tal ovan. Siffrorna räknas om vid varje export och är inte utvalda.

Vad det betyder för dig som läser. Läs domen som en utgångspunkt med belägg, inte som ett facit. Källorna ligger öppna under varje löfte, och hittar du en dom som inte stämmer med sina källor är det källorna som gäller.

Ett vallöfte kan falla redan vid förhandlingsbordet. För varje löfte från regerings- och stödpartierna anger sajten därför om det togs in i Tidöavtalet: med i avtalet (samma åtgärd, eller kärnan med lägre ambition, senare tid eller som utredning), inte med (avtalet behandlar området men inte löftet) eller utanför avtalet (området finns inte bland avtalets sju samarbetsprojekt). Statusen sätts av samma språkmodell som domarna, med krav på ett ordagrant citat ur avtalet som koden kontrollerar mot texten.

Hur ofta den stämmer. En mänsklig granskare har kodat 92 löften mot avtalet utan att se modellens svar, i två omgångar där den andra gjordes efter att instruktionerna kalibrerats på den första. På den grova skalan, med i avtalet, inte med eller utanför, stämmer modellen i 73 fall av 92, Cohens kappa 0,64. Den finare skillnaden mellan ”samma åtgärd” och ”urvattnat” är osäkrare, kappa 0,405, och visas per löfte men räknas inte i några siffror.928 löften har en status.

Den som inte styr kan inte infria. Oppositionens 418 löften döms därför på om partiet drev löftet i riksdagen: drivit (ett motionsyrkande eller en reservation med samma åtgärd, även när riksdagen sa nej), delvis drivit (frågan väckt men inte förslaget: en angränsande sak, en del av det utlovade) eller inte drivit (inget yrkande om åtgärden). Underlaget är riksdagens betänkanden, där motionerna refereras och reservationerna står, och koden räknar bara stycken som bär partiets egen beteckning – ett yrkande från ett annat parti ger aldrig poäng. Citatet ur yrkandet kontrolleras ordagrant mot texten.

Hur ofta den stämmer. En mänsklig granskare har kodat 92 löften utan att se modellens svar, i två omgångar där den andra gjordes efter att instruktionerna kalibrerats på den första. På den grova skalan, drivit eller inte, stämmer modellen i 82 fall av 92, Cohens kappa 0,756. Gränsen mellan ”drivit” och ”delvis” är osäkrare, kappa 0,591, och visas per löfte men räknas inte i några siffror.

Vad skalan inte fångar. Motioner som aldrig nådde ett betänkande, interpellationer och skriftliga frågor finns inte i källbasen, så skalan är något strängare än den borde vara. Och andelen aldrig drivna löften mäter också hur manifestet är skrivet: en vision utan motionsväg blir ”inte drivit” oavsett vad partiet gjorde.

• Frånvaro tolkas som frånvaro. Efter mandatperiodens slut dömer sajten ett löfte som kräver ett beslut till inte hållet när inget beslut syns i källorna. För riksdagsbeslut är det säkert; för regeringsbeslut och myndighetsuppdrag, där källbasen är tunnare, kan ett beslut ha fattats utan att ha hämtats.
• Kvantitativa löften kräver en mätserie. Ett löfte om ”1 000 fler” kan bara avgöras om nivån vid periodens början och den senaste nivån finns i en källa. Saknas serien blir domen saknar kontext, inte en gissning.
• Modellen läser inte alltid av tal som står i källan. Två likalydande löften kan få olika utfall när modellen läser av båda talen i det ena fallet och bara ett i det andra. Koden fångar en del av det (ett tal med hänvisning i motiveringen förankrar resten av meningen i källan), inte allt.
• Domarna är brusiga. Samma löfte, samma underlag, ny körning: ungefär vart fjortonde byter utfall. Skillnader mellan partier på några procentenheter ligger inom det bruset.
• Oppositionen mäts på en annan skala, av skälet i avsnitt 1: handling i riksdagen, inte utfall. De två går inte att jämföra, och sajten ställer dem aldrig bredvid varandra.

Varje dom är daterad och versionsmärkt, och en omdömning ersätter aldrig en dom tyst: den gamla ligger kvar i basen med sitt datum. När instruktionerna till modellen ändras mäts ändringen först mot granskarens referensdomar, och bara ändringar som gör domarna mer lika granskarens utan att försämra de övriga tas i bruk.

Till löftesgranskningen