Prov och betyg i skolan? Några svar.

1. Det finns en mängd studier som relaterar stress (test anxiety) till prestation på prov.  Resultaten är lite förvirrande men det man kan märka är att stress (testängslan) kan ge upphov till kognitiva störningar som tendenser till distraktion o dyl. Stress är ett överanvänt ord, anser jag. Nuförtiden kallas allt från lätt oro till svår ångest och hårda påfrestningar för stress, vilket gör begreppet svåranvänt. Man ser det då fackförbund gör undersökningar av sina medlemmars arbetssituation (t.ex. lärarorganisationerna). Man får då en mängd svar som  antyder att man är stressad. Den mening man då inlägger i ordet är nog ofta ”mycket att göra”. Få anställda vill ju uppge att det inte har så mycket att göra.

Sedan får man inte glömma att det ofta är de testängsliga som presterar väl. Man talar ju ofta om prestationsångest (främst flickor brukar tillskrivas sådan). Dessa elever vill lyckas och mår dåligt när det någon gång möjligen går dåligt för dem. Ofta är det dessa elever som alltså ängslas inför prov och även efter dem, då man bäst minns vilka fel man tror sig ha gjort.

Svaret blir alltså inte så enkelt. Inställningen till att utvärderas skiftar starkt mellan individer och därav de olika resultat man få när man undersöker kopplingen mellan stress och prestation i skolan.

2. När jag gick i skolan fick vi betyg från första terminen i första klass i skolan. Jag tror det är viktigt att eleverna tidigt får betyg i akt och mening att göra de senare mindre dramatiska. Både prov och betyg bör alltså förekomma tämligen tidigt och bli avdramatiserade. Man säger att vissa elever bli ”stressade” av betyg och att dåliga betyg slår ner deras mod. Jag tror att den oro dessa elever kan känna är en del av livet. De flesta barn är redan tidigt van vid idrottstävlingar, tävlingar i TV etc. De elever som får sämre betyg vet i alla fall att de inte är lika bra som andra elever. Tydlighet bör vara en genomgående princip när det gäller elever, lärare och föräldrar.

3. Svaret på denna fråga är i mångt och mycket inbyggt i svaren ovan. Om vi nu ska ta ner deras vilja att prestera (och därmed förknippad oro) så bör vi tidigt vänja dem vid prov och betyg. Det viktiga i prov är ju just att elever då tvingas bearbeta (processa) information kring lärostoffet, vilket stärker det inlärda påtagligt. Prov kan ju naturligt ingå i den formativa bedömningsprocessen och dessa prov kan sedan delvis ligga till grund för terminsbetyget.

Kan lärare sätta betyg?

-->

I Dagens Nyheter (4 april 2013)  diskuteras betygssättning och betygssystem. Det framförs åsikter om att betyg aldrig kan bli objektiva utan är subjektiva bedömningar. Statistik från mängder av gymnasier i landet presenteras och man häpnar, minst sagt. På naturvetenskapliga program har 49 % av eleverna fått MVG med den tregradiga skalan och med den nya femgradiga har nära en fjärdedel (24 %) fått A. Detta är förbluffande och man undrar hur betygsättande lärare tänker. Om man nu har en differentierad skala så ska ju den användas. Man kan liksom inte hävda att med fem godkända skalsteg så har hälften det högsta betyget.

Lärarna efterlyser fortbildning i hur man sätter betyg enligt den nya skalan. Det jag efterlyser är en skvätt sunt förnuft. Man kan helt enkelt inte börja utnyttja de högsta skalstegen på ovanstående sätt. Då har vi bäddat för en betygsinflation utan dess like där betyget C snart (?) kommer att bli upplevt som underkänt. Kan det vara flathet eller feghet som gör att lärare lägger sig så högt upp när de ska bedöma elever? Vågar man inte skilja elever åt med olika betyg bara för att man tidigare var van att klumpa ihop hälften med MVG, som i exemplet ovan. För okunnighet kan det väl inte vara...?

Att misslyckas i skolan.

Många pedagoger är emot betyg i skolan pga att vissa elever då känner sig misslyckade. Min uppfattning är att vi talar på ett felaktigt sätt när elevers misslyckande kommer på tal. Oftast menar vi då att en elev presterar sämre än andra. Ett sådant resonemang drivet till sin spets skulle ju innebära att alla elever i en klass, utom den bästa, skulle vara misslyckade. Enligt min mening är det ett fullkomligt felaktigt sätt att resonera, vilket innebär att vi ställer upp på tankarna om tävling och jämförelse mellan eleverna. Låt oss i ställe börja värdera eleverna i förhållande till deras tidigare prestationer och tona ner jämförelseperspektivet. Dock måste eleverna få reda på om de behöver kraft förbättra sina kunskaper eller om de är mycket bra.

Intraindividuella jämförelser först men sedan också en försiktig realitetsanpassning så att eleverna känner till sin relativa nivå i åldersgruppen.

Fler prov i skolan ger bättre lärande !

Diskussionen om formativ och/eller summativ bedömning har pågått rätt länge nu inom skolans värld.  En del lärare förespråkar formativ bedömning och är ganska tveksamma till nationella prov och betyg, som då anses vara summativa bedömningar. Andra menar att betygen spelar en viktig roll. Skolverket menar att vissa elever gynnas medan andra missgynnas av betyg. Forskningsresultaten är dock motstridiga i ett internationellt perspektiv. När Skolverket har gjort studier av överensstämmelsen mellan nationella prov och betyg har man i stort funnit att resultaten överensstämmer rätt väl. Betygen däremot uppvisar betydande likvärdighetsproblem där vissa skolor verkar övervärdera eleverna vid betygssättningen i jämförelse med nationella prov.

Prov eller kunskapstester har ofta ansetts negativa för lärandet. Den formativa bedömningen som sker under det att undervisningen pågår anses av många vara bättre än prov för att kunskaper ska konsolideras. Formativ bedömning hyllas främst av s.k. progressiva pedagoger.

I debatten hänvisas ofta till forskning men uppenbarligen på ett ganska selektivt sätt. Det finns nämligen betydande forskningsinsatser internationellt som tydligt pekar på att prov eller kunskapstester är ett mycket effektivt sätt att öka konsolideringen och hågkomster av de kunskaper man inhämtat. Nedan anger jag några relevanta referenser från 2000-talet, som ingående och på olika sätt studerat hur kunskapstester står sig i jämförelse med t.ex. ytterligare studietillfällen. Prov eller tester visar sig, främst i det långa loppet, vara helt överlägsna ytterligare instuderingsansträngningar när det gäller hur väl kunskaperna stannar i minnet under en längre tid. Vid traditionellt lärande uppträder glömska mycket snabbare medan prov och tester i hög utsträckning minskar effekter av glömska. Resultaten kan tyckas kontraintuitiva och förvånade nog även forskarna, men de står sig vid ytterligare prövningar.

Det material som används vid studierna har dels varit faktamaterial dels innehållsrika texter av samma slag som ingår i skolundervisningen. Traditionell inlärning, inläsning och bearbetning av material som vid hemskrivningar  skapar inte samma kognitiva aktivitet hos eleven som uppgifter vid ett prov. Då måste eleven själv hämta fram sina kunskaper ur långtidsminnet, bearbeta dem och formulera dem. Allt detta gör att överblick och områdeskännedom ökar och vidmakthålls. Dessutom är prov eller tester mer tidsbesparande än annan inlärning och ger därmed utrymme för andra aktiviteter.

För att sammanfatta: Upprepade studier visar att ett eller flera tester eller kunskapstest på ett

visst ämnesområdes vidmakthåller kunskapsmassor bättre och under längre tid än upprepade studier av samma text. Kunskapsprov mäter inte bara kunskaper utan befäster dem också. Detta går på tvärs med rådande ideologier om betyg, prov och tester i svensk skola.

Här är några referenser som ovanstående inlägg bygger på:

Karpicke, J.D. & Roediger III, H.L. (2007).  Repeated retrieval during learning is the key to long-term retention. Journal on Memory and Language , 57, 151-162

Roediger III, H.L. & Karpicke, J.D. (2006). The Power of Testing Memory. Basic Research and Implications for Educational Practice. Perspectives on Psychological Science, 1, 181-210

Roediger III, H.L. & Karpicke, J.D. (2005). Test-Enhanced Learning. Taking Memory Tests

Improves Long-term Retention. Psychological Science, 17, 250-255

Formativt eller summativt?

Det diskuteras mycket om bedömning och betygssättning i skolan nu. Betyg från åk 6 och en ny betygsskala har intensifierat debatten. Mycket ofta betraktas bedömningar av elevers prestationer antingen som formativa eller summativa. Formativa är bedömningar som görs under resans gång för att kunna förändra undervisningen och lektionsupplägg  medan summativa bedömningar sker med hjälp av slutbetyg eller nationella prov. Man kan självklart se dem som kompletterande varandra, men särskilt progressiva lärare betonar ofta vikten av formativa bedömningar eftersom de anses mer givande ur både elev- och lärandesynpunkt. De summativa bedömningarna anses däremot ofta då som ett oåterkalleligt avgörande beslut om elevers förmågor.

En forskare, David Hopkins (1989), fann likheter mellan formativ bedömning och en kocks avsmakande av maten före serveringen, medan gästens grad av uppskattning vore att likna vid

summativ bedömning.  Kocken är ju en  del av matlagningsprocessen och hens omdöme är självklart inriktad på att förbättra maten och göra gästerna nöjda. Gästens uppskattning är en slags slutbedömning. Vad är syftet med utvärderingen? Att göra kocken bättre på att laga mat eller att gästen ska bli nöjd? Vilken bedömning är viktigast? Vems bedömning är mest objektiv?

Varför fruktar lärare klarspråk?

 

Det diskuteras mycket i olika fora om hur kunskap och förståelse i skolan ska bedömas. Vårt språk är väl försett med adjektiv för att beskriva allt från personer till prestationer. Elevers prestationer måste bedömas i skolan men en elev får inte anses sämre än en annan, och ingen heller bättre än en annan elev. Så tänker i all fall en del lärare. Följden blir dimmiga resonemang där värderande ord undviks trots att värderingar ju ligger under alla former av bedömningar. En representativ lärare som vägrar ta värderande ord i sin mun är Monika Ringborg, som i en kommentar på sin blogg skriver följande:

Själv bedömer jag inte någonting efter Bra, Dåligt och Gränsfall. Jag är allergisk mot betygskriterier som innehåller dessa värderande ord som Bra och Dåligt. Det riskerar skapa ett godtycke. Man bedömer vad någon kan, har nått förståelse om och på vilken nivå detta når upp till. Om det är ett bra eller dåligt kunnande/förståelse är i det fallet inte aktuellt att utröna. Om man klarat något kan man aldrig ha klarat det dåligt. Så varför då lägga till – att individen klarat det bra. Om hon klarat det, ja då räcker väl det.

Jag svarade henne så här:

Denna rädsla för att tala klarspråk! Låt oss då säga att elevernas prestationer hamnar på olika nivåer i stället. Om de som ligger på högre nivåer är bättre än de som ligger på lägre nivåer lämnar vi därhän.

Ska vi få någon hyfs i skoldebatten måste ju vissa elementära språkprinciper följas. Man kan inte trolla bort vissa ord för att man inte vill låtsas att man faktiskt värderar elevernas prestationsnivåer. Då blir diskussionerna löjliga och naiva och utan den klarhet som goda debatter bör sträva efter.

Formativt eller summativt - vart går skolan?

 
-->

Det talas i s.k. progressiva kretsar om att nationella prov, betyg och andra typer av kunskapsmätningar är fördärvliga både för lärandeprocessen och för den mentala hälsan, eftersom upptagenheten med mätningar skapar stress hos eleverna..

I stället menar man att man vill låta eleverna utvecklas enligt deras egna intressen till kreativitet och kritiskt tänkande. En viktig fråga inställer sig då genast: Ska det inte finnas några definierade mål alls? Hur ska vi ta reda på om den önskade kreativiteten har tagit plats i eleverna och i så fall i den utsträckning vi önskar? För det är väl inte så att man antingen har kreativitet eller ingen alls? Det är väl ändå inte meningen att man slå sig till ro med att allt har gått vägen? De bedömningar som görs efter det att en lärandeperiod, t.ex. en termin, är över kallas summativa, eftersom de ska sammanfatta hur mycket eleven då har lärt sig.

Det som ofta framförs som alternativ eller komplement till den summativa bedömningen är den formativa.  Den kallas så för att den ska, förutom att vara en skattning av elevernas kunskaper, även forma undervisningen så att den anpassas till eleverna. Christian Lundahl, pedagog i Stockholm, förespråkar livligt den formativa bedömningens möjligheter när det gäller att effektivisera lärandet. Hur utförs då den formativa bedömningen? Lundahl nämner som exempel att eleverna efter en lektion kan skriva upp vad de lärt sig på post-it-lappar som de sedan klistrar upp på en väggtavla. Därefter kan läraren med hjälp av dessa lappar bilda sig en samlad uppfattning av hur väl eleverna hängt med. Det förekommer även kamratskattningar, där eleverna bedömer varandras kunskaper. Det som anses tala till den formativa bedömningens fördel är att den synliggör lärandet. Jag blir alltid förvånad när jag hör talas om formativ bedömning som en närmast ny, stor sak. Har inte alla goda lärare alltid på olika sätt hållit sig uppdaterade om hur eleverna ligger till? Behövs det stora åthävor, föreläsningar och böcker för att informera lärarna om att de ska hålla reda på sina elevers kunskapsnivåer?

Proggarna kallar gärna betyg och nationella prov för kontroller. Med lite andra ord skulle man kunna kalla dem för bedömningar eller utvärderingar.  Skillnaden mellan de informella bedömningar som görs under undervisningens gång (formativa) och de avslutande betygen eller de ibland förekommande nationella proven (summativa) är egentligen inte så stor. I båda fallen identifieras svaga och starka elever som naturligtvis under löpande lärandeperiod får lämplig hjälp av läraren. Den summativa bedömningen utgör ett avslut på en läroperiods lärande, medan den formativa är en fortgående process vars naturliga slutpunkt är ett sammanfattande betyg eller resultat på ett nationellt prov.

Vad jag kan se existerar det egentligen bara en konstlad och upphaussad motsättning mellan de två bedömningssätten. Min gissning är att den formativa bedömningen har, av närmast taktiska skäl, börjat hyllas av dem som är emot betyg och nationella prov, eftersom de anser att dessa förstör lärandet och motivationen och dessutom utgör en orättmätig kontroll av elevernas kunskaper.

Den s.k. formativa bedömningen innehåller enligt mig samma element av gradering av eleverna kunskaper som den summativa, men den sker på ett mer dolt sätt, utan någon insyn.

Formativa bedömningar blir med nödvändighet mer subjektiva och utan förankring i något

kalibrerande system, som fallet är med de summativa bedömningarna. De skillnader i betyg

som undersökningar har påvisat mellan lärare och skolor kan därför tänkas bli än mer uttalade vid de formativa bedömningarna. De senare är dessutom undandragna all kontroll.

Skolan, kraven och samhället

 

Sommaren kommer och den mest hektiska bloggdebattsäsongen är över. Då är det dags att tänka över vad som sig tilldragit på diskussionsfronten. Jag har på sedvanligt sätt försökt få gehör för mina åsikter och fått allt från avstängningar på kommentatorsfält och tillrop om lärarförakt och påhopp (mycket populärt hos vissa!) slängda efter mig till vänliga människor som nästan eller helt har tyckt som jag.

Tiderna ändras och kanske inte vi med dem. Sedan 1980-talet har Sverige förändrats en hel del. Marknadstänkandet har infiltrerat vårt tänkande på oroväckande många sätt. Människor kunde börja låna pengar mer fritt, skatterna sänks för de mer bemedlade, sjukhusen får dra ner

på verksamheten, att bli sjukskriven bli svårare och sjukskrivna får sämre villkor, lönerna för

AP-fondernas chefer pendlar runt 300 000 i månaden (förutom fri bil och en mängd resor), barnfattigdomen ökar i Sverige, pensionärer har högre skatt än andra och vinstintressena tar över vård och skolor och klyftorna ökar mellan rika och fattiga. Kort sagt: marknadstänkandet har vunnit insteg på allvar. Nu räknas allt i pengar, kultur, skola och sjukvård glöms bort och ska helst finansieras med privata medel.

Och mitt i allt detta finns skolan. Hur ska den klara sig? Många trodde på att privatiseringarna skulle innebära nytt blod till skolan, nya pedagogiska idéer, högre lärarlöner och bättre miljöer för lärare och elever. Det är märkligt att någon överhuvudtaget var så naiv och tro att

människor vars främsta drivkraft är pengar skulle bry sig om skolan i första hand. Nu står vi här med en alltmer uppdelad skola och hela privata imperier som John Bauer-skolorna har helt misslyckats med det mest grundläggande. De välbärgades barn sökte sig oftare till privata skolor, medan de underprivilegierade barnen hamnade i en kommunal skola nära hemmet.

Hur ska nu de skolsvaga barnen klara sig i  allt detta? Är det genom en snäll, överslätande skola som inte har några speciella krav och som tycker att eleverna blir stressade av att få betyg eller ha prov. Är det genom att tillåta barnen att vara oförskämda mot varandra och lärarna? NEJ, självfallet inte. Skolan kan vara vänlig men den ska ställa tydliga krav och genomtänkt struktur. Först då kan de skolsvaga barnen uppmuntras att se att de kan. Naturligtvis ska hänsyn tas till att vissa skolsvaga barn har psykiska problem eller problem med läsning etc. Genom att ställa krav kompenserar vi i skolan de krav som egentligen skulle ha kommit från hemmen. De elever som kommer från välutbildade hem har kraven inbyggda i hemmiljön.  Den kravmiljön måste skolan starkt skapa i skolan och det ska ske genom all skolpersonal under lärarnas ledning.

När skolan slutar för läsåret firas det högtidligt och med glädje. Rektor talar varmt om det kommande sommarlovet. Men när skolan börjar igen på hösten så sker inget firande, kanske bara en flagga vajar för vinden. Egentligen borde firandet vara lika stort vid båda tillfällena.

Jag är medveten om att vägen dit är lång, men strävan måste vara att det är roligt att gå till skolan och prestera och känna förväntningar och krav på sig av kunniga och duktiga

Ska elever skyddas mot betyg i skolan?

Betyg i skolan har naturligtvis flera olika funktioner. Enligt min mening är lärarnas bedömningar något som är nödvändigt för att föräldrarna och eleverna ska kunna orientera sig i hur väl skolgången fungerar. Ibland menar kritiker av betygssystem att dåliga betyg gör att elever fortsätter prestera dåligt. Självkänslan får en knäck, menar man. Underförstått i ett sådant antagande är att om betyg plötsligt avskaffades skulle prestationerna förbättras. Detta påstående borde prövas, men det är svårt, och därför får ohejdade tyckanden visa var debattörer står.

Pedagoger verkar i mångt och mycket arbeta emot psykologiska principer. Om elever kan antas vara oroliga och ängsliga för något, som test och prov, så ska dessa elever skyddas mot det. Den psykologiska principen, visad genom forskning och terapier, är att möten med  obehagliga situationer är det bästa för att individer bättre ska klara av framtida utmaningar. Fobier, som ju är förenade med oerhört stor ångest i vissa situationer, och inte alls i nivå med testängslan, behandlas just med gradvisa exponeringar inför det som framkallar oro och ängslan. Den princip som pedagoger föreslår, och som innebär att skydda elever mot ”stress och obehag”, leder lätt till undvikande beteenden, som snarare tenderar att upprätthålla oron inför situationer där man upplever sig som utvärderad.

Ett annat argument mot betyg är att de endast är en enkelt summativt mått på en lång tids prestationer i ett visst ämne. Man förespråkar då att lärarna hellre skulle författa skriftliga omdömen om eleverna som omfattar andra förmågor än de kognitiva, som personliga egenskaper o dyl. Förutom att lärarna redan nu tycker sig ha för mycket att göra skulle detta leda till mycket märkliga konsekvenser. Lärarna skulle då tvingas vara bedömare av personliga egenskaper. Dessa bedömningar skulle sedan finnas arkiverade under långliga tider.

Motståndet mot betyg bygger på en uppfattning om att livet ska vara helt fritt från oro. Så är inte fallet. Under livet tvingas alla människor att på olika sätt lämna ifrån sig produkter av sitt arbete och få dem bedömda. Att börja med att i skolan skyla över svaga prestationer (för det är väl meningen?) är ett synnerligen olämpligt, opedagogiskt och opsykologiskt sätt att handskas med människors oro.

För övrigt är det en tveksam sanning att testängslan hos elever leder till sämre prestationer. Prestationsinriktade elever är ofta mycket ängsliga men presterar utmärkt på proven. Ska vi låta dem slippa proven?

Vad lärarna inte fick veta och varför

Jag deltog för några år sedan i ett större projekt som följde ett mycket stort antal skolbarn från 10 års ålder upp till det att de var över 45 år.  Detta longitudinalla projekt var mycket påkostat av den svenska staten, men har inte avkastat så mycken kunskap som man kunde ha förväntat sig. I projektet insamlades skoldata, sociologiska och psykologiska data, fysiologiska data och enkätdata i mycket stor omfattning. Men resultaten man fick man fick fram kom mycket sällan ut  till allmänheten och kanske då främst skolorna. Orsakerna till detta var många. Det fanns (och finns) inte medel att bekosta en popularisering av forskningsresutat till de avnämare som skulle haft nytta  av den, främst då lärare. För det andra var ledningen av projektet svag och ängslig. Mycket tidigt - redan på 70-talet - slog man fast vilka faktorer som vägledde lärarna vid betygssättningen vid sidan av  kunskaperna, men man vågade inte utmana lärarna genom att offentligt gå ut med resultaten. Först nu under betygsdebatten har sådana tankar diskuterats.

Andra rön gällde möjligheten att i förväg ringa in de skolbarn som senare i livet skulle få besvär med sitt psyke, med alkoholism eller hamna i kriminalitet. Där kunde man med hjälp av lärarbedömningar av några få klassrumsbeteenden (aggressivitet, blyghet, hyperaktivitet mm) till 90 % förutsäga vilka som senare skulle råka illa ut i livet. Skälen till att man inte redovisade dessa resultat öppet var mer komplicerade. Dels kunde det anses moraliskt förkastligt att bistå lärarna med information som kunde vara fördomsförstärkande, dels var det ju inte alla ungdomar som hamnade i svårigheter i livet. Det fanns maskrosbarn.

En kollega och jag gjorde för trettio år sedan en studie om vad vi kallade toppbegåvade barn. Som toppbegåvade  klassade vi de elever som både i klass tre och klass 6 låg bland de 10 % bästa i ett
intelligenstest, där generell begåvning mättes. Vi följde sedan dessa barn genom skolan och livet och fann att speciellt de mycket duktiga flickorna under gymnasietiden sjönk i prestationer i jämförelse med dem som inte klassats som toppbegåvade. Detta gällde även pojkarna, men i mindre utsträckning. Vi fann inte någon heltäckande förklaring, men ansåg oss kunna säga att de mycket begåvade ofta sattes på mindre stimulerande uppgifter, som att räkna ett anatal likadana tal till. Den litteraturgenomgång vi gjorde om toppbegåvade barn visade också på uppseendeväckande internationella rön om hur överbegåvade barn var överrepresenterade hos psykiatriska undomsmottagningar världen över och att lärarna hade mycket svårt att identifiera dessa begåvningar i klassrummet. När lärare fick välja ut de mest begåvade, visade forskningen, valde de de duktiga men välanpassade eleverna.

En annan anmärkningvärd lapsus skedde när pegagogikforskaren Siv Fischbein från Stockholm, mycket tidigt kunde visa att tillåtande och laissez-fair-artade skolformer (som grundskolan)
förstärkte barnens varierande sociala bakgrund och minst av allt hjälpte barn från studiesvaga barn som avsikten var. Fischbein hade mycket svårt att få sina resultat publicerade. De var inte politiskt korrekta, preccis som min kollegas och min rapport om begåvade barn inte heller var det.  Fischbeins forskning tillhörde inte det longitudinella projektet. Men PK fanns redan då!

Dessa och en många andra resultat nådde alltså aldrig finansiärerna, dvs. allmänheten och de närmast berörda, föräldrar, lärare och andra som arbetade med barn.

Det är faktiskt likadant nu i hög utsträckning. Pedagogisk, didaktisk och psykologisk forskning är så oåtkomlig i sina originalartikler (inom psykologi skrivs den oftast på engelska) att gemene man har svårt att få något utbyte av dem. Den forskning som närmast ska bistå skolan med kunskap är ytterligt världsfrånvänd och sysslar mest med lärares och elevers upplevelser av vissa bestämda fenomen, analyserade med hjälp av invecklade kvalitativa procedurer som inte kan dölja att slutsatserna är platta, deskriptiva och föga generaliserbara.

Man kan inte undgå att undra vad det är för forskningsresultat som inte publiceras idag?