Korrekta bedömningar i skolan

Skolverket skriver på sin hemsida följande hur man ökar pålitligheten i bedömningar:

”För att bedömningen ska bli likvärdig fordras i provsammanhang sambedömning. Genom att bedöma tillsammans, byta elevlösningar, jämföra och diskutera varandras bedömningar åstadkoms en högre grad av bedömaröverensstämmelse eller interbedömarreliabilitet.”

Detta är i lång stycken fel. Hög reliabilitet innebär att en bedömning är säkert gjord, med precision och ackuratess. Det kan gälla en mätning eller en diagnos eller prognos. När flera människor ska bedöma någonting föreslås i texten ovan sambedömning. Det är ett farligt förslag. Om några personer tillsammans diskuterar en elevs betyg eller fattar något annat beslut i samråd och kommer fram till samma resultat så innebär detta inte hög reliabilitet. Hög interbedömarreliabilitet innebär att flera personer oberoende av varandra kommit fram till samma resultat. Detta i sin tur innebär inte att man uppnått någon korrekt bedömning, bara att man varit överens  - och kanske haft fel.

Hjälper 10 000 kronor lärarna?

 
-->

En licentiand i historia från Malmö högskola har skrivit en avhandling med titeln ”Likvärdighet till priset av likformighet”.  Avhandlingen är från år 2011. Med tanke på regeringens nya förslag att belöna licentiander från forskarskolor,  som avhandlingsförfattaren Per Gunnemyr,  med lektorstitel och 10 000 kronor mer i lön än vanliga lärare kan det vara intressant att något skärskåda någon representativ vetenskaplig aspekt av hans arbete.  I vetenskapliga alster är man oftast intresserad av att veta om man undersöker det aktuella fenomenet på rätt sätt och därmed når resultat som är så pålitliga som möjligt. I vetenskapliga sammanhang brukar man då använda begreppet reliabilitet och det begreppet avser att de resultat man får i en undersökning skulle kunna skulle göras om i samma kultur med samma resultat. Begreppet reliabilitet hänför sig inte bara till mätningar som innehåller siffror utan innefattar även andra typer av bedömningar, t.ex. diagnoser. Om tre oberoende bedömare kommer fram till liknande diagnos menar vi att vi har en hög reliabilitet mellan bedömare. Om tre lärare bedömer ett antal uppsatser så är reliabiliteten 1.00 om alla tre kommer fram till samma omdömen. Om alla är oense med varandra blir reliabiliteten 0.00. I kvantitativa studier är det mycket vanligt att man anger hur hög reliabilitet de instrument man använde har, medan man i kvalitativa undersökningar blir mer svävande. Så här skriver Gunnemyr om positivism, vilket han tydligen ogillar eller har ofullständig kunskap om:

Reliabilitet, eller tillförlitlighet, handlar i positivistisk bemärkelse om att undersökningens mätinstrument

ska vara tillförlitliga. Datainsamlingen ska vara standardiserad och inte påverkas av slumpmässiga faktorer. I en kvalitativ forskningsintervju utgör forskaren mätinstrumentet och det är varken möjligt eller önskvärt att jag ska förvandla mig själv till en objektiv registrerare. Ett sätt att vid kvalitativ forskning förhålla sig till reliabilitetskravet är att som Martyn Denscombe ställa sig följande fråga: ”Om någon annan genomför undersökningen, kommer han eller hon fram till samma resultat och drar han eller hon samma slutsatser?”

Gunnemyr har förmodligen inte fått så mycket undervisning i metodik och tror därför att reliabilitet bara avser kvantitativa undersökningar. På ett sätt har han delvis rätt. Man bryr sig nämligen inte så mycket om eventuella inbyggda fel i de metoder man använder. Vid intervjuer (ett oerhört vanligt instrument i kvalitativa studier) är det oftast så att det bara är en enda forskare som både planerar en studie, bestämmer frågorna, gör intervjuerna, analyserar resultaten, drar slutsatser, väljer ut citat från intervjuerna och skriver ihop slutrapporten. Detta innebär att denna enskilda persons syn på världen och människorna kan färga eller snedvrida hela resultatet av undersökningen. Gunnemyr vill inte bli en objektiv registrerare, säger han, vilket han förmodligen lärt sig att de hemska kvantitativa forskarna är. Men vill han bli en forskare som publicerar slutsatser som till okänd del beror på den enskilda forskarens värderingar och tolkningar? Det är fullt möjligt att han inte har något emot det. Jag menar att en hel del kvalitativa undersökningar brister i vetenskaplighet just av denna anledning. Man menar att det man söker är förståelse av några tillfälligt utvalda individers uttalanden. Därefter avslöjar Gunnemyr sin bristande kännedom om metodresonemang när han plötsligt ansluter sig till en tolkning av reliabilitet som är vanlig i kvantitativ forskning, när han citerar Denscombes kloka tanke att olika forskare bör komma fram till samma slutsatser för att undersökningar ska bli reliabla! Det är ju just det som kvantitativa forskare säger om reliabilitet.

Att man verkligen når fram till säkra och pålitliga resultat med den metod man valt är dock ingen garanti för att man kan dra några mer vittgående slutsatser. De verktyg man använt för att studera det aktuella fenomenet kanske inte var så bra. Intervjun kanske utfördes av en enda forskare, det historieprov man gav eleverna hade dåligt utformade frågor, vilket inte gav utslagsgivande svar och det kunskapstest man mätte mattekunskaper med var illa utformat. Men om däremot våra metoder var pålitliga och reliabiliteten hög så räcker inte detta ensamt. Det måste ju också visas att de resultat och slutsatser man dragit håller för en närmare granskning, dvs. vara giltiga, eller valida som man säger. Gunnemyr citerar en kvalitativ kollega Heléne Thomsson, som har skrivit följande:

Heléne Thomsson menar ………… att validitet i en kvalitativ forskning snarare handlar om huruvida ”man verkligen studerar de fenomen som man givit sig ut för att studera och om man verkligen tolkar det man avsett sig tolka”.

Thomsson tar här upp begreppet validitet i kvalitativ forskning och ger dessutom (omedvetet?) en god definition av både reliabilitet och validitet i kvantitativ metodik. Validitet innebär nämligen just att man mäter eller studerar det man verkligen bestämt sig för att studera.

Jag har här ovan låtit en licentiand representera en mängd forskarutbildade lärare som nu får chansen att bli lektorer i den svenska skolan. Jag menar att många av de blivande lektorerna knappast har den utbildning i vetenskapligt tänkande som människor i allmänhet tror och som även regeringen troligen förmodar. Den vetenskaplighet som de blivande lektorerna har tillgodogjort sig i forskarskolan har inte alls den bredd och djup som man kan förvänta sig av en vidareutbildad lärare. De flesta blivande lektorerna kan därmed inte utgöra den stabila grund för en vetenskaplig skola som vi ju alla önskar se. De flesta licentiatavhandlingarna bygger på litteraturgenomgångar eller är intervjubaserade undersökningar utan någon frågeställning som entydigt kan besvaras i en studies resultatdel. Det blir som i de vanliga intervjuundersökningarna en samling utvalda intervjusvar som får illustrera studiernas slutsatser tillsammans med en ofta ganska meningslös kategorisering av intervjusvaren. Det är oftast endast ett fåtal individer som intervjuats och resultat och slutsatser blir därmed inte giltiga, valida eller generaliserbara utanför de fåtal intervjuade personernas krets.

Det är ett svek mot de lärare som lägger ner tid och arbete på dessa forskarskolor att dessa i framtiden får utgöra rekryteringsbasen för framtida lektorer i skolan. Man borde i stället ha satsat på en bred utbildning till doktorsdisputation. De licentiander som nu examineras från forskarskolorna är bara ett billigare alternativ regeringen för att ge lärarna möjligheter till avancemang utan något större tillskott av kunskaper. Det hela är rent ut sagt bedrövligt.

Per Gunnemyrs licentiatavhandling är inte alls dålig. Dess brister är dock stora med betoning på vetenskaplighet.

Vad är beprövad erfarenhet för en lärare?

 

Från högskolan i Skövde utges tidskriften Utbildning och lärande som ofta ger alldeles utmärkta inblickar i skolvärldens frågor och olika problem. I volym 6, nummer 1, 2012 har ett antal författare från högskolorna i Skövde och Borås skrivit en insiktsfull artikel om olika typer av erfarenhet, som nästan helt stämmer med min syn på begreppet.

Speciellt begreppet beprövad erfarenhet har gett upphov till mycken diskussion. Definitionerna har varit många och en sådan har varit att denna utgörs av erfarenhet som vinns under professionell verksamhet. I nämnda artikel gör Dimenäs med flera (2012) en gedigen genomgång av begreppen och söker reda ut förvirringen. Författarna söker med hjälp av intervjuer med handledare inom skol- och sjukvårdsvärlden utröna hur man använder ordet erfarenhet i vardaglig yrkespraxis.

Man finner då att en uppdelning av begreppet erfarenhet verkar ge mer stadga åt användningen av det. Man talar således om erfarenhet, prövad erfarenhet och beprövad erfarenhet.

Erfarenhet är då den intuitiva kunskap vi tycker oss få av omvärlden, från födelsen och framåt

i livet. Vi lär oss t.ex. att om händelse A händer så händer sannolikt också B, vilket ger stadga åt upplevelserna i livet. Dessutom lär vi oss generellt att om vi gör C så händer så inträffar troligen D. Dessa två principer brukar kallas för de två grundläggande inlärningslagarna och tas inte upp i artikeln. Den dagliga erfarenheten är individuell och unik men kan naturligtvis förmedlas till andra genom berättelser.

Prövad erfarenhet  utgörs av den erfarenhet som omsätts i praktisk handling.  Den reflekteras över och kan prövas mot tidigare erfarenheter. Denna erfarenhet är också personlig och delas således inte automatiskt med andra.

Beprövad erfarenhet blir kollektiv genom att den prövas inom arbetsgemenskapen. Erfarenheterna görs systematiskt och analyseras noga och fästs kanske också pränt som rekommendationer för hur praxisen ska vara. Den kan också förmedlas muntligt. Kunskapen blir på detta sätt förankrad på skolan eller på avdelningen.

Artikeln är mycket välskriven och sällsynt klar i sin framställning. Begreppet beprövad erfarenhet behöver ju verkligen synas i sömmarna. Författarna lyckas väl med sitt utredningsarbete och det enda jag vill tillägga är en liten varning angående pålitligheten i den kunskap som erhålls på detta sätt. Erfarenheten beprövas således genom att man sas pratar ihop sig i arbetskollektivet. Människor förleds lätt att tro att bara för att man överens så har man också rätt. Människor älskar också att vara överens och helt eniga om någonting. För att tala i vetenskapliga termer så menar man att reliabiliteten är hög när man tycker lika. Men då ska man minnas att reliabilitet inte är det viktiga utan det är validitet som gäller. Och en kunskap är valid om man verkligen rent vetenskapligt vet att man har att göra med sanningen.

Om beprövad erfarenhet i skolan

Många verksamheter i landet ska bygga på vetenskaplighet och beprövad erfarenhet. Vad som avses med det senare begreppet är mycket oklart, även från högsta ort:

http://www.sbu.se/sv/Vetenskap--Praxis/Vetenskap-och-praxis/2095/

De flesta av oss använder oss någon gång av detta begrepp och vi har då vår egen tolkning av det. För de flesta betyder det helt enkelt att man har prövat något och det har fungerat, enligt vad man själv upplever. Men detta är alltså inte beprövad erfarenhet. Skulle det då kunna likställas med termen reliabilitet, som även används inom statistiken och då betyder mätprecision, dvs. hur nära ”sanningen” man har nått? Då skulle erfarenheter vunna av en lärare vad gäller didaktik, som sedan bekräftas av oberoende andra lärare innebära att beprövad erfarenhet föreligger? Nja, i så fall måste erfarenheterna i alla förekommande fall bekräftas av andra fakta än den undervisande läraren själv kan bistå med. Annars kan det bli så att lärare som arbetar tätt samman med samma metodik blir överens om att denna fungerar. Det innebär en hög grad av reliabilitet – överensstämmelse i åsikter om en metod – men det kan faktiskt bero på att dessa lärare har sina egna sätt att tillämpa samma metod och därmed kan inte resultaten användas för att avgöra om metoden generellt är en framgång (dvs. om den är valid).