Validitet – måler PISA det PISA skal måle?

Begrepet validitet er erfaringsmessig bortimot umulig å forstå. Men for å ta det enkelt: Hva vet vi når vi vet hva en PISA-skår er? Betyr en høy skår at våre barn kommer til å bli flinkere i arbeidslivet, gjennomsnittlig, enn de som skårer lavere? Neppe. PISA er ment å måle om elevene får lært det PISA mener at det er meningen av elevene skal lære. PISA og store deler av skoleverket er enige om dette, og PISA er et svært godt stykke håndverk (Jeg har lest dokumentasjonen, så det slipper du. Du kan bare stole på meg. Målemetoden er så god som den kan få blitt.)

Vet vi om de tingene som blir målt – lesing, matte og naturfag – faktisk måler tilstanden i skolen rent generelt?  Kan det tenkes at vi er gode i absolutt alt, bortsett fra akkurat dét?  Og kan det tenkes at vi lærer noe i skolen som gjør at selv om vi skårer dårlig akkurat her, så klarer vi oss likevel når vi får bruk for det?

Vel, neppe. Er skolen dårlig til å undervise i basisfag, så får den ikke til noe annet, heller. Dette er ting man skal få med seg dersom man følger med på skolen, er rimelig smart, og skolen ikke hindrer en i å lære det.

Endring – er elevene blitt flinkere siden 2006?

Muligens, men andre forklaringer er mer sannsynlig.

Et testresultat er en måling av en prestasjon i en situasjon. Elever er blitt plukket tilfeldig og skal utgjøre et representativt utvalg av skoleelever, som så sammenlignes med hverandre.  Testen er svært godt laget, så vi kan regne med at resultatet er

en svært god, men ikke ufeilbarlig, hypotese om hvordan det står til.

Hvorfor ikke ufeilbarlig? Det har med test-teori å gjøre. Altså hvordan tester lages. Skal man finne en sann skår, må man teste mange ganger, og så beregner man gjennomsnittet. Det er derfor mange elever måles. Måler man mange nok, kan man regne med at de man har målt, i gjennomsnitt skårer det alle hadde målt. Da har man statistisk signifikans: Man kan generalisere fra utvalget til alle.

Det er dog en liten, men ikke usannsynlig, risiko for at det man har målt ikke er riktig. At man har bommet. At det er et eller annet med utvalget som gjør at resultatet blir skjevt. Vi vet ikke hva, det får vi bare vite dersom vi undersøker, og ofte kan vi ikke vite. Kan det ha skjedd her?

Betrakt kurven, det er målt i 2000, 2003, 2006 og 2009. Norges gjennomsnittlige skår så langt er 498.

Hvor langt er dette fra 500?

Vel, et standardavvik på PISA er 100. Det betyr at en gjennomsnittlig skår er mellom 400 og 600. Ca. 68% havner mellom 400 og 600. Ca 38.2% havner mellom 450 og 550. Skårer man 480, er man bedre enn 42% av de som har tatt testen, og skårer man 500, er man bedre enn 50% av de som har tatt testen.

Er 6% veldig mye i denne sammenhengen?

Høres ikke 6% ganske mye mindre ut enn 500 – 480 = 20?

Men vi skårte ikke, i snitt, så dårlig som 480 i bunnåret 2006 heller. Snittet var 493. Så vi var bedre enn ca. 46% av alle i 2006, og ellers har vi stort sett vært bedre enn ca. 49% av alle. Slingringen er på ca. 3%.

Så er forskjellene mellom årene reelle, eller skyldes de «statitisikk», for å si det litt enkelt?

Mest sannsynlig er den sanne skåren vår temmelig nær 495, og det er ingen reell forskjell mellom hvert år.

More From roffe

• Jeg sprøytvarsler meg selv: Om det å kunne tenke abstrakt
• PC i skolen: Mot
• Hvorfor arv/miljødebatten er viktig for homofile

roffe Recommends

• Complete Internet Repair  (Rizonesoft)
• WinSock Repair  (Rizonesoft)

Ask roffe To Recommend Your Posts

Jeg kunne skrevet mangt og meget om hva Aftenpostens kunnskapsløse journalist fikk ut av Mensas landstreff her om dagen, men man må velge, og her er hva jeg har valgt:

Mensa beskriver sine IQ-tester som kulturfrie. Alder, bakgrunn og utdannelse skal ikke ha noe å si for resultatet. Men mange kritikere mener at verdi- og kulturnøytrale tester er en umulighet.

Postulatet om at testene forteller noe statisk og absolutt om intelligens, svekkes ytterligere av at de stadig må normeres på nytt for å holde snittscoren på 100. Som forsker James R. Flynn fra New Zealand har dokumentert, scorer nemlig hver generasjon bedre enn den forrige.

Dessuten måler testene bare en ytterst begrenset del av våre evner. Ifølge hjerneforsker Howard Gardner besitter vi langt flere intelligenser enn den logisk-matematiske. På listen hans, som neppe er uttømmende, står også språklig, naturalistisk, visuell, kroppslig, musikalsk, intuitiv og sosial (de to siste ofte kalt EQ – emosjonell intelligens).

Likevel bruker fremdeles mange hodejegere og arbeidsgivere IQ-tester, gjerne i kombinasjon med andre personlighetstester, for å avgjøre hvor egnet en søker er.

Finn fem feil, liksom. Eller kanskje heller femti. Men for å ta tak i litt av det (det er nok å ta av i det ovenstående):

Howard Gardner er ikke hjerneforsker. Han er psykolog. Han tok doktorgrad på et aspekt ved barnepsykologi.

Begrepet EQ er kritisert nord og ned, blant annet i Hallvard Føllesdals nylige doktorgrad, ved at det er umulig å definere, umulig å måle, umulig å vite hva er, og nei, det er ikke det samme som sosial teft, og forskningen som skal dokumentere at EQ måler interessante ting IQ ikke måler er heftet med sterke metodologiske svakheter.

IQ-tester predikerer suksess i arbeidslivet og i samfunnet forøvrig bedre enn noen andre kjente tester. Det finnes unntak og disse er kjent og dokumentert. Intelligens er det grundigst studerte fenomenet innenfor psykologien, det er det som er best forstått, best målt, etc. Intelligens (som målt ved IQ-tester) og personlighet (som målt ved vitenskapelig utviklede personlighetstester) forklarer samlet godt over 50% av variasjon i akademisk og sosial suksess. Det er ikke nok uforklart varians igjen til at noenting kan predikere bedre enn IQ og personlighet tilsammen. Å påstå at IQ-tester måler en ytterst begrenset del av våre evner er ganske enkelt kunnskapløst.

Ja, vi har hørt om Gardner fra før. Dette er ikke nytt. Hvorfor tror alle journalister som skriver om Gardner i Mensa- og IQ-sammenheng at de er de første som har hørt om ham? Faktisk var en av presentasjonene på landsmøtet om alle feilene i argumentasjonen til Gardner, av en psykolog som nylig har tatt doktorgrad på EQ.

Alle misforståelsene av hva Flynn-effekten er og hva Flynn-effekten går ut på kunne jeg skrevet en egen blogg om – delvis fordi Flynn har skrevet ganske mye spennende om sammenhengen mellom intelligens og ytelse.

I forkant av landsmøtet tilbød jeg 550 tidligere og nåværende (jeg tror det var alle sammen, minus de få vi ikke hadde en fungerende epostaddresse til) norske medlemmer av Mensa å ta en (enkel men vitenskapelig utviklet) personlighetstest. Den viste det man burde forvente: De 240 som svarte skårte helt normalt, med unntak av at de var betydelig åpnere for å diskutere filosofiske og abstrakte spørsmål enn det som er gjennomsnittlig. Det var nevnt på programmet. Spurte journalisten om dette?

I enkelte land regner det så kraftig at kumlokkene danser. Hadde de vært firkantet, hadde formodentlig mennesker som plukket dem opp av hullene vært en egen yrkesgruppe.

More From roffe

• Jeg sprøytvarsler meg selv: Om det å kunne tenke abstrakt
• Om å lure personlighetstestene
• Feil på feil på feil om personlighetstesting

roffe Recommends

• WinSock Repair  (Rizonesoft)
• How to Find a Green Job in Your Area of Expertise  (U.S. Green Technology)

Ask roffe To Recommend Your Posts