Kunnskapssenteret.com - http://www.kunnskapssenteret.com
Validitetsfeil
http://www.kunnskapssenteret.com/articles/2683/1/Validitetsfeil/Validitetsfeil.html
Kjetil Sander
Ansvarlig redaktør og daglig leder for OnNet AS. Utdannet Diplom økonom og -markedsfører fra NMH/BI, med mellomfag i markedskommunikasjon. 
By Kjetil Sander
Publisert av 08/24/2004
 
Validitetsfeil

Validitetsfeil

Validitet - eller gyldighet/relevans - er knyttet til hvorvidt undersøkelsen virkelig måler det den har til hensikt å måle. En sikker måte å få dårlig validitet på er å intervjue folk om ting de ikke har greie på. Som regel gjennomføres forskningsprosjekter og markedsundersøkelser for å skaffe seg et beslutningsgrunnlag. For at det skal være mulig å treffe beslutninger og legge opp planer på bakgrunn av markedsforskning, må resultatene ha validitet og reliabilitet. Viktigst er validitet. Mangler begrepene eller variablene vi måler validitet, står vi i fare for å trekke feilaktige slutninger. - eller gyldighet/relevans - er knyttet til hvorvidt undersøkelsen virkelig måler det den har til hensikt å måle. En sikker måte å få dårlig validitet på er å intervjue folk om ting de ikke har greie på. Som regel gjennomføres forskningsprosjekter og markedsundersøkelser for å skaffe seg et beslutningsgrunnlag. For at det skal være mulig å treffe beslutninger og legge opp planer på bakgrunn av markedsforskning, må resultatene ha validitet og reliabilitet. Viktigst er validitet. Mangler begrepene eller variablene vi måler validitet, står vi i fare for å trekke feilaktige slutninger.

Målet til ethvert markedsforskningsprosjekt er derfor:

  • Å skaffe informasjon/data som man kan stole på. Det vil si data som både har høy validitet og reliabilitet !

Utfordringen ligger i å skaffe seg en oversikt over de data som er relevante for den problem-stillingen man arbeider med, og samle dem inn på en pålitelig måte.

Det finnes mange forskjellige former for sub - validitet som vi må forholde oss til for å kunne si at resultatet er valid. Ulike forfattere oppererer med ulike former for validitet. De vanligste formene kan allikevel sammenfattes i en modell som er vist under.

1. Begrepsvaliditet

Begrepsvaliditet har å gjøre med i hvilken grad vi virkelig måler det vi ønsker å måle, og er den mest grunnleggende formen for validitet. Begrepsvaliditet kan defineres som (Hellevik - 91):

"Graden av samsvar mellom den teoretiske definisjonen av den latente egenskapen og den operasjonelle definisjonen av den manifeste egenskapen som skal måles"

Begrepsvaliditet kaller flere steder i litteraturen for definisjonsmessig validitet. Hvis det er høyt samsvar mellom resultatene ved bruk av ulike operasjonelle definisjoner av det samme teoretiske begrep, sies det at kriterievaliditeten er høy. (Halvorsen-93).

Den begrepsmessige validiteten sier noe om hvor god "broen" mellom det det teoretiske og praktiske (operasjonelle) planet er. Eller sagt på en annen måte; Om våre empiriske data virkelig måler de teoretiske begrepene og variablene vi hadde til hensikt å måle.

Begrepsvaliditet er derfor en nødvendighet for at forskningsresultatene skal være:

  • meningsfulle
  • tolkbare
  • generaliserbare

Dette gjør begrepsvaliditet logisk overordnet de andre formene for validitet, og en den vesentligste validitetsformen i alle former for empirisk forskning.

2. Overflate validitet

Overflate validitet kalles også "face validity" og sier noe om det umiddelbare samsvaret mellom teoretisk og operasjonell definisjon av en variabel. Her vil det være snakk om bruk av muliple mål/multiple metoder overfor samme begrep eller spørre etter ansdres oppfatning. Dette siste kalles ekspertkonsensus.

3. Konvergent validitet

Konvergent validitet sier noe om i hvilken grad det er sasvar mellom multiple mål og eller multiple metoder.

Korrelasjonsteknikker er enkle tester for konvergent validitet.

4. Divergent validitet

Divergent- eller discriminant validitet sier noe om i hvilken grad et begrep skiller seg fra et annet begrep. Det operasjonelle mål for begrep A må kunne skilles fra et operasjonelt mål av begrep B, og sammenblanding må unngås.

For å beregne divergent validitet kan korrelasjonsteknikken benytten, forutsatt at studiet inkluderer flere begreper.

5. Nomologisk validitet

I hvilken grad prediksjoner fra et teoretisk nettverk som inneholder begrepet kan bekreftes.

6. Statistisk validitet

Statistisk validitet forteller om vi har et tilstrekkelig statistisk grunnlag for å trekke de konklusjoner vi gjør eller ikke. Eller litt mer presist; I hvilken grad vi trekker de riktige konklusjonene om kovarians gjennom våre statistiske analyser. Statistisk validitet forbedrer først og fremst ved å velge riktig analysemetode. Den statistisk validiteten kan som regel også økes ved å øke antall observasjoner.

7. Intern validitet

Intern validitet har å gjøre med å gjøre med i hvilken grad vi kan si at det eksisterer et kausaliditetsforhold. Dvs. i hvilken grad vi kan konkludere med at en effekt kan tilskrives den årsaken vi tror, eller om det kan være andre utenforliggende faktorer som er like sannsynlig (Selnes -94). Denne formen for validitet er derfor mest sentral ved eksperimentelle studier og kausalanalyser.

Den beste måten å oppnå høy grad av intern validitet er å foreta en pilotundersøkelse som baserer seg på et eksplorerende design. Hvis det foreligger alternative forklaringer gjelder det å redegjøre for disse, og forsøke å minimere disse faktorene eller sannsynliggjøre at disse vil ha liten eller ingen effekt.

Ved vurdering av intern validitet bør følgende utenforliggende forklaringsfaktorer sjekkes:

  • Historie
  • Modning
  • Målerefleks
  • Instrumentvariasjon
  • Statistisk regresjon
  • Utvalgsskjevhet
  • Frafall

Historie

Historie er en hendelse som skjer på det tidspunkt vi gjør våre målinger, men som vi ikke har kontroll over. Kjører f.eks. en konkurrent en stor kampanje samtidig som vi setter i gang vår, vil resultatet fra denne undersøkelsen være representativ i et tidsperspektiv. Kommer det en periode med "regn" og "snøstorm" i juli måned i Oslo, samtidig som man lanserer en nye solkrem, er det ikke sikkert at salgssvikten skyldes dårlig markedsføring e.l. Været er antagelig en bedre forklaring.

Modning.

Modning innebærer at respondentene forandrer seg mellom to målinger, men av andre grunner enn det vi manipulerer. Har vi f.eks. forandret slagordet og foretatt en "før og etter" måling for å sjekke effekten, er det ikke sikkert at en evt. omsetningsøkning skyldes det nye slagordet. Det kan skyldes bedre distribusjon, resultater fra tidligere gjennomførte tiltak e.l.

Målerefleks

Målerefleks er et problem hvis testen eller målingen i seg selv påvirker respondentene. Folk ønsker som regel å være konsistente. Hvis vi f.eks. måler holdninger på to tidspunkter, vil de fleste forsøke å erindre hva de svarte på den første testen når de svarer på den andre. Slik at det blir mest mulig likt selv om holdningen faktisk er endret. Dette kalles "main testing - effekt" (Fred Selnes - 94). En annen mulighet er at respondenten svarer annerledes eller endrer atferd som en følge av at vedkommende blir spurt eller observert. Dette kalles "reactive testing - effect". Dette er et problem ved panelstudier og ved observasjoner. Det er grunn til å tro at folk blir mer rasjonelle og mindre impulsive når de må rapportere sin atferd, og at de ikke oppfører seg naturlig i alle sammenhenger når de blir observert (Fred Selnes).

Vi kan også risikere at det vi måler påvirker det vi manipulerer. Dette kalles "interactiv testing". Skal du f.eks. delta i en "før og etter" test er det alltid en fare for at du skal bli mer bevisst på det vi prøver å måle slik at vi kan komme til å trekke feil slutning.

Instrumentvariasjon

Instrumentvariasjon betyr at respondentene ikke blir målt på samme måte. En mulighet er at de ulike intervjuene har ulik stil. En annen måte er at en intervjuer endrer stil etter som han eller hun får erfaring. En tredje mulighet er at forandrer måleinstrumentet underveis (F.Selnes).

Statistisk regresjon

Statistisk regresjon er et fenomen som tilsier at ekstreme cases tilnærmer seg gjennomsnittet over tid (F. Selnes - 94).

Utvalgsskjevhet

Utvalgsskjevhet er systematiske skjevheter i utvalget. Enkelte enheter er f.eks. systematisk underrepresentert eller ikke tatt med i utvalget i det hele tatt. Vi kan ha for mange menn e.l.

8. Ekstern validitet

Ekstern validitet angir i hvilken grad vi kan generalisere resultatene. Gjelder resultatet for andre personer, i andre situasjoner, og/eller på et annet tidspunkt ?

Forskjellen mellom ekstern og intern validitet er meget sentral, idet det er et motsetningsforhold. Ønsker vi å maksimere intern validitet, må vi vanligvis slakke på kravene til ekstern validitet, og omvendt. Det er derfor viktig at man har det klart for seg hva som er viktigst. Intern- eller ekstern validitet.