For å skaffe seg en oversikt over de potensielle feilkildene ved undersøkelser som baserer seg på en kvantifiserbar metode, er det hensiktsmessig å ta utgangspunkt i forskningsprosessen. Dette fordi feil kan oppstå i alle faser og ledd i forskningsprosessen. Fra planlegging til den foreligger som en ferdig skrevet rapport. Modellen viser den tradisjonelle forskningsprosessen, og på hvilke områder feil og unøyaktigheter kan oppstå i prosessen.

1. Diagnose av problemsituasjon og valg av problemstilling

De to mest grunnleggende feilene vi kan gjøre er å foreta feil diagnose av problemsituasjonen og velge feil problemstilling. Begge deler er vanlig, og ikke sjelden opplever markedsforskere at problemstillingen må omdefineres for at undersøkelsen skal ha tilstekkelig validitet og reablitet. Denne feilkilden er ikke bare viktig når vi snakker om primær data, den er like viktig for sekundær data. Problemet med sekundær data er at vi sjelden får nok bakgrunns-informasjon om problemstillingen til at vi selv er i stand til å vurdere om forskerne har oppfattet situasjonen riktig og valg den riktige problemstillingen, i forhold til situasjonen.

2. Forskningsdesign og operasjonalisering

Har vi valgt riktig datainnsamlingsmetoden i forhold til problemstillingen ? Ikke alle metodene er like egnet til å løse problemstillingen ? Hvordan har problemstillingen blitt operasjonalisert ? Her ligger det mange potensielle feilkilder. Vi tenker da først og fremst på valg av undersøkelsesenheter (målgruppe), undersøkelsesvariabler og undersøkelsesverdier. Klassiske feil er å overse en mellomleggende variabel, byttet om avhengige og uavhengige variabler og velge upålitelige indikatorer for flerdimensjonale variabler.

3. Måleinstrumentet

Hvor godt er måleinstrumentet som er valgt ? Måler det vi ønsker å måle ? Hvilke spørsmål blir stilt og hvordan blir de stilt ? Hvilken måleskala er valgt ? Her ligger det mange, mange, mulige feilkilder, og de færreste klarer å styre unna alle. Stiller man vage, ledende eller tvedtydige spørsmål blir svarene deretter, men å stille spørsmål som ikke er verdiladet (hverken positivt eller negativt ladet) er ikke lett. Det er derfor alltid en viss vare for feil ved måleinstrumentet.

Hva menes egentlig med at det er feil ved måleinstrumentet ? Et klassisk tegn feil ved måleinstrumentet, er når respondenten svarer noe annet til en annen forsker, kort tid etter at vi har spurt vedkommende om akkurat det sammet.

For å unngå slike feil er det en forutsetning at vi stiller klare og tydige spørsmål til respondenten, og gir respondenten svaralternativer (måleskalaen) som gir rom for en "origo" løsning. For å unngå målefeil er det også en forutsetning at vi har med svaralternativet "vet ikke" i spørreskjemaet. Ikke alle metoder egner seg til f.eks. problemstillinger som omhandler moral, etikk eller tabuområder. Ved slike problemstillinger vil valg av metode for datainnhenting og spørreteknikk være viktig for at måleinstrumentet skal klare å måle et riktig resultat.

4. Utvalgs- og registerfeil

Skjevheter ved utvalget kan lett oppstå, og oppstår når personer ved bestemte kjennemerker og bestemt atferd ikke blir representert i utvalget i samme grad som de forekommer i universet. Dette kan skje enten ved trekkingen av selve utvalget, eller ved at uttrukne personer i bestemte grupper har særlig høyt frafall. Kvalitet er derfor vel så viktig som kvantitet når vi planlegger en undersøkelse. Det er imidlertid ikke lett å gi generelle råd for å unngå utvalgsskjevheter, da de ulike metodene har forskjellige "faremomenter" og "fallgruver".

Siden de fleste utvalg blir trukket fra en adresseliste om forskeren har leid av noen som har konsesjon fra Datatilsynet, vil denne adresselisten kritisk. Omfatter ikke listen hele populasjonen vi ønsker å trekke fra, vil vi aldri kunne trekke et 100% korrekt utvalg. Deretter vil valg av metode for trekning av utvalget ha størst betydning.

Ett av de vanligste utvalgsskjevhetene som kan oppstå ved f.eks telefonintervju er at det er visse familiemedlemmer som alltid tar telefonen, mens andre aldri gjør det. Dermed får man et ikke- representativt utvalg fordi enkelte enheter blir overrepresentert. Dette problemet kan man unngå ved å alltid spørre om å få prate med den personen i husstanden som først har fødselsdag. Det garanterer at intervjuobjektet blir tilfeldig valgt.

Benytter man telefonintervju som intervjumetode og skal trekke utvalget med en enkel, tilfeldig utvelging kan man f.eks i siste trinn trekke ut Intervjuobjektene innen hvert av strataene e.l fra telefonkatalogen. Imidlertid er det viktig at disse intervjuobjektene blir tilfeldig trukket, og at intervjuerne ikke har noen innflytelse på hvem som spørres.

Trekningen av utvalget kan f.eks skje etter disse kriterier:

Ved personlig intervjuer benytter man seg av "gåregler" o.l for at utvalget skal bli tilfeldig, og for at intervjuerne ikke skal ha noen innflytelse på valget.

5. Frafall

Det kan oppstå utvalgsskjevheter i en undersøkelse fordi man får et stort frafall av uttrukne respondenter. Dette frafallet kan skyldes mange faktorer. F.eks. ikke hjemme, passe ikke, hadde besøk, skulle legge barnet osv. Dette kan gjøre at enkelte elementer i utvalget systematisk blir under- eller overrepresentert. Spesielt når man gjennomfører postale utsendelser er frafallsproblemet stort. Man registrerer og analyserer jo bare de skjemaene som returneres i utfylt stand. Men hva slags mennesker er det som returnerer skjemaene ? Jo, de som er mest interessert i det emnet undersøkelsen tar opp. Svaksynte, folk med dårlig tid, "late" personer o.l. unnlater svært ofte å svare på slike utsendelser.

Statistikere har funnet ut at frafallsskjevhetene kan være nokså systematisk: Folk med høy inntekt og folk med lav inntekt har mindre tendens til å svare enn folk med midlere inntekt. Årsaken er trolig at de som tjener mye har det for travelt til å svare, mens de som tjener lite ikke interesserer seg særlig for meningsmålinger (Wenstøp -94).

I tillegg glemmer ofte folk å sende inn skjemaet de har fylt ut. Er spørreskjemaet omfattende, uoversiktlig eller vanskelig å forstå, er det en kjensgjerning at mange vegrer seg mot å begynne å fylle den ut. Det er f.eks. et fåtall mennesker som "frivillig" begynner å fylle ut et spørreskjema som minner dem om selvangivelsen. For å motvirke disse alvorlige problemene ved postale utsendelser som kan skape store utvalgsskjevheter bør følge de råd og tips som er gitt tidligere i boken.

Svarprosenten er uttrykk for hvor vellykket datainnsamlingsprosedyren har vært. Svarprosenten er antall personer som er intervjuet dividert med antall personer i utvalget, og bør være så høy som mulig. er uttrykk for hvor vellykket datainnsamlingsprosedyren har vært. Svarprosenten er antall personer som er intervjuet dividert med antall personer i utvalget, og bør være så høy som mulig.

Eksempel:
La oss anta at man har sendt ut 1000 spørreskjemaer, og at 750 av respondentene fyller ut og returnerer skjemaene. Svarprosenten blir da:
La oss anta at man har sendt ut 1000 spørreskjemaer, og at 750 av respondentene fyller ut og returnerer skjemaene. Svarprosenten blir da:

Virkningen av ikke-svar er avhengig av hvor mange det er og om de avviker systematisk fra utvalget. Hvis svarprosenten blir lav, er det ikke lenger noe sannsynlighetsutvalg, men et utvalg ved selvseleksjon, og dermed er en avskåret fra å beregne feilmarginer ved generalisering av resultatene (Fowler - 88). Det er ikke noen standard for hvor høy svarprosenten minst bør være. Noen nevner 75% (Fowler - 88), andre 60% (Galtung - 67). Det som imidlertid er sikkert, er at jo lavere svarprosenten blir, jo større blir også sjansene for å få utvalgsskjevheter gjennom frafall (Wenstøp-94).

For å minimalisere frafallet er tidspunktet man velger å gjennomføre intervjuet viktig. Man bør f.eks ikke gjennomføre undersøkelser av forbrukervaremarkedet på dagtid, da folk flest er på jobb eller skole. Gjennomfører man intervjuene i dette tidsrommet vil arbeidsledige, hjemmeværende og eldre bli overrepresentert i utvalget.

I tillegg er det en kjensgjerning at enkelte grupper av befolkningen er vanskelig å få kontakt med. Meningsmålere har lagd en liste over de menneskene som erfaringsmessig er vanskelig å få tak i:

• Gamle og sjuke på institusjoner

• Ungdom og soldater

• Sjøfolk

• Skiftarbeidere

• Forretningsfolk

• Narkomane, prostituerte, homoseksuelle osv.

Skal man undersøke blant disse, må spesielle forholdsregler tas i bruk. Et eksempel er at eldre mennesker gjerne krever tillit. Det har hjulpet at markedsanalytikeren har skrevet til dem på forhånd, og lagt ved et bilde av intervjueren som skal komme. "Det minsker nektingen", som markedsanalytikerne kaller det selv.

For å minimere frafallet bør man benytte følgende fremgangsmåte når man skal kontakte intervjuobjektet:

1. Oppgi og dokumenter din identitet. Fortell hvem du er og hvor du kommer fra, send evt. ut et introduksjonsbrev på forhånd. Mange vegrer seg for å slippe hvem som helst inn til seg.

2. Si innledningsvis noe om formålet med prosjektet

3. Si noe om hvorfor og hvordan vedkommende er plukket ut.

4. Opplys respondenten om hans eller hennes rett til å nekte (informert samtykke).

5. Oppgi hvilken beskyttelse respondenten har mot spredning av opplysningene til uvedkommende - sikring av anonymiteten.

6. Si noe om hvordan dataene skal brukes

7. Gi opplysninger om hva respondenten får tilbake, lov f.eks. å sende rapporten, evt. et sammendrag, alternativt at respondenten blir invitert til et møte hvor rapporten blir presentert.

At en person er vanskelig å få tak i for et intervju. betyr ikke at han er vanskelig å nå gjennom markedsføring. Markedsførerens problem er at markedsanalytikeren ikke klarer å gi en presis nok beskrivelse av målgruppen. Markedsføringen blir av den grunn ikke presis nok. Og penger kastes bort.

6. Innsamlings- og bearbeidingsfeil.

Målingsfeil kan oppstå fordi respondenten misforstår spørsmålet, husker feil, svarer feil osv. Målingsfeil kan også oppstå ved at intervjueren krysser av feil på spørreskjemaet eller fordi vedkommende har manglende kunnskaper om emnet. Mange har heller ikke noen absolutt holdning og interesse for enkelte ting og emner. Legg derfor mye arbeidet ned i utformingen av spørreskjemaene og gjennomføringen pretester.

Bearbeidingsfeil kan lett oppstå når man skal overføre opplysningene til EDB. Prøv derfor med maskinelle kontroller å avslør og rett opp slike feil. Imidlertid er det på det rene at man ikke kan oppdage alle feil av denne typen.

7. Juks/"Stikkprøvekontroll".

I en intervjuundersøkelse er man aldri garantert at intervjuene faktisk er blitt gjennomført. For å unngå såkalte "skrivebordinterjvuer" bør man ta stikkprøver. Ved å ringe opp enkelte personer som via spørreskjemaet har oppgitt å være intervjuet, kan man kontrollere om intervjuet er gjennomført. Denne individkontrollen bør man gjøre for å sikre kvaliteten på resultatene.

8.  Personlighet og påvirkning ( Responsfeil )

Intervjuerens personlighet og arbeidsmåte vil kunne påvirke respondensens svar i stor grad. Det er derfor avgjørende viktig at intervjueren klarer å skape ett tillitsforhold til dem vedkommende skal intervjue, og at intervjueren fremstår så nøytral som mulig. Er intervjueren partisk får man også lett partiske svar.

Men selv om det ikke er noe å utsette på intervjuerens personlighet og arbeidsmåte, vil man for det ofte få feilaktige svar. Ofte svarer respondenten for å gjøre et godt inntrykk eller for ikke å virke uvitende. I stede for å fortelle sannheten, svarer de det han eller hun tror intervjueren vil høre, eller det som er sosialt akseptert. Spesielt vegrer respondentene seg mot å fortelle sannheten hvis spørsmålet er av mer følsom karakter. Tenåringsgutter synes ofte det er tøft å drikke øl og vil gjerne fremstå som seksuelt erfarne, så det er fristende å overdrive litt.

Det mest ekstreme eksemplet på at folk ofte svarer det som høres mest akseptabelt ut, er en undersøkelse som ble gjennomført rett etter mordet på president John. F. Kennedy. Mordet medførte at han nærmest fikk en heltestatus, og det ble i dette tidsrommet nærmest umulig å finne noen som sa de hadde stemt på Ricard Nixon i 1960 da han vant knepent over Kennedy (Wenstøp -94).

9. Utvalgsvarians.

Den usikkerheten man får i resultatene fordi en bygger på opplysninger om en del av befolkningen, kalles ofte utvalgsvarians.