Selv om du har kvalitetssikret alle ledd i analyseprosessen, vil resultatene du har kommet frem til ikke være feilfrie av ulike årsaker. De mest grunnleggende feilkildene er:

paradigme
Begrepet paradigme ble lansert av Thomas S. Kuhn (1962) i « The Structures of Scientific revolution», og blir av Kalleberg (1982) definert slik:

« En vitenskaps grunnleggende oppfattelse av hva som skal studeres, hvilke spørsmål som skal stilles, hvordan de skal stilles og hvilke regler som skal overholdes ved tolkningen av de innhentede svarene»

Paradigmet angir med andre ord vår holdning til “sannheten” og vårt syn på hvordan verden er satt sammen og fungerer. Eller sagt på en annen måte: Alt som vi tar for gitt, og som derfor ikke undersøkes i vår analyse. Paradigmet vi lever i, vil derfor alltid legge bevisste og ubevisste blokkeringer for hvilken virkelighet vi identifiserer og påvirke de konklusjoner som fremkommer.

De grunnleggende feilkilder og oppfatninger som ikke blir satt på prøve fordi de inngår i fagets paradigme, vil ligge i en av følgende tre sett av bakgrunnsantagelser:

1. forestillinger om menneskets natur
2. forestillinger om samfunnets natur
3. forestillinger om relasjoner mellom mennesket og samfunnet

Perspektiv
Mens paradigmet vi tror på som oftest representerer en ubevisst blokkering, er ditt valg av perspektiv et bevisst valg. Perspektivet (“Brillesettet») du velger å legge til grunn vil uungårlig måtte legge begrensinger på hvilke deler av “virkeligheten” som blir oppdaget og belyst. Viktige forhold kan derfor ha blitt oversett i din analyse.

Teorier
I likhet med paradigmer og perspektiver vil teoriene du har kunnskap om virke begrensede på hva du legger merke til, og hvordan du oppfatter virkelighet.

Forskningskvalitet
Med forskningskvalitet menes i hvilken grad vi kan stole på den informasjonen vi har hentet inn og brukt i analysen.

 

Figur - Forskningskvalitet

Modellen kan forklares slik:

Ulike perspektiv, danner ulike diagnoser av problemstillingen og leder til forskjellige operasjonaliseringer. Dvs. valg av forskningsdesign, innsamlingsmetode, måleinstrumenter, undersøkelsesenheter, undersøkelsesvariabler, utvalgsstørrelse, utvalgsmetode og dataanalyse, må validiteten og reliabiliteten til analysedataene alltid vurderes.

Med validitet mener vi gyldighet eller relevans, og knytter seg til hvorvidt sekundær- dataene virkelig måler det vi ønsker å måle.  Mangler dataene validitet, står vi i fare for å trekke feilaktige slutninger.

Med reliabilitet mener vi pålitelig, og er knyttet til hvorvidt undersøkelsene representerer den virkelige situasjonen. Høy rentabilitet betyr at uavhengige målinger skal gi tilnærmet identiske resultater, noe som igjen betyr at alle ledd i måleprosessen må være fri for unøyaktigheter.

Hvilke feilkilder som kan ligge i datagrunnlaget, vil være avhengig av om vi snakker om primær eller sekundær data. Dvs. data som vi har samlet inn selv eller som andre har samlet inn for oss.

 

Figur - Former for sekundærdata

 Tar vi for oss sekundærdata, dvs. data som andre har samlet inn tidligere til andre formål enn din analyse, vil feilkildene variere etter om vi snakker om prosess-, bokholderi- eller forskningsdata.

Potensielle feilkilder ved forskningsdata

Med forskningsdata menes data som er samlet inn ved hjelp av kvantitative og/eller kvalitative datainnsamlings- og analysemetoder. Siden de kvalitative - og kvantitative metodene er grunnleggende forskjellige, vil også feilkildene være forskjellige.

a) Potensielle feilkilder ved kvantitative undersøkelser
Feil ved primær- og sekundærdata fra kvantitative undersøkelser kan oppstå i alle ledd av forskningsprosessen som har ledet frem til dataene og analysens resultater.

Modellen under viser hvor feil og unøyaktigheter ved resultatene fra kvantitative undersøkelse kan oppstå.

 

Figur - Potensielle feilkilder ved kvantitative metoder

Potensielle feilkilder ved kvalitative undersøkelser/metoder.

Mens de vanligste feilkildene ved kvantitative undersøkelser ligger i valg av problemstilling, måleinstrument og behandlingen av instrumentet, ligger feilkilden ved kvalitative undersøkelsene først og fremst i valg av problemstilling og hos selve intervjueren.

De fleste kvalitative undersøkelser bygger på forskjellige studier av ulike kommunikasjonsprosesser mellom en eller flere undersøkelsesenheter. Feilkildene ved disse dataene vil derfor kunne ligge i hvilket som helst ledd i kommunikasjonsprosessen i modellen under.

 

Figur - Potensielle feilkilder ved kvalitative metoder

Potensielle feilkilder ved prosessdata fra massemedia.

Prosessdata fra massemedia inneholder nesten alltid feil og unøyaktigheter. Dette fordi massemedia har ofte en tendens til å punktbelyse problemet de tar opp, istedenfor å gå i dybden og strukturbelyse fremstillingen. Det gjelder derfor å være klar over at det som fremstår som fakta i media ikke er noe annet enn fragmenterte og bearbeidede biter av virkeligheten. Det hører til sjeldenhetene at media kommer med en analyse av de samfunnsmessige konsekvensene av det de tar opp, basert på et dybdeanalytiske perspektiv. Vi kan derfor ikke bruke denne type informasjon for å få den fulle innsikt og forståelse av de prosesser som ligger bak hendelsen eller problemet vi skal studere. Årsaken til dette ligger i at media er opptatt av å selge produktet sitt, ikke av å komme med objektive fremstillinger. For å tilfredstille sine målgrupper må informasjonen tiltrettelegges og fordreides, slik at den bedre passer med publikums (målgruppens) forventningsbilde. Å tillegge denne form for informasjon kan derfor fort bære galt av sted, da informasjonen som presenteres er løsrevne biter av en større sammenheng som er spissformulert, dramatisert og personifisert.

Siden journalistene har korte tidsfrister kan de heller ikke alltid sjekke kildene sine og de har sjelden tid til å sette seg grundig inn i saken før den kommer på trykk. Dette gir lett en overflatisk fremstilling av saken, med de farer for skjevheter, feil og unøyaktigheter som dette medfører.

Foruten overnevnte forhold vil innholdet i massemedia bli påvirket og styrt av:

a) Partitilknytning b) Redaktører og journalister c) Eiere

d) Leserne e) Annonsørene

f) Myndighetene   g) Nyhetsbyråene

Det store spekter av potensielle feilkilder som finnes her, kan anskueliggjøres gjennom å videreutvikle “byttemodellen” til Svennik Høyer - “Maktutredningen”.

 

Figur - Potensielle feilkilder ved sekundærdata fra media

Modellen sier at massemedia befinner seg i et marked

" href="javascript:void(0)">marked bestående av tre hovedaktører; nyhetsprodusenter, nyhetsformidlere og nyhetskonsumenter, og at hver av disse tre hovedaktørene vil representere et potensielt feilkildeområde. Modellen forteller videre at det foregår en kontinuerlig bytteprosess mellom disse tre aktørene:

Bytteforhold nr. 1 - Det foregår et kontinuerlig bytteforhold mellom media (formidleren) og informasjonsprodusenten (de som har noe å fortelle). Bytteforholdet kommer i stand fordi begge parter har noe den andre parten trenger. Media trenger tilgang på ny informasjon, mens produsenten har et behov for å på publisert informasjonen sin.

Bytteforhold nr. 2 - Likeledes vil det foregå et bytteforhold mellom media (formidleren) og publikum (konsumenten). Bytte kommer i stand fordi publikum har behov for informasjon, mens media har behov for penger og/eller oppslutning (slik at de kan sikre seg størst mulig annonseinntekter).

I begge bytteprosessen vil informasjonen gå i gjennom prosesser som gjør at det endelige resultatet ofte fremstår som en vesentlig fordreining av den empiriske virkelighet. Hver at de tre hovedaktørene i bytteprosessene  representere et felt med potensielle feilkilder som kan påvirke informasjonen som du sitter med.

Feilkildefelt nr. 1 - Informasjonsprodusenten)
Kampen om plassen i media er knallhard. Ingen har anledning til å presentere alt som skjer i verden. Ikke alle forskningsresultater kan f.eks. offentliggjøres. Til det skjer det for mye i verden, og det meste blir for nisjepreget. Media er derfor svært selektive i sine valg. For å nå frem til journalistene må informasjonsprodusenten derfor i stor grad tilrettelegge informasjonen slik at den passer med medias forventningsskjema. Noe som betyr at informasjonen må punktbelyses og forenkles. Informasjonen media får presentert av informasjonsprodusenten vil allerede her være tatt ut av sin sammenheng. Dessuten er det ikke sikkert at informasjonen informatøren bygger sine uttalelser på er riktige.

Feilkildefelt nr. 2 - medium (Informasjonsformidler)
Det er ikke sikkert journalisten tolker informasjonen fra informatøren riktig. Det er ikke akkurat noen nyhet at folk påstår at de har blitt feilsitert. Journalistene har “deadline” som de skal overholde. Det gjør at de har dårlig tid. De har ofte ikke tid til å sjekke kilden, og informasjonen får en overflatisk behandling fordi journalisten ikke har tid eller kunnskap til å gå i dybden i informasjonen. Og i det øyeblikket journalisten setter seg ned for å skrive artikkelen, vil den bli tolket og skrevet i lys av journalistens og mediets verdisyn, normer, holdninger, preferanser, politiske ståsted o.l. Journalistene bestemmer hva som skal skrives og hvordan det skal skrives (vinklingen), dette er i seg selv to potensielle feilkilder. Etter at artikkelen er ferdig skrevet av journalisten, er det ikke sikkert at mediet har plass til å trykke hele artikkelen. Løsningen blir da som regel at redaktøren eller “desken” går inn og redigerer artikkelen ytterligere slik at den passer til den tilmålte plassen avisen eller tidsskriften kan avse i den utgivelsen til hendelsen/informatørens informasjon. I hele prosessen blir informasjonen tolket og forenklet, med de farer for feil dette innebærer.

Feilkildefelt nr. 3 - Publikum (Informasjonskonsumenten)
For at massemediene skal overleve må informasjonen de formidler interessere publikum, ellers selger ikke mediet og de går konkurs. Informasjonen må derfor tilpasses publikums mentale forventningsbilde. M.a.o. deres forventninger, behov, interesser, holdninger, verdier, normer og preferanser. For å trenge gjennom publikums perseptuelle forsvar må informasjonen ha preg av sensasjon, katastrofe med ett eller flere offer som publikum kan identifisere seg med. Dette gjør at den opprinnelige informasjonen blir ytterligere spissformulert gjennom punktbelysning, og den tilføres ytterligere feilkilder. Dessuten er det ikke sikkert at publikum eller du for den sagt skyld oppfatter og tolker det journalisten prøver å si på riktig måte, noe som i seg selv er  en alvorlig feilkilde som det er vanskelig å avdekke.