Hva er robots.txt og hvorfor er denne filen viktig?
Det finnes to metoder for å fortelle robotene til søkemotorene hva de skal indeksere.
Den ene metoden er å lage en "robots.txt" fil som legges på root-katalogen til nettstedet. Så snart roboten kommer til nettstedet vil den spørre etter filen. Eksisterer denne filen vil roboten følge de instruksene som er angitt her. Filen skal ha et spesielt format, bestående av records. Hver record skal bestå av to felt; en User-agent linje og en eller flere Disallow: linjer.
Lag filen i et program som lager en ren tekst fil. Ikke bruk en HTML editor.
User-agent: googlebot Du kan også bruke "wildcard". F.eks. "*" for å angi alle robotene:
User-agent: *
Disallow: Den andre delen av record settet inneholder en Disallow: linje som spesifiserer hvilke filer og/eller kataloger som roboten ikke skal indeksere. F.eks., forteller denne instruksen at roboten ikke skal indeksere email.htm:
Disallow: email.htm
Du kan også spesifisere kataloger:
Disallow: /cgi-bin/
Denne linjen gjør at innholdet i katalogen cgi-bin ikke blir indeksert.
Examples:
Denne angivelsen tillater alle roboter å besøke alle filer:
User-agent: *Disallow:
Denne holder alle robotene borte:
User-agent: *Disallow: /
Denne holder robotene borte fra katalogene cgi-bin og images:
Denne gjør at googlebot ikke får ta i filen cheese.htm:
User-agent: googlebotDisallow: cheese.htm
Besøk http://www.robotstxt.org/wc/faq.html for å lære nærmere hvordan du skriver denne filen for å instruere robotene til å besøke dine sider. Du kan selv teste om denne filen er skrevet korrekt ved å benytte robots.txt analysis tool som er tilgjengelig i Google Webmaster Tools.
Den andre metoden er å legge inn "meta-tags" til roboten, såkalte "spider tagg". Dette er et filter som forteller søkeroboten om websiden skal indekseres og eventuelt hvordan det skal gjøres. Denne metataggen er en fleksibel mulighet for de som ikke kan kontrollere robots.txt filen på webområdet. Den er spesielt nyttig viss du ikke ønsker siden indeksert etter standard metoden ALL (se under) Robots metatagger har følgende alternativ:
- utelater du Robots taggen gjelder standarden ALL
ALL Nettsiden indekseres og søkeroboten følger linker til andre nettsider. NONE ingenting registreres av søkeroboten INDEX siden indekseres på søketjenesten. FOLLOW linker på websiden din følges og indekseres. NOINDEX siden skal ikke indekseres NOFOLLOW linker på websiden skal ikke følges/indekseres.
Du kan kombinere Robots på følgende vis:
INDEX, NOFOLLOW = siden indekseres men linker skal ikke følges/indekseres NOINDEX, FOLLOW = websiden skal ikke indekseres men linker følges/indekseres.
Article Series
This article is part 8 of a 26 part series. Other articles in this series are shown below:
Ansvarlig redaktør og daglig leder for OnNet AS. Utdannet Diplom økonom og -markedsfører fra NMH/BI, med mellomfag i markedskommunikasjon.