Normalt indekserer roboten all HTML informasjon den finner på sidene. Det vil si:

• All tekst
• ALT (alternativ) tekst for bilder)
• Linker (hrefs og images)
• Anchors
• Title
• Description og keyword META tags
• Applet og ActiveX objekt navn
• Sidens URL
• Host navn (www.onnet.no) og dets domene navn (.no).

Det eneste som ikke blir indeksert er HTML kommentarer ("comments").

Normalt vil de andre store søkemotorene indeksere alt de finner på siden, og bruke de første ordene i dokumentet som en kort beskrivelse av siden ("descriptions"). Finner søke roboten en <Title> tag i HTML dokumentet vil den indeksere dette som sidens tittel. Finner ikke roboten noen <Title> tag i dokumentet vil den indeksere resultatet "No Title".

Når det gjelder meta-tags bruker Google og flere av de andre store søkemotorene ikke dette som sidens nøkkelord. Betydningen av meta-tags har derfor de siste årene blitt betydelig redusert. For nærmere informasjon les vår artikkel om Meta-tags.