Vad säger du till roboten?

Webben är full av robotar. Eller botar som man kan kalla dem. Eller crawlers. Eller spindlar. Fortsättningsvis i denna texten kallar jag dem robotar.

Dessa robotar hoppar från sajt till sajt och indexerar innehållet på dessa. Google har en sådan robot. Den heter Googlebot och den vill man väldigt gärna ha besök av om man vill synas i Googles sökresultat. Om inte Googlebot kan eller får komma på besök så indexerar inte Google något. Om inte Google kan eller får indexera något så har de inte mycket att visa upp i sökresultatet med resultatet att de oftast inte visa någonting heller. Inte värst högt upp, iallafall.

Hur dessa robotar i allmänhet och Googlebot i synnerhet får komma och gå på din sajt kan du bestämma lite över. Som hemsidaägare kan du ge dem instruktioner. ”Titta här, här och här men titta inte här eller här” är saker du enkelt kan berätta för dem.

Dessa instruktioner ger du till dem i en robots.txt (läs mer om robots.txt i vår SEO-skola).

Den senaste tiden har det påfallande många gånger upptäckts att sajter vi ska börja jobba med sitter och trycker på en felkonfigurerad robots.txt. Bara från den senaste månaden kan jag minnas fyra större hemsidor som landat på vårt bord med en robots.txt-fil som uttryckligen berättar för Google att ”Här får du inte vara, schas, stick iväg!

Det är ett väldigt onödigt sätt att förlora sina sökmotorplaceringar på. Onödigt som i att det är otroligt enkelt att få det åtgärdat. Det handlar oftast bara om någon eller några rader text i en textfil.

Googlebot
Vad säger din hemsida till robotarna?

Gå till din hemsida, t ex www.example.com. Efter domänadressen, lägg till /robots.txt så att du får www.example.com/robots.txt. Där hittar du vad du säger till den besökande roboten. Förhoppningsvis hittar du ingen rad som ser ut så här:

Disallow: /

Gör du det betyder det att du, beroende på vilka robotar som specifikt tilltalas, riskerar att kanske ofrivilligt ha stängt Google med flera ute. Från hela sajten. Och det vore ju inte bra. Inte bra alls. Men misströsta inte i så fall – slå oss en signal istället. Vi hjälper dig gärna.

En annan sak som ofta kan hända är att du inte hittar någon robots.txt-fil alls. Det är inte heller bra. Google anser nämligen att det är bättre att ha en tom robots.txt-fil än ingen alls. Har man ingen alls så triggas felsvar (404 Object not found) på webbservern och har man riktig otur med hur saker är konfigurerade och inställda så kan det bli väldigt fel där.

Men det bästa är ju så klart att ha en robots.txt-fil. Som innehåller instruktioner. Som med öppna armar säger ”Välkommen!” till roboten som kommer på besök. Inte minst om den är från Google.