Robots.txt

Robots.txt är en textfil som man kan lägga i root för sin hemsida, det vill säga i serverns grundnivå (www.example.com/robots.txt), direkt under domänen.

Robots.txt instruerar sökmotorerna

Anledningen till att man ofta vill ha en robots.txt är att indexerande spindlar på webben automatiskt letar efter en sådan och därmed ges möjligheten att instruera dem något. Vanliga saker man använder sin robots.txt-fil till är exempelvis att be en spindel att inte indexera innehållet i vissa mappar eller att berätta att man har en XML-sitemap, vad den heter och vart den ligger.

Innehåll i robots.txt

I sin robots-txt-fil skriver man olika saker för att tillåta eller förbjuda för indexering. Ett innehåll kan exempelvis se ut så här:

User-agent: *
Disallow: /cgi-bin/
Disallow: /bilder/
Disallow: /admin/

För en fullständig genomgång rekommenderar vi gärna sajten www.robotstxt.org där allt som finns att veta nämns och förklaras. Värt att veta är att det finns indexerande botar på webben som inte lyder instruktionerna man försöker ge dem i robots.txt men alla seriösa webbspindlar gör det.


Getupdated älskar sökmotoroptimering och vill att hela webben ska vara innehållsrik, levande, full med kvalitet men framför allt sökmotorvänlig. Passa gärna på att även läsa hur vi själva jobbar med sökmotoroptimering.