Robots
Robots.txt instruerar sökmotorerna
Varför robots.txt
Anledningen till att man ofta vill ha en robots.txt är att indexerande spindlar på webben automatiskt kikar efter en sådan och man därmed ges möjligheten att instruera dem något. Vanliga saker man använder sin robots.txt-fil till är exempelvis att be en spindel att inte indexera innehållet i vissa mappar eller att berätta att man har en XML-sitemap, vad den heter och vart den ligger.
Innehåll i robots.txt
I sin robots-txt-fil skriver man olika saker för att tillåta eller förbjuda vissa saker att indexeras. Ett innehåll kan exempelvis se ut så här:
User-agent: *
Disallow: /cgi-bin/
Disallow: /bilder/
Disallow: /rex/
För en fullständig genomgång rekommenderar vi gärna sajten www.robotstxt.org där allt som finns att veta nämns och förklaras. Värt att veta är att det finns indexerande botar på webben som inte lyder instruktionerna man försöker ge dem i robots.txt men alla seriösa webbspindlar gör det.
Getupdated älskar sökmotoroptimering och vill att hela webben ska vara innehållsrik, levande, full med kvalitet men framför allt sökmotorvänlig. Passa gärna även på att läsa hur vi själva jobbar med sökmotoroptimering.
