Konfigurera robots.txt: praktisk guide steg för steg

Konfigurera robots.txt rätt med tydliga direktiv och test i Search Console – undvik de vanliga misstagen som av misstag blockerar Google från din sajt.

Du lanserar en ny sajt, allt ser bra ut, och tre veckor senare upptäcker du att ingenting syns på Google. Felet sitter ofta i en enda rad i en liten textfil: Disallow: /. En felkonfigurerad robots.txt är ett av de vanligaste sätten att av misstag stänga ute sökrobotar från hela din sajt, och eftersom filen är osynlig för besökare märker du sällan det förrän trafiken uteblir.

Den här guiden går igenom hur du konfigurerar robots.txt på riktigt: vad direktiven betyder, var filen ska ligga, hur du testar den och vilka misstag som ställer till mest. Målet är att du ska kunna skriva, granska och ladda upp din egen fil utan att gissa. Hör robots.txt ihop med ett större tekniskt lyft kan det vara värt att läsa vår guide om SEO för WordPress parallellt.

Vad robots.txt faktiskt gör

robots.txt är en enkel textfil i roten av din webbplats som berättar för sökrobotar vilka delar de får besöka. Den bygger på en frivillig standard, Robots Exclusion Protocol, vilket betyder att seriösa crawlers som Googlebot följer den medan illasinnade robotar kan strunta i den. Filen är en instruktion till crawling, inte ett lås.

Det viktigaste att förstå är skillnaden mellan att blockera crawling och att stoppa indexering:

• Disallow ber roboten att inte hämta sidan, men URL:en kan ändå listas i Google om andra länkar till den.
• noindex håller sidan ur indexet, men kräver att sidan är crawlbar så Google hinner läsa taggen.
• Crawl-budget påverkas av vad du blockerar: tunga, oviktiga ytor som filterresultat och gamla testytor.

För en liten sajt spelar crawl-budgeten sällan roll, men för en stor e-handel på Magento eller en innehållsrik WordPress-sajt kan den ha verklig effekt.

En robots.txt är en grind, inte en bom: den vägleder de robotar som vill samarbeta, men den skyddar inte hemligt innehåll.

Var filen ska ligga och hur den hittas

Placeringen är inte förhandlingsbar. Sökrobotar letar efter filen på exakt en plats: example.com/robots.txt, alltså i domänens rot. Ligger den någon annanstans existerar den inte i robotens ögon. Några regler som styr var och hur filen läses:

• En domän har exakt en robots.txt, och den ska ligga i roten.
• Subdomäner räknas som egna sajter: blogg.example.com behöver en egen fil.
• Protokoll och port måste matcha, så https och http hanteras separat.
• Filen ska vara vanlig text i UTF-8, inte HTML eller PHP som genererar HTML.
• Lägger du filen via FTP eller din hostingleverantörs filhanterare, dubbelkolla att den hamnar i webbroten.
• Spara filnamnet med små bokstäver: robots.txt, inte Robots.txt.

När du skapar filen räcker det med en enkel texteditor. Ladda upp den till roten och kontrollera direkt i webbläsaren att example.com/robots.txt visar rätt innehåll. Den lilla kontrollen avslöjar de flesta uppladdningsmissar på en gång.

Direktiven du behöver kunna

En robots.txt byggs av några få direktiv, och du klarar dig långt med en handfull:

• User-agent anger vilken robot raderna gäller. User-agent: * betyder alla crawlers.
• Disallow anger en sökväg som inte får crawlas, till exempel en hel mapp.
• Allow gör undantag inuti ett blockerat område, vilket Googlebot förstår.
• Sitemap pekar ut din XML-sitemap så att olika sökrobotar lättare hittar dina sidor.
• Crawl-delay anger ett antal sekunder mellan anrop, men Google ignorerar det.

Asterisken (*) och dollartecknet ($) ger dig mönstermatchning. Disallow: /*? blockerar URL:er med en frågesträng, och Disallow: /*.pdf$ blockerar allt som slutar på .pdf. En tom Disallow-rad (Disallow:) betyder tvärtom att allt är tillåtet. Det är den här finkänsligheten som gör att en slarvig asterisk kan blockera långt mer än du tänkt.

Så här kan en typisk fil se ut för en WordPress-sajt som vill blockera admin men släppa in resten:

• User-agent: * öppnar ett block som gäller alla robotar.
• Disallow: /wp-admin/ stänger ute adminytan.
• Allow: /wp-admin/admin-ajax.php släpper in en fil som temat behöver.
• Sitemap: https://example.com/sitemap_index.xml pekar ut din sitemap.

Använder du Yoast SEO kan pluginet redigera robots.txt direkt från admin, vilket gör att du slipper FTP. Kontrollera bara resultatet efteråt, för det är lätt att en mall lägger till mer än du vill.

Konfigurera robots.txt steg för steg

Det här är själva hantverket. Följ stegen i ordning, så minimerar du risken att blockera fel saker.

1. Kartlägg vad som ska stängas ute: lista mappar och URL-mönster som kassan, interna sökresultat eller testytor.
2. Skriv filen i en texteditor. Börja med User-agent: * och lägg dina Disallow-rader under, en sökväg per rad.
3. Lägg till en Sitemap-rad sist med full URL till din XML-sitemap.
4. Läs igenom raderna och kontrollera att ingen rad av misstag är Disallow: /.
5. Ladda upp filen till roten via FTP, filhanteraren eller ditt CMS, och öppna example.com/robots.txt i webbläsaren.
6. Verifiera i Google Search Console att filen tolkas rätt och att inga viktiga URL:er blockeras.

Testa innan du litar på filen

Att gissa sig fram med robots.txt är dyrt, för felen syns inte direkt. Lyckligtvis finns bra verktyg, och de bör vara ett fast steg i din rutin:

• Google Search Console har en robots.txt-rapport som visar hur Googlebot läser filen.
• Screaming Frog kan crawla sajten med dina regler aktiva och visa exakt vad som stängs ute.
• Webbläsaren låter dig öppna example.com/robots.txt och se den live, vilket avslöjar fel version.
• En kollega som läser filen fångar ofta en asterisk på fel ställe.

Du vill verifiera att inga viktiga sidor blockeras och att de sidor du faktiskt vill stänga ute också är det. En blockerad sida hindrar inte bara dina texter från att rankas, den hindrar också effekten av ditt innehållsarbete enligt en genomtänkt innehållsstrategi från att nå Google. Gör testet både innan du laddar upp och en gång efteråt, eftersom det är lätt att en gammal cachad fil ligger kvar.

robots.txt och AI-robotar

Sedan AI-modeller och AI Overviews började hämta innehåll från webben har robots.txt fått en ny roll. Du kan styra om din site får användas för AI-träning genom att rikta regler mot specifika robotar:

• Google-Extended styr om Google får använda ditt innehåll för sina AI-produkter, separat från vanlig sökning.
• GPTBot är OpenAI:s crawler, som du kan stänga ute med en egen User-agent-rad.
• Common Crawl (CCBot) samlar data som många LLMs tränas på.

Det här är signaler, inte garantier. En seriös aktör som Google eller OpenAI respekterar din robots.txt, men du kan inte tekniskt tvinga någon. Vill du synas i AI-svaren snarare än stänga ute robotarna är det värt att förstå hur GEO och Generative Engine Optimization fungerar. Vill du blockera en AI-robot men släppa in vanlig sökning skriver du ett eget block, exempelvis User-agent: GPTBot följt av Disallow: /, medan ditt User-agent: *-block lämnar resten öppet.

Gör och undvik

Det mesta i robots.txt handlar om disciplin: små, tydliga regler och noggrann testning. Här är kontrasten mellan vad som brukar fungera och vad som ställer till det.

En sista fallgrop: en blockerad sida kan inte läsas, så Google ser aldrig dess noindex eller canonical. Vill du städa i indexet, släpp in roboten först och låt sidans egna taggar göra jobbet. Är roten till problemet snarare att sidorna saknar auktoritet än att de är blockerade, ligger nästa steg ofta i strukturerat länkbygge istället.

Nästa steg

När din robots.txt är på plats och testad är du redo att gå vidare till resten av din tekniska SEO: sitemap, indexering och sidhastighet hänger ihop. Vill du sedan ta reda på exakt hur Google ser din sajt är Search Console din bästa utgångspunkt. Börja smått med en korrekt fil med rätt Disallow-rader och en sitemap-länk, och bygg ut den först när du har ett konkret behov. En enkel fil som du förstår slår nästan alltid en avancerad som du inte vågar röra.