Crawl budget

Crawl budget är hur mycket Googlebot hinner och vill hämta på din sajt under en viss period. Tänk dig att Google skickar ut en robot som följer länkar och laddar ner sidor, men roboten har varken oändligt med tid eller tålamod. Hur många sidor den hämtar hos just dig beror dels på hur snabbt din server svarar, vilket hänger ihop med sidhastighet och teknisk prestanda, dels på hur intressant Google tycker att ditt innehåll är. När roboten väl hämtat en sida tar nästa steg vid, nämligen indexering, och först då kan sidan börja synas i sökresultatet.

För de flesta småföretagssajter är det här inget problem. Har du femtio sidor crawlar Google dem utan att blinka. Men driver du en webshop med tiotusentals produkter, ett nyhetsarkiv eller en sajt med massor av filtersidor, då börjar budgeten ta slut, och viktiga sidor hamnar i kö innan de hamnar i Googles index. Ligger sajten i WordPress hjälper en genomtänkt grundläggande SEO för WordPress dig att hålla strukturen ren från start.

Vad crawl budget faktiskt betyder för Googlebot

Det här är inget officiellt mått som Google publicerar en siffra på, utan ett samlingsnamn som SEOs gett åt något som styrs av två underliggande delar. Förstår du de två delarna förstår du hela idén, och resten av sidan blir enklare att följa.

Den första delen heter crawl rate, ibland kallad crawl rate limit. Den andra heter crawl demand. Så här skiljer de sig:

• Crawl rate: taket för hur många samtidiga förfrågningar Googlebot gör, och hur lång paus den lägger mellan dem, vilket hänger tätt ihop med din sidhastighet.
• Crawl demand: hur mycket Google faktiskt vill hämta, oavsett vad servern klarar av.
• Mötet mellan de två: vad servern tillåter och vad Google efterfrågar, samtidigt, innan en sida kan gå vidare till indexering.

Crawl rate handlar om serverns kapacitet

Crawl rate handlar om kapacitet och är rent tekniskt. Google sätter taket utifrån hur din server mår, något du kan påverka direkt genom arbetet med sidhastighet, och justerar det löpande:

• Svarar servern snabbt och stabilt höjs taket över tid.
• Börjar den hosta, returnera fel eller bli långsam drar Google ner farten.
• Felfrekvens i form av 5xx och timeouts pressar ner taket direkt.
• Klarar din hosting eller ditt CDN många samtidiga anrop vågar Googlebot mer.

Crawl demand handlar om värde och färskhet

Crawl demand handlar istället om värde och färskhet, och styrs i hög grad av hur du jobbar med innehåll och en tydlig innehållsstrategi. Google lägger sin tid där den tror att den gör mest nytta:

• Populära sidor med många länkar och mycket trafik hämtas oftare.
• Innehåll som ändras regelbundet besöks tätare, så en levande innehållsstrategi lönar sig.
• Nyhetssajter och snabbrörliga ämnen får hög demand.
• Tunt, dubblerat eller lågkvalitativt innehåll sänker efterfrågan och därmed chansen till snabb indexering.

Vill du förstå mekaniken bakom hur robotar hämtar sidor finns en separat förklaring av crawling i ordlistan, och den är en bra grund innan du går vidare.

Varför crawl budget spelar roll för indexering

Poängen är enkel: en sida som inte crawlas kan inte indexeras, och en sida som inte indexeras kan inte ranka. Om Googlebot aldrig hinner fram till dina nya produktsidor spelar det ingen roll hur bra de är skrivna, för sökmotorn vet helt enkelt inte att de finns. Vill du dessutom synas lokalt, till exempel genom lokal SEO i Stockholm, måste dina ortssidor först bli crawlade och indexerade.

Crawl budget är alltså inte samma sak som indexering. Crawling är första steget — Googlebot hämtar sidan. Indexering är andra steget — Google bestämmer om sidan ska sparas och få synas. En sida kan vara crawlad utan att indexeras, men aldrig indexerad utan att först ha blivit crawlad.

För en liten sajt händer flaskhalsen sällan, men det finns tydliga varningstecken på att utrymmet börjar ta slut:

• Nya sidor tar veckor på sig att dyka upp i Google, trots att de borde indexeras snabbt.
• Stora delar av sajten ligger som Upptäckt, för närvarande inte indexerad.
• Crawl Stats visar mängder av förfrågningar på oviktiga URL:er istället för dina riktiga sidor.
• Servern är ofta långsam just när Googlebot är aktiv, vilket en satsning på sidhastighet brukar lösa.

En vanlig orsak till slöseri är att Google fastnar i adresser som inte borde existera ur ett söksyfte. Sådant äter förfrågningar som hade kunnat gå till riktiga sidor:

• Filtersidor och fasetterade URL:er som dubblerar samma produkter.
• Interna sökresultat på din egen sajt.
• Kalendrar och arkiv med oändliga datum.
• Samma produkt under flera olika URL:er.
• Spårningsparametrar som skapar nya adresser för samma innehåll.

Vad som påverkar din crawl budget

Det finns en handfull faktorer som i praktiken styr hur effektivt din budget används, och de griper in i varandra. Sidhastighet och serverhälsa är den mest direkta hävstången du har, och vår guide till sidhastighetsoptimering går igenom hur du mäter och förbättrar den:

• Snabba, stabila svar får Google att höja sin crawl rate.
• Timeouts och 5xx-fel får Google att bromsa för att skydda din sajt.
• Ett pålitligt CDN hjälper servern att hålla jämnt tempo under last.

Dubbletter och tunt innehåll kostar också, eftersom varje URL Google hämtar är en förfrågan:

• Flera adresser som visar samma sak slösar budgeten på dubbletter och bromsar indexering av originalet.
• En canonical pekar ut originalet så att icke-kanoniska varianter inte räknas som egna sidor.
• Tunt och lågkvalitativt innehåll sänker din crawl demand över tid.

Intern länkstruktur och en städad sitemap styr vart Googlebot tar vägen:

• Viktiga sidor nära startsidan upptäcks och hämtas oftare.
• En XML-sitemap listar just de URL:er du vill ha indexerade.
• En logisk struktur gör att roboten sällan hamnar i återvändsgränder, och strukturerad data hjälper Google att förstå sidorna ytterligare.

Två tekniska detaljer avgör hur dyr varje hämtning blir:

• Med robots.txt kan du be Googlebot att lämna admin-sidor och interna sökresultat ifred, men blockerar du fel kan du gömma viktiga sidor av misstag och hindra deras indexering.
• Tung JavaScript måste renderas innan innehållet syns, vilket gör varje hämtning dyrare; serverar du nyckelinnehåll i HTML direkt blir den billigare.

Så optimerar du crawl budget i praktiken

Du behöver inga dyra verktyg för att komma igång, och det mesta går att göra själv med gratisresurser och lite tålamod. Här är en ordning att jobba efter:

1. Öppna rapporten Crawl Stats i Google Search Console och titta på trenden för förfrågningar och svarstider.
2. Notera vilka HTTP-statuskoder Google möter; en hög andel 404 eller 5xx är en tydlig signal.
3. Kör en crawl av din egen sajt med Screaming Frog SEO Spider och leta dubbletter, omdirigeringskedjor och trasiga länkar.
4. Ta bort, slå ihop eller noindexa tunna sidor som inte fyller något syfte i din innehållsstrategi.
5. Rätta interna länkar så att de pekar direkt på den slutgiltiga adressen istället för via omdirigeringar.
6. Putsa din XML-sitemap så att den bara innehåller kanoniska, indexerbara sidor som verkligen ska indexeras.
7. Förbättra sidhastighet och serverstabilitet så att Google vågar höja farten.

För att hålla arbetet konkret kan du beta av den här checklistan:

Skillnaden mellan en sida som hjälper dig och en som slösar är ofta enkel att se när du ställer dem bredvid varandra:

En frisk crawl handlar mindre om att be Google hämta mer, och mer om att sluta slösa det den redan ger dig.

Vanliga missförstånd om crawl budget

Ämnet drar till sig myter, delvis för att det låter mer mystiskt än det är. Här är några påståenden som är värda att rensa bort:

• Mer crawl är alltid bättre. Nej, målet är att rätt sidor hämtas, inte att totalsiffran är hög.
• Min lilla sajt måste optimera. Sällan; under några tusen URL:er räcker grundhygien gott.
• En sitemap höjer taket. Den prioriterar, men höjer inte hur mycket Google hämtar.
• Det här är samma sak som ranking. Crawling är ett första steg, indexering ett andra; ranking avgörs av helt andra faktorer.
• Att blockera i robots.txt tar bort sidor ur Google. Inte nödvändigtvis; blockerade sidor kan ändå indexeras utan innehåll.

I grunden handlar det om att hålla huset i ordning. Snabba sidor med god sidhastighet, en ren struktur och innehåll som faktiskt efterfrågas gör att Googlebot lägger sin tid där den ska. Vill du fördjupa dig härnäst är crawling en bra nästa läsning, och en genomtänkt sökordsanalys hjälper dig avgöra vilka sidor som ens är värda att lägga tid på.