Crawl rate limit

Crawl rate limit är taket för hur hårt Googlebot får belasta en server: hur många anrop den gör samtidigt och hur lång paus den håller mellan dem. Tänk på en restaurang som släpper in gäster i en takt köket klarar. Det här är den takten, satt av Google så att hämtningen aldrig sänker den riktiga sajten för de riktiga besökarna.

Begreppet hänger ihop med hur en sökmotor fungerar tekniskt. Crawling, alltså själva hämtningen av URL:er, sköts av en bot som måste hålla sig inom en gräns. Gränsen sätts automatiskt och syns aldrig som ett exakt tal, men den märks när servern blir trög.

Vad crawl rate limit faktiskt är

Begreppet rymmer två saker på en gång:

• Antalet parallella anslutningar Googlebot öppnar mot sajten samtidigt.
• Hur lång tid boten väntar mellan hämtningarna.

Tillsammans bildar de ett tak för belastningen. Gränsen finns av ett enkelt skäl: Google vill hämta URL:erna utan att knäcka servern. Snabba svar låter boten arbeta hårdare. Dröjande svar eller fel drar ner takten.

Signaler som styr takten

Google mäter löpande hur servern mår och justerar därefter. Det går att koka ner till fyra signaler:

1. Servern svarar snabbt och stabilt, vilket låter Google höja taket.
2. Svarstiden börjar stiga, vilket får boten att hålla igen.
3. Anropen ger serverfel som 5xx, vilket sänker takten snabbt.
4. Sajten är stabil över tid, vilket bygger upp ett högre tak igen.

Det fungerar som ett rullande tidsfönster, en sliding window: Google tittar på de senaste svaren och anpassar takten efter dem, inte efter ett enda ögonblick. Närmare bestämt en fixed window som glider framåt och räknar requests mot ett tak. En enkel counter per fönster avgör om ett nytt anrop får skickas eller om boten måste vänta. Liknande mönster känns igen i hur en api skyddas mot överbelastning, där en window och en counter används för att begränsa flödet. Tekniken kallas ibland rate limiting och bygger på att check if-logiken körs innan varje request släpps fram.

Roller för servern och TTFB

TTFB, time to first byte, är den enskilt viktigaste tekniska signalen. Det är tiden från att en request skickas tills första byten kommer tillbaka. Låg TTFB säger till Google att servern har gott om luft, och samma arbete med sidhastighet som ger snabbare sidor för besökare ger också ett högre tak. Hög TTFB tolkas som att den kämpar.

Vanliga orsaker till hög TTFB:

• Underdimensionerad delad webbhotellsmiljö med många grannsajter.
• Tung backend som bygger varje sida på nytt utan cache.
• Databasanrop som inte är optimerade.
• Saknad eller felinställd cachning i ett CMS som WordPress.

Snabb felsökning

• Mät TTFB i Search Console och i ett externt verktyg som Screaming Frog.
• Slå på cache och mät om igen.
• Jämför TTFB för olika sidtyper för att hitta de tyngsta mallarna.

En långsam server kostar dubbelt: först i sämre upplevelse för besökarna, sedan i ett lägre tak som gör att nya sidor hittas senare.

Crawl rate limit kontra Crawl Demand

Det här är den vanligaste förvirringen kring begreppet. Crawl rate limit är ena halvan, Crawl Demand den andra, och The Crawl som faktiskt sker, ofta kallad crawl budget, är resultatet av båda.

Crawl Demand är hur mycket Google vill hämta från sajten. Den styrs av:

• Hur populära URL:erna är.
• Hur ofta innehållet ändras.
• Hur färska och relaterade sidorna är sinsemellan.

En nyhetssajt som uppdateras varje timme har hög efterfrågan. En statisk sida som inte rörts på två år har låg. Hur ofta du publicerar nytt hänger ihop med en genomtänkt innehållsstrategi, som i sin tur höjer efterfrågan på de sidor du faktiskt vill ha indexerade. Det som crawlas blir alltid det lägsta av taket och efterfrågan:

• Högt tak, låg efterfrågan: snabb server men sällan ändrat innehåll, så Google crawlar ändå sparsamt.
• Lågt tak, hög efterfrågan: hett innehåll men trög server, så hämtningen bromsas trots intresset.

När taket faktiskt blir en flaskhals

För de flesta sajter är svaret nästan aldrig. Några hundra sidor hinner Google igenom med god marginal. Det finns ändå lägen där gränsen biter.

Tecken på att taket bromsar:

• Nya sidor tar onormalt lång tid att dyka upp i sökresultaten.
• Crawlningsstatistiken visar stigande svarstid medan requests planar ut.
• Serverloggarna visar många svar med statuskoder i 5xx-serien.
• Stora delar av sajten crawlas sällan trots nytt innehåll.

Sajttyper där det oftast spelar roll:

• Stora e-handelssajter med tiotusentals produkt-URL:er och filtrerade varianter.
• Nyhets- och mediasajter med hög publiceringstakt.
• Sajter med mycket JavaScript-renderat innehåll som är dyrt att hämta.
• Internationella sajter med många språkversioner av samma URL.

Så minskar du onödig crawling

Ofta är problemet inte ett för lågt tak, utan att Googlebot lägger budgeten på fel URL:er. Lösningen är att städa bort skräp så att de viktiga sidorna får utrymmet, något som ofta börjar i grunderna för SEO på WordPress när sajten ligger där.

Verktyg och signaler att hålla koll på

Det går att se takten i praktiken, och flera källor är gratis.

I Google Search Console:

• Rapporten Crawlningsstatistik under Inställningar visar requests per dag.
• Genomsnittlig svarstid avslöjar om servern bromsar boten.
• Fördelningen av svarskoder visar hur stor andel fel Google möter.
• Indexeringsrapporten visar URL:er som upptäckts men inte crawlats.

I egna loggar och verktyg:

• Serverns access-loggar, filtrerade på Googlebot, visar exakt vilka URL:er som hämtas.
• Screaming Frog kartlägger strukturen och hittar crawl-fällor.
• Övervakning av TTFB över tid visar om serverns hälsa förbättras.

Loggarna är den mest ärliga källan. Det är värt att lära sig rapporterna i Google Search Console ordentligt, för Search Console visar Googles bild medan loggarna visar varje enskild request som faktiskt nådde servern.

Vanliga missförstånd

Begreppet drar till sig myter, ofta för att det blandas ihop med ranking eller med Crawl Demand:

• Crawling är inte indexering. En URL kan hämtas om och om igen och ändå aldrig indexeras.
• Högre takt ger inte högre ranking. Takten påverkar hur snabbt ändringar upptäcks, inte hur en sida bedöms i indexet. Vill du förstå hur klick i sökresultatet skiljer sig från crawling kan du läsa om CTR, som handlar om vad besökarna gör, inte vad boten gör.
• Mer är inte alltid bättre. För en liten sajt är ett högt tak ointressant, eftersom Google ändå hinner igenom allt.
• En blockerad URL i robots.txt slutar inte alltid visas. Den slutar crawlas, men kan ändå listas i sökresultaten utan beskrivning, och hjälper man Google att förstå sidan med strukturerad data blir den lättare att tolka när den väl hämtas.