Säg att du precis publicerat en ny sida på din sajt. Den är skriven, snygg och redo. Men Google vet ännu ingenting om den. Innan sidan kan rankas för en enda sökning måste en robot hitta den, besöka den och läsa vad som står.
Crawling är processen där sökmotorernas robotar systematiskt besöker sidor på webben, läser innehållet och följer länkar vidare till nya sidor. Hos Google sköts detta av Googlebot. Den hoppar från länk till länk, samlar in det den ser och skickar vidare informationen för bedömning. Tänk på det som en flitig läsare som vandrar genom hela internet, sida för sida.
★ SNABBVERSIONEN
- Google måste hitta och läsa en sida innan den kan indexeras eller rankas, så detta är första steget.
- Robotarna följer länkar, så en sida utan länkar in kan vara osynlig för sökmotorerna.
- Du styr genomsökningen med robots.txt, interna länkar och en sitemap.
- Att hitta och läsa en sida är inte samma sak som indexering, men båda krävs för att synas.
- I Search Console ser du vad Google faktiskt har besökt och var det gått fel.
Vad crawling faktiskt är
En crawler, ibland kallad spindel eller bot, är ett program som hämtar webbsidor på samma sätt som din webbläsare gör, fast automatiskt och i enorm skala. Googlebot börjar med en lista över kända adresser, hämtar varje sida, läser HTML-koden och plockar ut alla länkar den hittar. De nya länkarna läggs till i kön och besöks i sin tur. Så fortsätter det, dygnet runt.
Under genomsökningen tittar roboten på flera saker:
- Sidans text och rubriker
- Bilder och deras alt-texter
- Länkar, både interna och externa
- Strukturerad data och metataggar
- Hur snabbt servern svarar
- Statuskoder som 200, 301 och 404
Det är värt att skilja på tre närliggande begrepp som ofta blandas ihop:
- Crawling = roboten hittar och läser sidan.
- Indexering = Google bedömer innehållet och sparar det i sin databas.
- Rankning = Google avgör i vilken ordning indexerade sidor visas för en sökning.
En sida kan vara genomsökt utan att vara indexerad. Den kan vara indexerad utan att ranka högt. Men inget av detta händer om crawling inte fungerar i första steget. Vad roboten hämtar styrs av några saker du faktiskt kan påverka:
- Vilka adresser som finns i kön sedan tidigare besök
- Vilka länkar den hittar på sidorna den läser
- Vad din robots.txt tillåter och förbjuder
- Hur din server svarar i fråga om hastighet och statuskoder
- Vilka sidor din sitemap pekar ut som viktiga
Crawler, spindel och bot – samma sak
Begreppen flyter ihop, men de syftar på samma typ av program. Här är de vanligaste namnen du stöter på:
- Crawler, det engelska standardordet
- Spindel, en äldre bild av hur den vandrar i webben
- Bot eller robot, det vardagliga namnet
- Googlebot, Googles specifika crawler
- Bingbot, Microsofts motsvarighet
Oavsett namn gör de samma grundjobb: hämta, läsa, följa länkar, gå vidare.
Varför crawling spelar roll för din synlighet
Det här är grunden för allt annat du gör inom SEO. Du kan skriva världens bästa text, men om Googlebot aldrig når sidan så finns den inte i Googles ögon. Driver du ett lokalt företag och arbetar med lokal SEO i Stockholm betyder det konkret: en tjänstesida som ligger gömd utan länkar in riskerar att aldrig dyka upp i sökresultaten, hur bra den än är.
När genomsökningen fungerar bra händer flera saker:
- Nya sidor hittas snabbt efter publicering.
- Uppdateringar och ändringar fångas upp och speglas i index.
- Borttagna sidor upptäcks så att de kan tas bort ur sökresultaten.
- Google bygger en uppdaterad bild av hela din webbplats.
Går genomsökningen däremot trögt märks det på flera sätt:
- Nya sidor dröjer veckor innan de syns i sökresultaten.
- Ändringar du gör slår inte igenom i hur Google beskriver sidan.
- Gamla, borttagna sidor ligger kvar i index längre än de borde.
- Viktiga sidor saknas helt i Search Consoles indexeringsrapport.
Google har en ungefärlig budget för hur mycket den orkar besöka på just din sajt, ibland kallad crawl-budget. För de allra flesta små sajter är det inget problem, men på stora e-handelssidor med tiotusentals produkter kan budgeten ta slut innan de viktiga sidorna besökts. Två faktorer styr budgeten:
- Crawlkapacitet handlar om hur mycket din server tål utan att bli långsam.
- Crawlbehov handlar om hur viktig och hur ofta uppdaterad Google bedömer att din sajt är.
NINJA-FAKTA
Googlebot anpassar takten efter din server. Om sidorna laddar snabbt och servern svarar utan fel vågar roboten besöka mer. Är servern långsam eller spottar ur sig felmeddelanden drar Google ner på tempot för att inte överbelasta den. Snabb sidladdning hjälper alltså inte bara besökare, det hjälper även genomsökningen.
Hur Googlebot hittar dina sidor
Robotarna upptäcker nya adresser på några olika sätt, och det är bra att känna till alla:
- Länkar från andra sidor. Den vanligaste vägen. Hittar Google en länk till din sida på en sida den redan känner till, följer den länken.
- Interna länkar. Länkar mellan dina egna sidor hjälper roboten att vandra runt i din struktur och hitta allt.
- Din sitemap. En XML-sitemap är en lista över de sidor du vill att Google ska känna till. Den skickar du in i Search Console.
- Manuell begäran. I Search Console kan du be Google att inspektera och besöka en enskild URL direkt.
Interna länkar är ofta det mest underskattade verktyget. En tumregel: ingen viktig sida bör ligga mer än ett par klick från startsidan. Ligger en sida djupt begravd utan länkar in, så kallad föräldralös sida, kan roboten ha svårt att hitta den alls. Detsamma gäller om du arbetar med lokal SEO i Umeå i en mindre stad: en välstrukturerad intern länkstruktur är lika viktig som i en storstad.
En genomtänkt intern struktur ger roboten flera fördelar:
- Den hittar nya sidor snabbare via länkar från sidor den redan känner.
- Den förstår vilka sidor du själv tycker är viktigast.
- Den slipper köra fast i återvändsgränder utan vidare länkar.
- Den fördelar länkvärde till de sidor du vill lyfta.
För att hålla strukturen ren, bygg vidare på en genomarbetad innehållsstrategi och gå då och då igenom några frågor om din egen sajt:
- Når jag varje viktig sida på två eller tre klick från startsidan?
- Har varje publicerad sida minst en intern länk in?
- Pekar mina menyer och brödsmulor på rätt sidor?
- Länkar jag mellan besläktade artiklar och tjänstesidor?
- Finns det föräldralösa sidor som ingen länkar till?
Vad Googlebot ser och vad roboten missar
Modern Googlebot kan rendera JavaScript, men det kostar mer resurser och tar längre tid. Innehåll som bara dyker upp efter klick, scroll eller komplexa skript riskerar att missas eller hanteras långsammare. Innehåll som finns direkt i HTML-koden är alltid säkrast att få genomsökt, något du kan tänka på redan när du planerar hur sajten byggs i WordPress.
En enkel regel: om du kan se texten genom att titta på sidans källkod, kan Googlebot i regel också läsa den utan krångel.
Det här brukar roboten läsa utan problem:
- Brödtext och rubriker direkt i HTML
- Länkar med vanliga href-attribut
- Bilder med beskrivande alt-text
- Strukturerad data i sidkoden
- Titlar och metabeskrivningar
Och det här riskerar att missas eller fördröjas:
- Text som bara renderas av tung JavaScript
- Innehåll bakom inloggning eller betalvägg
- Material som kräver klick eller scroll för att visas
- Länkar som bara fungerar med skript
- Sidor blockerade i robots.txt
Så styr du crawling i praktiken
Du har mer kontroll än du tror. Här är de verktyg som faktiskt spelar roll, och hur de skiljer sig åt.
Bjuder in till genomsökning
- Tydlig intern länkstruktur
- Uppdaterad XML-sitemap
- Snabb, stabil server
- Logiska, läsbara URL:er
- Länkar från andra sajter
Begränsar eller blockerar genomsökning
- robots.txt med disallow-regler
- noindex-tagg för enskilda sidor
- Långsamma serversvar
- Trasiga länkar och 404-fel
- Oändliga filter- och dubblettsidor
Den vanligaste förvirringen rör robots.txt kontra noindex. Kort sagt:
- robots.txt säger åt roboten att inte besöka en sida alls. Den styr crawling.
- noindex säger åt Google att inte visa sidan i sökresultaten. Den styr indexering, och kräver att Google faktiskt får läsa sidan för att se taggen.
Tänk igenom vad du vill uppnå innan du väljer verktyg:
- Vill du spara genomsökning på oviktiga sidor? Använd robots.txt.
- Vill du hålla en sida utanför sökresultaten? Använd noindex.
- Vill du peka ut din favoritversion av en dubblett? Använd canonical.
- Vill du flytta en sida permanent? Använd en 301-omdirigering.
VANLIG MISS
Många blockerar en sida i robots.txt för att hålla den utanför Google, och blir förvånade när den ändå dyker upp i sökresultaten. Det beror på att robots.txt bara stoppar genomsökningen, inte indexeringen. Om andra sidor länkar till adressen kan Google indexera den ändå, utan att ha läst innehållet. Vill du garanterat hålla en sida borta, använd noindex och låt Google läsa sidan så den hinner se taggen.
Vanliga problem som stör genomsökningen
Det mesta som går fel med crawling går att hitta och åtgärda. Håll utkik efter, och åtgärda direkt:
- Sidor blockerade av misstag i robots.txt: ta bort raden och testa i Search Console.
- Trasiga interna länkar som leder till 404: rätta länken eller återställ sidan.
- Långa kedjor av omdirigeringar: peka direkt på slutadressen i ett steg.
- Dubbletter utan canonical-tagg: lägg en canonical-tagg mot originalet.
- Långsam server som ger timeout: optimera hastighet och cache.
- Viktiga sidor utan en enda intern länk: lägg in dem i din struktur.
Mycket av det här hänger ihop med hur din sajt är byggd i WordPress eller annat verktyg, eftersom plattformen styr hur URL:er, taggar och sitemap genereras.
Övervaka och felsök med Search Console
Det bästa fönstret in i hur Google ser din sajt är Search Console, ett gratisverktyg från Google. Där hittar du rapporter som visar vad som faktiskt blivit genomsökt och var det strular. Kombinerar du detta med en tydlig innehållsstrategi och publicerar nytt material regelbundet, ger du Googlebot fler anledningar att komma tillbaka.
Det här är värt att titta på regelbundet:
- Indexeringsrapporten visar vilka sidor som är indexerade och vilka som uteslutits, samt orsaken.
- Crawlstatistiken visar hur ofta Googlebot besöker din sajt och hur servern svarar.
- URL-inspektionen låter dig kontrollera en enskild sida och be om ny genomsökning.
- Sitemap-rapporten visar om din inskickade sitemap lästs in korrekt.
I crawlstatistiken är det särskilt några siffror som säger något:
- Antal genomsökningsförfrågningar per dag över tid
- Genomsnittlig svarstid från din server
- Fördelningen av statuskoder som 200, 301 och 404
- Hur stor andel som är HTML mot bilder och skript
- Om antalet förfrågningar plötsligt rasar eller skjuter i höjden
En sund rutin för en mindre sajt:
Crawling-koll varje månad
Att förstå crawling ger dig en sundare bild av hur snabbt SEO-arbete syns. Du publicerar något, Google hittar det, läser det, väger in det. Det tar tid, ofta veckor, och det är helt normalt. Tekniskt hänger crawling tätt ihop med sidhastigheten och hur snabbt dina sidor laddar: en snabb sajt blir både mer genomsökt och mer uppskattad av besökarna.
Hur ofta du bör kolla beror på hur mycket din sajt förändras:
- Liten sajt med sällan ändrat innehåll: en gång i månaden.
- Aktiv blogg eller nyhetssida: varje eller varannan vecka.
- Större e-handel: löpande, gärna med larm på serverfel.
- Efter en omläggning av sajten: dagligen tills allt ser stabilt ut.
Direkt efter en större förändring, till exempel en flytt till ny domän, är det extra viktigt att hålla koll på:
- Att gamla adresser pekas om med 301 till rätt ny sida
- Att din nya sitemap är inskickad och inläst
- Att indexeringsrapporten inte fylls av nya fel
- Att antalet genomsökta sidor håller sig stabilt
- Att inga viktiga sektioner råkat blockeras i robots.txt
Andra robotar, cookies och flera språk
Google är inte ensam om att besöka webben. Bing har sin Bingbot, och en lång rad andra robotar rör sig över nätet varje dag. På Wikipedia och stora internationella sajter, som sidor från BBC i United Kingdom, syns trafik från robotar världen över, från USA, Mexico och Texas till Budapest, Bangladesh, Hong Kong, Belgium och Cambodia. Det goda är att det du gör för Google i regel hjälper alla andra robotar också:
- En ren intern struktur gör att alla robotar hittar runt.
- Snabba serversvar gör att botar vågar besöka oftare.
- En korrekt robots.txt styr precis det du vill styra.
- En uppdaterad sitemap pekar ut dina viktiga sidor.
Sajter med flera språkversioner möter samma sak. En artikel som finns på Dansk, Deutsch, Français, Italiano, Nederlands, Norsk och Polski, plus Traditional Chinese och Українська, ska kunna crawlas korrekt på varje språk, liksom versioner på Korean, Kannada, Malayalam, Marathi, Galician och Filipino. Mönstret är detsamma överallt, vare sig det handlar om ett musikbibliotek med översatta artiklar om ett Album Meteora eller en regionsida med val som Albania, Algeria, Andorra, Angola, Antigua, Belarus, Belize, Burundi, Cabo Verde, Gabon, Georgia, Germany, Haiti och Macedonian: en robot hittar en länk, hämtar sidan, läser den och går vidare.
Många sajter använder cookies för att räkna besökare och stötta ads, men robotar som Googlebot godtar i regel inte cookies och klickar inte i någon samtyckesruta. Lägger du allt viktigt innehåll bakom en cookie-vägg kan roboten missa det helt. Tänk på det här när du jobbar med samtycke, och om du jämför dig med konkurrenterna i en grundlig konkurrentanalys:
- Lägg aldrig din viktigaste text bakom en samtyckesruta.
- Använd cookies för att räkna besökare och stötta ads, inte för att gömma innehåll.
- Testa hur sidan ser ut utan att något accepteras.
- Kontrollera i Search Console att det viktiga faktiskt indexerats.
Några sista principer att ta med sig:
- Gör det enkelt att hitta dina sidor genom tydliga interna länkar.
- Slösa inte genomsökning på dubbletter och lågvärdiga sidor.
- Använd robots.txt för att styra, inte för att gömma.
- Håll servern snabb så roboten vågar besöka oftare.
- Kontrollera resultatet i Search Console i stället för att gissa.
Om crawling fungerar har du lagt grunden. Då kan resten av ditt SEO-arbete, från innehåll till länkar, faktiskt nå fram och göra nytta.
Vanliga frågor
Vad är crawling inom SEO?
Crawling är processen där sökmotorernas robotar, till exempel Googlebot, besöker sidor på webben och läser deras innehåll. Roboten följer länkar från en sida till nästa och samlar information om text, bilder och kod. Det som hittas under genomsökningen kan sedan indexeras och visas i sökresultaten. Utan crawling vet Google helt enkelt inte att din sida finns, och då kan den inte rankas för något.
Vad är skillnaden mellan crawling och indexering?
Crawling och indexering är två olika steg. Crawling handlar om att hitta och läsa en sida. Indexering är när Google bedömer innehållet och sparar det i sin databas så att det kan dyka upp i sökresultaten. En sida kan bli genomsökt utan att indexeras, till exempel om innehållet är tunt eller om du har bett Google att inte indexera den. Båda stegen måste fungera för att sidan ska synas vid en sökning.
Hur ofta crawlar Google min webbplats?
Det varierar. Stora, populära sajter som uppdateras ofta kan besökas flera gånger om dagen, medan en liten sida med sällan ändrat innehåll kanske bara crawlas med några veckors mellanrum. Google anpassar takten efter hur viktig och hur ofta uppdaterad din sajt verkar vara, samt hur snabbt din server svarar. Du ser senaste genomsökningsdatum för enskilda sidor i Search Console.
Hur blockerar jag crawling av en sida?
Du kan be robotarna att inte besöka vissa sidor genom filen robots.txt, som ligger i roten på din domän. Tänk på att robots.txt bara hindrar crawling, inte indexering: en blockerad sida kan ändå hamna i index om andra länkar till den. Vill du säkert hålla en sida utanför sökresultaten är en noindex-tagg i regel ett bättre val, eftersom Google då måste få läsa sidan för att se taggen.
Varför crawlar Google inte alla mina sidor?
Det kan finnas flera orsaker. Sidan kan vara blockerad i robots.txt, sakna interna länkar så att roboten aldrig hittar dit, ligga för djupt i strukturen, eller ha tekniska fel som hindrar åtkomst. Google har också en begränsad budget för hur mycket den crawlar varje sajt. Långsamma servrar, dubbletter och stora mängder lågvärdiga sidor kan äta upp den budgeten innan dina viktiga sidor hinner besökas.
Behöver små webbplatser oroa sig för crawl-budget?
Sällan. För en typisk småföretagssajt med några dussin sidor räcker Googles genomsökning gott och väl, och budgeten blir aldrig ett verkligt hinder. Crawl-budget blir relevant först på riktigt stora sajter, som e-handel med tiotusentals produkter, omfattande filtersidor eller nyhetssajter med ständigt nya artiklar. Då gäller det att inte slösa genomsökning på dubbletter och tunt innehåll. Är din sajt liten, lägg energin på bra interna länkar och snabba serversvar i stället.
Hur snabbt hittar Google en ny sida?
Det beror på hur väl sidan är länkad och hur ofta din sajt brukar crawlas. En ny sida som ligger länkad från startsidan eller en flitigt besökt sektion kan hittas inom timmar eller någon dag. En sida utan interna länkar kan dröja länge. Du kan skynda på processen genom att skicka in sidan via URL-inspektionen i Search Console och se till att den finns med i din sitemap.
VILL DU FÖRSTÅ MER?
Undrar du hur det funkar i praktiken för just din sajt? Hör av dig.