Logganalys

Logganalys är att läsa serverns loggfiler för att se exakt vilka sidor Googlebot och besökarna hämtar, i vilken ordning och hur ofta. Datan kommer direkt från servern, till skillnad från vanlig webbanalys som bygger på ett script i webbläsaren, och varje förfrågan lämnar ett spår som sällan ljuger.

Av redaktionen på seoninja.se

För teknisk SEO betraktas loggen ofta som den ärligaste källan som finns, eftersom den inte visar vad man hoppas ska hända utan vad som faktiskt sker varje gång en sida efterfrågas.

Så fungerar logganalys

Varje gång en webbläsare eller en sökmotorrobot ber om en sida skrivs en rad ner i serverns logg, och logganalys handlar om att läsa den dagboken och tolka mönstren i den. En enskild loggrad innehåller i regel flera fält som tillsammans beskriver förfrågan.

• IP-adressen som gjorde förfrågan, ibland med ungefärlig geografi som en besökare i Stockholm eller Malmö.
• Tidsstämpel med tidszon, ner till sekunden.
• Metod och sökväg till den efterfrågade resursen, oftast GET.
• Statuskoden som servern svarade med, exempelvis 200 eller 404.
• User-agent som frågade, som Googlebot eller en vanlig webbläsare.

Filen är rå och osminkad, och den bryr sig varken om cookies eller om besökaren stängde en banner, vilket gör den både lite svårläst och desto mer pålitlig.

Loggen som ärlig SEO-källa

Mycket i SEO vilar på antaganden, men i loggen ersätts en del av gissandet med fakta om vad Google faktiskt gör på sajten. När datan väl är samlad framträder flera saker tydligt.

• Vilka sidor Googlebot besöker ofta och vilka som knappt berörs.
• Om viktiga sidor hämtas alls eller missas helt.
• Hur snabbt nytt innehåll upptäcks efter publicering.
• Om roboten fastnar i kedjor av omdirigeringar eller möter fel.

Googlebot i loggen

Googlebot identifierar sig med en egen user-agent, och därför kan just dess beteende filtreras fram och studeras separat, vilket ofta är den mest lärorika delen av hela övningen. Särskilt värt att titta efter är följande.

• Mallar och sidtyper som roboten prioriterar.
• Sidor som crawlas mycket men saknar värde, som filter och interna sökresultat.
• Viktiga sidor som crawlas sällan eller aldrig.
• Statuskoder som roboten möter, där många 404 eller 301 bör ses som en varningssignal.

Logganalys och crawlbudget

Crawlbudget är den mängd sidor som Google i regel hämtar från en sajt under en viss period, och på en liten sajt är det sällan ett problem medan slöseri på en stor sajt kan kosta synlighet. I loggen syns var budgeten faktiskt tar vägen.

• Sidor som crawlas i onödan och stjäl uppmärksamhet från viktigare innehåll.
• Oändliga URL-varianter som skapas av parametrar och filter.
• Gamla sidor som borde ha försvunnit men fortfarande hämtas.
• Tunga resurser som saktar ner varje besök.

Verktyg för logganalys

Att komma i gång går utan att något köps, och metoden får styras av sajtens storlek och hur van man är vid data.

• Ett kalkylprogram, som räcker gott för en mindre sajt.
• Dedikerade logganalysverktyg som skiljer ut Googlebot automatiskt.
• Kommandoraden, för den som snabbt vill filtrera stora filer.
• AI-baserade verktyg som sammanfattar mönster, där slutsatserna dock alltid bör dubbelkollas.

Säker hantering av loggdata

En loggfil känns teknisk och anonym men är det inte riktigt, eftersom den innehåller uppgifter om verkliga människor och därför behöver hanteras med omsorg och rätt informationssäkerhet.

Loggar som personuppgifter

En IP-adress kan ofta knytas till en person, och då gäller dataskyddsreglerna oavsett att datan ser opersonlig ut i filen. Biometriska uppgifter förekommer normalt inte i en webblogg, men IP-adressen ensam räcker för att göra loggen känslig.

• En tydlig gallringstid bör bestämmas och sedan hållas.
• Åtkomsten till loggarna bör begränsas till några få.
• Råa loggar bör inte kopieras till osäkra platser.

GDPR och loggfiler

Enligt GDPR krävs ett syfte med datan, och den får inte sparas längre än nödvändigt. Sparas loggar för felsökning och SEO dokumenteras det kort och gallras därefter, och ligger datan i USA i stället för i Sverige, Norden eller Schweiz kan överföringsreglerna behöva ses över.

Rutiner för säker lagring

God informationssäkerhet behöver inte vara krånglig, men grunderna bör sitta på plats.

• Kryptering av loggfiler både i lagring och vid överföring.
• Löpande patchning av servern som skapar loggarna.
• Nätverkssegmentering så att loggdata inte ligger öppet.
• Enkel kontinuitetshantering med en backup som faktiskt testats.

Steg för steg genom en första analys

Den första genomgången behöver inte bli perfekt, och målet är främst att flödet förstås och att ett par konkreta problem hittas att åtgärda.

1. Loggarna för en representativ period laddas ner, gärna en till fyra veckor.
2. Förfrågningar från Googlebot filtreras fram.
3. Robotens IP-adresser verifieras så att de verkligen tillhör Google.
4. Träffarna grupperas efter sökväg och räknas per sida.
5. Sidor med många fel, som 404 och onödiga omdirigeringar, sorteras fram.
6. Viktiga sidor som crawlas sällan eller inte alls noteras.

Logganalys jämfört med webbanalys

Logg och webbanalys mäter olika saker, och just därför kompletterar de varandra snarare än ersätter. Skillnaderna framgår tydligt i en jämförelse.

Hur ofta logganalys bör göras

Något universalsvar finns inte, utan takten följer sajten, och en liten och stabil sajt behöver sällan mer än en genomgång då och då.

• Liten och sällan uppdaterad sajt: ett par gånger per år.
• Aktiv sajt med publicering varje vecka: ungefär varje månad.
• Efter en domänflytt eller omstrukturering: alltid direkt.
• Efter en teknisk förändring: en snabb koll så att inget tappats.

Vanliga misstag att undvika

Rå data tolkas lätt fel, och några fällor återkommer särskilt ofta bland dem som just börjat.

• En user-agent litas på utan att IP-adressen verifieras.
• En för kort period analyseras och antas vara representativ.
• Bara mänsklig trafik studeras medan Googlebot glöms bort.
• Stora slutsatser dras av en enda avvikande dag.
• Råa loggar sparas hur länge som helst utan gallring.

Checklista innan du börjar

En liten förberedelse gör hela genomgången smidigare och tryggare, både tekniskt och juridiskt.

När extern hjälp lönar sig

Mycket går att klara på egen hand, vilket är en viktig poäng, men ibland är sajten så stor eller loggarna så stökiga att en extern blick sparar tid.

• Loggfilerna är enorma och svåra att öppna.
• Crawlproblem misstänks men orsaken går inte att hitta.
• En domänflytt är precis gjord och något har gått snett.
• Logganalysen ska kopplas ihop med en bredare teknisk översyn.

Hör gärna av dig om det kör ihop sig. Poängen med logganalys är inte att imponera med data, utan att ta ett tydligt steg från att gissa till att veta vad Google faktiskt gör på sajten.