TF-IDF

TF-IDF är en metod för att räkna ut hur viktigt ett ord är i en text, genom att väga hur ofta ordet förekommer mot hur sällsynt det är i en större samling texter. Tänk dig tusen artiklar och frågan vilka ord som faktiskt säger något om en enskild artikel. Ordet “och” finns i alla tusen och berättar ingenting. Ordet “vektorisering” finns i tre av dem och pekar rakt mot ämnet. Det är den intuitionen måttet sätter en siffra på, och det är samma intuition som driver en genomtänkt innehållsstrategi. Vill du förstå varför planen bakom texten väger tyngre än enstaka ord lönar det sig att läsa hela genomgången om innehållsstrategi.

Förkortningen kommer från engelskans term frequency-inverse document frequency och har sina rötter i information retrieval, forskningsfältet om att hitta rätt dokument i stora textmängder. Metoden är gammal i sammanhanget men seglivad, och dyker fortfarande upp i sökmotorer, keyword extraction och enklare maskininlärning. Innan en sida ens kan vägas måste den dessutom ha kommit med i Googles index, och hur den indexeringen går till är ett ämne i sig.

Vad TF-IDF faktiskt är

Måttet ger varje ord i en text en poäng, en score. Den är hög när ordet är betydelsebärande för just den texten och låg när ordet är allmänt skräp. Ursprunget ligger i information retrieval, fältet bakom tidiga söksystem, och därifrån har idén vandrat in i SEO, keyword extraction och artificial intelligence i bredare mening. Samma slags relevanstänkande dyker numera upp även i AI-svar och generativ sökning, och vill du se hur den generativa sökningen skiljer sig finns en egen förklaring.

Logiken är enkel nedbruten. Ett dokument består av ord. Vissa är generiska och finns i nästan allt. Andra är specifika och finns bara i ett fåtal. Måttet lyfter fram de specifika och tonar ner de generiska, och resultatet blir ett slags fingeravtryck av vad texten handlar om. Det fingeravtrycket är användbart när du kartlägger vad andra skriver i en konkurrentanalys, och en grundlig konkurrentanalys visar dig var luckorna sitter.

En jämförelse: en bok om Mansfield Park nämner sina huvudpersoner många gånger, men de namnen finns knappast i böcker om annat. Det är precis den sortens ord ett söksystem vill fästa vid. Vill du beskriva sådana ord för sökmotorn på ett tydligare sätt hjälper strukturerad data till på andra plan av sidan.

Två delar bär hela måttet:

• Term frequency (TF) mäter hur ofta ett ord finns i en enskild text.
• Inverse document frequency (IDF) mäter hur sällsynt ordet är i hela samlingen.
• TF ensamt räcker inte, eftersom ord som “en” och “att” får skyhöga värden utan att betyda något.
• IDF ensamt räcker inte heller, eftersom det inte säger något om den aktuella texten.
• Multiplicerade balanserar de varandra och ger en användbar poäng.

Så fungerar uträkningen steg för steg

TF i sin enklaste form är antalet gånger ordet syns delat med totalt antal ord. Står “indexering” tio gånger i en text på 1 000 ord blir TF för ordet 0,01. IDF är logaritmen av totalt antal dokument delat med antalet dokument som innehåller ordet. Ett ord i vartenda dokument får ett IDF nära noll; ett ord i bara några få får ett högt IDF. Att ett ord som “indexering” alls räknas förutsätter förstås att sidan kommit med i Googles index.

• Räkna ut TF för ordet i ditt dokument.
• Räkna ut IDF för ordet över hela samlingen.
• Multiplicera TF med IDF och få ordets score.
• Upprepa per ord och per sida, eller låt ett system göra det.

Ett ord måste vara både vanligt i din text och ovanligt i resten av världen för att få hög slutpoäng. Den kombinationen är hela poängen, och den är värd att ha i bakhuvudet redan när du lägger upp en innehållsstrategi för en hel sajt. Driver du en lokal verksamhet är samma tänkande lika nyttigt när du jobbar med SEO i Stockholm eller SEO i Göteborg.

Varför TF-IDF spelar roll för SEO

Du ser aldrig måttet som ett reglage i Search Console. Google har inte bekräftat det som en egen rankingfaktor, och dagens system bygger på språkmodeller som förstår betydelse på ett djupare plan. Tankesättet är ändå värdefullt, av en konkret anledning, och det hänger ihop med hur Google bedömer trovärdighet och expertis. Den som vill grunda sitt innehåll i erfarenhet och expertis får ut mer av en analys än den som bara jagar ord.

De sidor som redan rankar högt för ett ämne brukar täcka en återkommande uppsättning begrepp. Saknar en text flera av dem ser den ofta tunn ut, både för läsare och sökmotor. Här ger måttet ett sätt att upptäcka luckan: jämför sidan mot de bästa konkurrenterna och få svart på vitt vilka relevanta ord och teman som missats. Samma metodik känns igen från en strukturerad konkurrentanalys, och den metodiken passar lika bra för dig som vill stärka SEO i Västerås som för en rikstäckande sajt.

• Det visar vilka begrepp som hör till ämnet men saknas i texten.
• Det motverkar att man stirrar blint på ett enda nyckelord.
• Det ger underlag för att utöka tunt innehåll genomtänkt.
• Det hjälper till att prioritera vilka sidor som behöver mest arbete.
• Det jämför mot dem som faktiskt rankar, inte mot magkänsla.

En sida om sidhastighet som aldrig nämner laddningstid, cache eller bildkomprimering känns ofullständig, oavsett hur många gånger den upprepar huvudordet, och samma teknik täcks i guiden om sidhastighet och optimering. Den som driver sajten på WordPress hittar dessutom konkreta grepp i guiden om SEO för WordPress.

Så använder du TF-IDF i praktiken

Det krävs ingen dataforskare. Den vanligaste arbetsgången är att samla de sidor som rankar för ett sökord, köra en analys och läsa av vilka begrepp som återkommer hos dem men saknas hos en själv. Sedan vävs de begrepp som passar in naturligt, gärna styrt av en tydlig innehållsstrategi snarare än av lösa infall. Arbetar du lokalt fungerar samma upplägg när du vässar SEO i Umeå eller SEO i Kalmar.

1. Samla in de tio till tjugo sidor som rankar högst för ditt sökord.
2. Kör texterna genom ett verktyg eller ett bibliotek som scikit-learn.
3. Jämför listan med högt viktade begrepp mot din egen sida.
4. Lägg in de relevanta orden du saknar, men bara där de hör hemma.

Verktyget visar bara vad andra gör. Det vet inget om läsaren eller sökintentionen. Läggs ett begrepp in enbart för att höja en siffra är hela poängen borta. Vill du komplettera ordanalysen med signaler som Google läser maskinellt är strukturerad data nästa naturliga steg.

Vill du gräva djupare i hur konkurrenters innehåll kartläggs finns en separat genomgång om konkurrentanalys som tar det vidare steg för steg. Driver du sajten på WordPress kan du dessutom luta dig mot guiden om SEO för WordPress när orden väl ska in.

Verktyg och bibliotek du kan använda

För den som gillar kod är scikit-learn standardvalet. CountVectorizer omvandlar text till ordfrekvenser och TfidfVectorizer räknar ut själva poängen. Ut kommer en matris, ofta hanterad som en dataframe, där varje rad är ett dokument och varje kolumn ett ord.

• scikit-learn: CountVectorizer och TfidfVectorizer för egen kod.
• Webbaserade content-verktyg med inbyggd konkurrentjämförelse.
• Kalkylark för en enkel uträkning från grunden.
• Plugins som flaggar tunt innehåll direkt i editorn.

Flera av de webbaserade verktygen har gratisnivåer som räcker gott för enstaka sidor, och resultatet blir ofta mest värt när du parar det med en bredare innehållsstrategi. Behöver du först få ordning på de tekniska grunderna är guiden om sidhastighet och optimering en bra start.

Vanliga missförstånd om TF-IDF

Det största missförståndet är att måttet skulle vara en hemlig ratt hos Google att optimera mot. Det stämmer inte. Det är ett verktyg för analys, inte en knapp i sökmotorn. Den som lovar garanterade placeringar genom att “optimera din TF-IDF” säljer luft. Långsiktig synlighet bygger i stället på sådant som erfarenhet, expertis och trovärdighet, och samma princip gäller oavsett om du satsar nationellt eller på SEO i Göteborg.

Ett annat missförstånd är att blanda ihop det med nyckelordstäthet. Skillnaderna är värda att hålla isär:

• Täthet räknar bara andelen av ett ord, isolerat.
• Måttet jämför alltid mot en större mängd dokument.
• Täthet kan luras av ren upprepning.
• Måttet pekar mot faktisk relevans, inte volym.

Är TF-IDF samma sak som moderna språkmodeller?

Nej. Måttet är klassiskt men trubbigt. Det förstår inte att “bil” och “fordon” hör ihop, eftersom det bara räknar ord, inte betydelse. Moderna system bygger i stället på embeddings och stora språkmodeller som fångar mening och sammanhang, och liknande teknik ligger bakom de AI-genererade söksvar som blivit allt vanligare. Trots det lever måttet kvar som en snabb och billig baslinje. För att maskinerna alls ska förstå delarna på din sida spelar strukturerad data en växande roll.

Slutsatsen är lugnande för en skribent. Den mest avancerade tekniken behöver inte väljas. Måttet räcker långt för att hitta luckor i innehåll, och resten löses genom att skriva tydligt, ärligt och för rätt läsare. Relevans handlar i grunden om att svara på det läsaren söker, och måttet är ett hjälpmedel på vägen, ingen genväg förbi själva arbetet - vill du gå vidare lokalt finns till exempel guiden om SEO i Göteborg, liksom motsvarande genomgångar för SEO i Stockholm, SEO i Umeå, SEO i Västerås och SEO i Kalmar.