Meta Robots Tag er et HTML-tag, som bruges til at instruere søgemaskinernes crawlers om, hvordan de skal indeksere og følge links på en webside. Den placeres i sektionen af et HTML-dokument og giver værdifuld kontrol med indekseringen af indhold på sideniveau.
Syntaks
Meta Robots Tag består af en name-attribut med værdien “robots” og en content-attribut, hvor instruktionerne defineres. Grundlæggende kan følgende værdier benyttes:
- `index` / `noindex`: Angiver om en side skal inkluderes i søgemaskinens indeks.
- `follow` / `nofollow`: Angiver om søgemaskinen skal følge links på siden.
- `noarchive`: Beder søgemaskinen om ikke at gemme en cachelagret kopi af siden.
- `nosnippet`: Forhindrer søgemaskinen i at vise et uddrag af siden i søgeresultaterne.
- `noimageindex`: Hindrer søgemaskinen i at indeksere billeder på siden.
- `none`: en kortform, der kombinerer `noindex` og `nofollow`.
Brugsområder
Meta Robots Tag bruges, når man ønsker at styre adgangen og synligheden af specifikke sider i søgemaskinerne. For eksempel kan sider såsom brugerlogins, fortroligt indhold eller duplikeret indhold være uegnet til indeksering og kan markeres med `noindex`. Hvis man ønsker at begrænse flowet af PageRank gennem links på en side, kan man bruge `nofollow`.
Implementering af Meta Robots Tag
For korrekt implementering skal Meta Robots Tag indsættes i sektionen af HTML-dokumentet før tagget. Det sikrer, at tagget læses af søgemaskinernes bots, før de begynder at crawle siden.
Best practices
Det anbefales ikke at bruge Meta Robots Tag til at blokere adgang til større dele af et websted, da dette kan have negative konsekvenser for webstedets overordnede synlighed og autoritet i søgeresultaterne. For en mere global kontrol af crawling og indeksering bør man overveje at bruge `robots.txt`-filen eller indekseringsdirektiver via HTTP-headers.
Det er også vigtigt at sikre, at instruktionerne i Meta Robots Tag ikke modsiges af andre direkte modstridende signaler, såsom kanoniske tags eller sitemaps, da dette kan skabe forvirring for søgemaskinerne og potentielt forringe en sides indeksering og ranking.
Søgemaskinernes behandling af Meta Robots Tags kan ændre sig over tid, idet der tilføjes understøttelse for nye direktiver eller ændres i måden, hvorpå eksisterende direktiver håndteres. Derfor er det vigtigt for SEO-specialister at holde sig ajour med de seneste opdateringer fra søgemaskiner som Google og Bing.