Hva er robots.txt?
robots.txt er en tekstfil i rotmappen på en nettside som forteller søkemotorer hvilke sider de kan og ikke kan crawle og indeksere.
Sist oppdatert: 2026-09-28
Hva er robots.txt?
robots.txt er en tekstfil plassert i rotmappen på en nettside (eksempel.no/robots.txt) som gir søkemotorer instruksjoner om hvilke sider de kan og ikke kan crawle. Den fungerer som en «adgangskontroll» for søkemotorbots.
Hvorfor er robots.txt viktig?
For norske nettbutikker brukes robots.txt til å hindre at Google indekserer interne søkeresultatsider, admin-paneler, handlekurvsider og duplikate filtreringsURL-er. Dette forhindrer duplisert innhold og sikrer at Google bruker crawl-budsjettet på viktige sider.
Feil i robots.txt kan ha dramatiske konsekvenser. En linje som «Disallow: /» blokkerer hele nettstedet fra indeksering. Det er viktig å teste endringer i Google Search Console før de publiseres.
robots.txt bør også inneholde en referanse til sitemap-filen slik at søkemotorer enkelt finner den. Husk at robots.txt er en forespørsel, ikke en garanti — ondsinnede bots kan ignorere den.
robots.txt i praksis
En norsk nettbutikk blokkerer crawling av /handlekurv/, /min-konto/, /wp-admin/ og filtreringsparametere, men tillater alle produkt- og kategorisider. Sitemap-URL-en er inkludert for enkel indeksering.
Les mer
Relaterte begreper
SEO
SEO (Search Engine Optimization) er arbeidet med å optimalisere en nettside for å rangere høyere i organiske søkeresultater i Google og andre søkemotorer.
SEOSitemap
Et sitemap er en XML-fil som lister alle sidene på en nettside, og hjelper søkemotorer som Google med å oppdage og indeksere innholdet effektivt.
SEOTeknisk SEO
Teknisk SEO handler om å optimalisere nettsidens tekniske infrastruktur slik at søkemotorer kan crawle, indeksere og forstå innholdet effektivt.