Prøv Cited kostnadsfritt
7 dagers prøveperiode

Hvert fjerde store norske nettsted stenger døra for ChatGPTs treningsrobot

Hvert fjerde store norske nettsted stenger døra for GPTBot, roboten OpenAI bruker til å trene ChatGPT. Vi leste robots.txt hos de 500 mest besøkte .no-nettstedene i november 2026.

Av Even Sørtveit og Nikolas Opedal, . 5 min lesetid

Hva fant vi?

1
Mange stenger ute robotene som trener AI. Færre stenger ute robotene som søker for ChatGPT og de andre.
2
Nyhets- og mediesidene står for de fleste blokkeringene.
3
Det går an å si nei til trening og ja til søk, og noen store nettsteder gjør nettopp det.

Per crawler

Hvilke AI-roboter stenger norske nettsteder ute?

Mange norske nettsteder har stengt døra for AI. Spørsmålet er hvilken dør. AI-crawlere er robotene som leser nettsider for AI-selskapene. Mange stenger ute dem som samler data til å trene AI-modeller. Søkerobotene slipper oftere inn, og nesten ingen stenger ute Googlebot eller Bingbot. Google-Extended er en regel i robots.txt som styrer om Google kan bruke sidene til å trene AI. Den har ingen egen crawler.

FIGUR 1

Hvor ofte hver crawler stenges ute

Prosent av nettstedene som stenger ute crawleren, enten ved navn eller med en generell regel i robots.txt.

TreningSøkPå oppdrag fra en bruker
OpenAI
GPTBot
25,2 %
OAI-SearchBot
16,9 %
ChatGPT-User
18,0 %
Anthropic
ClaudeBot
24,7 %
Claude-SearchBot
14,5 %
Claude-User
12,9 %
Google
Google-Extended
23,4 %
Googlebot
1,6 %
Perplexity
PerplexityBot
21,2 %
Perplexity-User
16,0 %
Microsoft
Bingbot
2,0 %
Common Crawl
CCBot
26,1 %
Meta
meta-externalagent
25,6 %
Amazon
Amazonbot
24,9 %
Apple
Applebot-Extended
24,3 %
Kilde: K—lab, k-lab.so/data. robots.txt hos store .no-nettsteder, lest i november 2026.K—lab

GPTBot og ChatGPT-søk

Forsvinner dere fra ChatGPT hvis dere stenger ute GPTBot?

Nei, ikke fra ChatGPT-søk. OpenAI bruker én crawler til trening og en annen til søk. En tredjedel av nettstedene som stenger ute GPTBot, slipper fortsatt inn søkeroboten OAI-SearchBot og kan vises i ChatGPT-søk. Ingen i utvalget stenger ute OAI-SearchBot uten også å stenge ute GPTBot.

FIGUR 2

Nettstedene som stenger ute GPTBot

Fordelt etter hva de gjør med OAI-SearchBot. To av tre stenger den ute også, og én av tre slipper den inn.

67 %
33 %
Stenger også ute OAI-SearchBotKan ikke vises i ChatGPT-søk
Slipper inn OAI-SearchBotKan fortsatt vises i ChatGPT-søk
Kilde: K—lab, k-lab.so/data. robots.txt hos store .no-nettsteder, lest i november 2026.K—lab

Per sektor

Hvem stenger mest ute?

Nesten to av tre nyhets- og mediesider stenger ute GPTBot, og over halvparten stenger også ute OAI-SearchBot. I netthandel, utdanning og reiseliv stenger ingen ute søkeroboten.

Mediehusene selger innholdet sitt. Et B2B-selskap vil som regel det motsatte: at kjøperne finner det, også i AI-svar.

FIGUR 3

Hvor ofte hver sektor stenger ute OpenAIs crawlere

K—lab har plassert hvert nettsted i en sektor. Tallene viser GPTBot / OAI-SearchBot. Blant de andre nettstedene stenger omtrent ett av ni ute GPTBot. Nettsteder uten fungerende nettside er holdt utenfor.

Stenger ute GPTBotStenger ute OAI-SearchBot
0 %10 %20 %30 %40 %50 %60 %70 %
Nyheter og medier
65,2 / 55,7 %
Oppslag og kataloger
38,9 / 22,2 %
Organisasjoner og kultur
16,0 / 8,0 %
Offentlig sektor
12,3 / 4,6 %
Netthandel
11,8 / 0,0 %
Andre tjenester
11,1 / 0,0 %
Utdanning og forskning
10,0 / 0,0 %
Reise og transport
9,5 / 0,0 %
Telekom, hosting og IT
1,8 / 1,8 %
Finans og forsikring
0,0 / 0,0 %
Kilde: K—lab, k-lab.so/data. robots.txt hos store .no-nettsteder, lest i november 2026.K—lab

Hva betyr det for dere?

Slipp søkerobotene inn, og velg selv om dere vil trene AI.

Sjekk robots.txt i dag
Åpne robots.txt på domenet deres og se hvilke roboter som er stengt ute. Er søkerobotene blant dem, kan sidene ikke siteres i AI-søk.
Slipp søkerobotene inn
Vil dere bli nevnt i AI-svar, må søkerobotene slippe inn. Dette stenger ute trening, men lar sidene vises og siteres i ChatGPT-søk:
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Skill trening fra søk
Det samme gjelder de andre: ClaudeBot og Google-Extended styrer trening, mens Claude-SearchBot, PerplexityBot, Googlebot og Bingbot avgjør om dere kan vises i AI-søk. Navnene og reglene står hos OpenAI, Anthropic og Google.

Slipper dere crawlerne inn, men blir ikke nevnt?

Åpne dører er bare første steg. Gratisrapporten viser om ChatGPT, Copilot og Google faktisk nevner dere.

  • Hvor ofte ChatGPT, Copilot og Google nevner dere
  • Hvilke konkurrenter som nevnes i stedet
  • Hvilke kilder svarene bygger på
Få gratis rapport

Vil dere heller snakke med noen? Book en demo

Metode

Slik samlet vi inn tallene.

Utvalget
De 500 første .no-domenene i Tranco-listen PY2NJ. Listen rangerer nettsteder etter hvor populære de er.
Innhenting
Vi leste robots.txt og llms.txt i november 2026, med én forespørsel om gangen per domene. Nesten ni av ti domener ga et lesbart svar. Domener som ga feil eller avviste forespørselen, er holdt utenfor. Rundt 9 % har en llms.txt.
Tolkning
Vi tolket reglene etter standarden RFC 9309. En crawler regnes som stengt ute når regelen som gjelder for den, stenger hele nettstedet.
Sektorer
K—lab har plassert hvert nettsted i én sektor.
Begrensninger
Tallene er et øyeblikksbilde fra én dag. Vi har ikke sjekket underdomener, og robots.txt sier ikke om crawlerne faktisk følger reglene.

Spørsmål og svar

Vanlige spørsmål om tallene.

Hva er forskjellen på GPTBot og OAI-SearchBot?

GPTBot samler data OpenAI kan bruke til å trene modellene sine. OAI-SearchBot avgjør om sider kan vises og lenkes til i ChatGPT-søk. Dere styrer dem hver for seg i robots.txt.

Bør vi stenge ute AI-crawlere?

Det kommer an på hva dere vil. Stenger dere ute søkecrawlerne, kan sidene deres ikke siteres i AI-søk. Stenger dere bare ute treningscrawlerne, kan de fortsatt vises.

Hvordan blokkerer man GPTBot i robots.txt?

Med «User-agent: GPTBot» og «Disallow: /». Det stopper bare treningen. ChatGPT-søk styres av OAI-SearchBot.

Forsvinner vi fra ChatGPT hvis vi blokkerer GPTBot?

Ikke fra ChatGPT-søk. Mange av nettstedene som stenger ute GPTBot, slipper fortsatt inn OAI-SearchBot.

Hvilke AI-crawlere blokkeres mest i Norge?

Treningscrawlerne: CCBot, meta-externalagent, GPTBot og Amazonbot. Googlebot stenges nesten aldri ute. Se figur 1.

Hva er llms.txt?

En fil som oppsummerer nettstedet for språkmodeller. Bare et lite mindretall av de store norske nettstedene har en.

Kan jeg bruke tallene?

Ja. Oppgi K—lab som kilde og lenk til denne siden.