Hvert fjerde store norske nettsted stenger døra for GPTBot, roboten OpenAI bruker til å trene ChatGPT. Vi leste robots.txt hos de 500 mest besøkte .no-nettstedene i november 2026.
Hva fant vi?
Per crawler
Mange norske nettsteder har stengt døra for AI. Spørsmålet er hvilken dør. AI-crawlere er robotene som leser nettsider for AI-selskapene. Mange stenger ute dem som samler data til å trene AI-modeller. Søkerobotene slipper oftere inn, og nesten ingen stenger ute Googlebot eller Bingbot. Google-Extended er en regel i robots.txt som styrer om Google kan bruke sidene til å trene AI. Den har ingen egen crawler.
FIGUR 1
Prosent av nettstedene som stenger ute crawleren, enten ved navn eller med en generell regel i robots.txt.
Anthropic
Perplexity
Microsoft
Common Crawl
Meta
Amazon
AppleGPTBot og ChatGPT-søk
Nei, ikke fra ChatGPT-søk. OpenAI bruker én crawler til trening og en annen til søk. En tredjedel av nettstedene som stenger ute GPTBot, slipper fortsatt inn søkeroboten OAI-SearchBot og kan vises i ChatGPT-søk. Ingen i utvalget stenger ute OAI-SearchBot uten også å stenge ute GPTBot.
FIGUR 2
Fordelt etter hva de gjør med OAI-SearchBot. To av tre stenger den ute også, og én av tre slipper den inn.
Per sektor
Nesten to av tre nyhets- og mediesider stenger ute GPTBot, og over halvparten stenger også ute OAI-SearchBot. I netthandel, utdanning og reiseliv stenger ingen ute søkeroboten.
Mediehusene selger innholdet sitt. Et B2B-selskap vil som regel det motsatte: at kjøperne finner det, også i AI-svar.
FIGUR 3
K—lab har plassert hvert nettsted i en sektor. Tallene viser GPTBot / OAI-SearchBot. Blant de andre nettstedene stenger omtrent ett av ni ute GPTBot. Nettsteder uten fungerende nettside er holdt utenfor.
Hva betyr det for dere?
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Åpne dører er bare første steg. Gratisrapporten viser om ChatGPT, Copilot og Google faktisk nevner dere.
Vil dere heller snakke med noen? Book en demo
Metode
Spørsmål og svar
GPTBot samler data OpenAI kan bruke til å trene modellene sine. OAI-SearchBot avgjør om sider kan vises og lenkes til i ChatGPT-søk. Dere styrer dem hver for seg i robots.txt.
Det kommer an på hva dere vil. Stenger dere ute søkecrawlerne, kan sidene deres ikke siteres i AI-søk. Stenger dere bare ute treningscrawlerne, kan de fortsatt vises.
Med «User-agent: GPTBot» og «Disallow: /». Det stopper bare treningen. ChatGPT-søk styres av OAI-SearchBot.
Ikke fra ChatGPT-søk. Mange av nettstedene som stenger ute GPTBot, slipper fortsatt inn OAI-SearchBot.
Treningscrawlerne: CCBot, meta-externalagent, GPTBot og Amazonbot. Googlebot stenges nesten aldri ute. Se figur 1.
En fil som oppsummerer nettstedet for språkmodeller. Bare et lite mindretall av de store norske nettstedene har en.
Ja. Oppgi K—lab som kilde og lenk til denne siden.
Flere rapporter