# NorthernGo robots.txt

# Alla bottar får läsa hela sajten
User-agent: *
Allow: /

# Interna vyer utan eget innehåll: appvisaren och klon-länkarna renderar
# användarens app, inte en sida av vårt innehåll. De ska inte konkurrera med
# startsidan i indexet. Community-djuplänkar är samma lista med en modal
# ovanpå — Google har klassat dem som soft 404.
Disallow: /?app=
Disallow: /?clone=
Disallow: /community/?project=
Disallow: /community?project=
Disallow: /sv/community/?project=
Disallow: /sv/community?project=

# ── Klassisk sökning ─────────────────────────────────────────────
User-agent: Googlebot
Allow: /
Disallow: /?app=
Disallow: /?clone=
Disallow: /community/?project=
Disallow: /community?project=
Disallow: /sv/community/?project=
Disallow: /sv/community?project=

User-agent: Bingbot
Allow: /

# ── AI-sökning & citeringar (viktigast för AEO/GEO-synlighet) ────
# OpenAI
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ── AI-träningscrawlers (medvetet tillåtna: max synlighet) ───────
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Diffbot
Allow: /

User-agent: YouBot
Allow: /

# Mistral Vibe (citering) + index. Training tillåts medvetet, samma
# hållning som GPTBot/ClaudeBot ovan.
User-agent: MistralAI-User
Allow: /

User-agent: MistralAI-Index
Allow: /

User-agent: MistralAI-Training
Allow: /

# DuckDuckGo:s assistent-hämtning (citering, inte träning).
User-agent: DuckAssistBot
Allow: /

# Grok:s identifierade sökbot om den kommer. Träningscrawlen spoofar
# vanliga webbläsarsträngar — den träffas inte av en User-agent-regel.
User-agent: xAI-SearchBot
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: LinkedInBot
Allow: /

# ── Kartor ───────────────────────────────────────────────────────
# sitemap.xml är ett index över sitemap-pages.xml och sitemap-content.xml.
# Båda skrivs som statiska filer vid bygget.
Sitemap: https://northerngo.com/sitemap.xml

# ── För språkmodeller ────────────────────────────────────────────
# Varje sida finns även som ren markdown på samma URL med .md-ändelse,
# t.ex. https://northerngo.com/resources/connect-supabase.md
# llms.txt listar hela innehållet med både HTML- och markdown-länkar.
# https://northerngo.com/llms.txt
# https://northerngo.com/llms-full.txt