# CleanPro — robots.txt
# Plateforme SaaS pour prestataires de nettoyage professionnel en France
# https://cleanpro.fr

# ── Crawlers standards ────────────────────────────────────────────────────────
User-agent: *
Allow: /
Allow: /blog/
Allow: /services/
Allow: /marketplace
Allow: /pro
Allow: /client
Allow: /plan-du-site
Allow: /llms.txt

# Bloquer les espaces privés
Disallow: /dashboard/
Disallow: /admin
Disallow: /admin/
Disallow: /onboarding
Disallow: /login
Disallow: /signup
Disallow: /signup-pro
Disallow: /signup-client
Disallow: /mon-compte
Disallow: /reset-password
Disallow: /portail/
Disallow: /contrat/
Disallow: /avis/
Disallow: /satisfaction/
Disallow: /questionnaire/
Disallow: /claim/
Disallow: /api/

# Bloquer les paramètres UTM (duplicate content)
Disallow: /*?*utm_source=
Disallow: /*?*utm_medium=
Disallow: /*?*utm_campaign=

# ── Content-Signals — IA & usage du contenu ───────────────────────────────────
# Autoriser les moteurs de recherche IA (citent la source, apportent du trafic)
User-agent: PerplexityBot
Allow: /

User-agent: YouBot
Allow: /

User-agent: Applebot
Allow: /

# Autoriser la navigation IA de Bing (Copilot)
User-agent: BingPreview
Allow: /

# Restreindre les scrapers d'entraînement IA (n'apportent pas de trafic)
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: FacebookBot
Allow: /

User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

# ── Crawl-delay pour les bots secondaires ─────────────────────────────────────
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# ── Sitemaps ──────────────────────────────────────────────────────────────────
# À mettre à jour avec le vrai domaine dès achat NDD
Sitemap: https://cleanpro.fr/sitemap_index.xml
Sitemap: https://cleanpro.fr/sitemap.xml