# Robots.txt ESISA — optimisé SEO + AEO/GEO (moteurs de réponse & IA générative) # https://www.robotstxt.org/robotstxt.html # ------------------------------------------------------------------ # Règle par défaut (tous les robots) # ------------------------------------------------------------------ User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Disallow: /private/ Disallow: /*.json$ Disallow: /build/ Disallow: /node_modules/ Disallow: /src/ # Copie prérendue de l'accueil servie par nginx sur « / » — pas une URL publique Disallow: /home/ # ------------------------------------------------------------------ # Moteurs de recherche classiques (SEO) # ------------------------------------------------------------------ User-agent: Googlebot Allow: / Disallow: /admin/ Disallow: /api/ User-agent: Bingbot Allow: / Disallow: /admin/ Disallow: /api/ # ------------------------------------------------------------------ # Moteurs de réponse / IA générative (AEO & GEO) # Autorisation EXPLICITE pour apparaître dans les réponses de # ChatGPT, Claude, Perplexity, Gemini, Copilot, Apple Intelligence... # ------------------------------------------------------------------ # OpenAI — ChatGPT / SearchGPT User-agent: GPTBot Allow: / Disallow: /admin/ Disallow: /api/ User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / # Anthropic — Claude User-agent: ClaudeBot Allow: / Disallow: /admin/ Disallow: /api/ User-agent: Claude-Web Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / # Perplexity User-agent: PerplexityBot Allow: / Disallow: /admin/ Disallow: /api/ User-agent: Perplexity-User Allow: / # Google — Gemini / AI Overviews (grounding & entraînement) User-agent: Google-Extended Allow: / # Apple Intelligence / Siri User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / # Amazon (Alexa / Rufus / Nova) User-agent: Amazonbot Allow: / # Meta AI User-agent: Meta-ExternalAgent Allow: / User-agent: meta-externalagent Allow: / User-agent: FacebookBot Allow: / # Common Crawl (corpus d'entraînement de nombreux LLM) User-agent: CCBot Allow: / # DuckDuckGo Assist User-agent: DuckAssistBot Allow: / # Mistral User-agent: MistralAI-User Allow: / # You.com / Cohere User-agent: YouBot Allow: / User-agent: cohere-ai Allow: / # xAI — Grok User-agent: xAI-Crawler Allow: / User-agent: Grokbot Allow: / # ByteDance — Doubao / Cici User-agent: Bytespider Allow: / # Huawei — Pangu User-agent: PanguBot Allow: / # Allen Institute for AI User-agent: AI2Bot Allow: / User-agent: ai2bot-dolma Allow: / # Diffbot (graphe de connaissances alimentant plusieurs assistants) User-agent: Diffbot Allow: / # Webz.io / omgili (corpus repris par des moteurs de réponse) User-agent: omgili Allow: / User-agent: omgilibot Allow: / # Petal / Huawei Search User-agent: PetalBot Allow: / # Agents de navigation pilotés par IA (récupèrent la page à la demande de # l'utilisateur — les bloquer revient à rendre le site invisible dans l'outil) User-agent: ChatGPT-Operator Allow: / User-agent: Gemini-Deep-Research Allow: / User-agent: Google-CloudVertexBot Allow: / # Moteurs de recherche complémentaires User-agent: DuckDuckBot Allow: / User-agent: Yandex Allow: / User-agent: Qwantbot Allow: / User-agent: Seznam Allow: / # ------------------------------------------------------------------ # Réseaux sociaux (partage & aperçus enrichis) # ------------------------------------------------------------------ User-agent: facebookexternalhit Allow: / User-agent: Twitterbot Allow: / User-agent: LinkedInBot Allow: / User-agent: WhatsApp Allow: / # ------------------------------------------------------------------ # Plans de site & ressource IA (llms.txt) # ------------------------------------------------------------------ Sitemap: https://esisa.ac.ma/sitemap.xml Sitemap: https://esisa.ac.ma/sitemap-images.xml # Ressources dédiées aux assistants IA : # https://esisa.ac.ma/llms.txt — fiche de référence # https://esisa.ac.ma/llms-full.txt — document détaillé (formations, admission, partenaires)