# Bloqueo de bots no deseados
User-agent: 008
Disallow: /tic
User-agent: UnisterBot
Disallow: /
User-agent: JikeSpider
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: magpie-crawler
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: BUbiNG
Disallow: /

# Agentes bloqueados por idioma
User-agent: Yandex
Disallow: /
User-agent: Baiduspider
Disallow: /

# AI data scrappers
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Allow: /vida-y-estilo/
Allow: /ocio/
Allow: /sociedad/
Allow: /economia/
Allow: /viajes/
Disallow: /

# Reglas generales para todos los bots
User-agent: *
Disallow: /apuestas/
Disallow: /hemeroteca/buscador/
Disallow: /urdangarin/
Disallow: /caso-barcenas/
Disallow: /motogp/
Disallow: /declaracion-renta/
Disallow: /vuelta-espana/
Disallow: /esqui/
Disallow: /aniversario-muro-berlin/
Disallow: /el-rincon-de-los-suenos/
Disallow: /tendencias21/
Disallow: /guapisimas/
Disallow: /sucesion-papa/
Disallow: /renta-2012/
Disallow: /turismo/
Disallow: /coche-del-anyo/
Disallow: /encuestas/
Disallow: /concursos/
Disallow: /en-las-redes/
Disallow: */lidia-bedman*
Disallow: /*?p=
Disallow: /clip/
Disallow: /hemeroteca/
Disallow: /buscador/


#Sección Apuestas
Disallow: /apuestas/go/
Disallow: /apuestas/*/go/
Disallow: /apuestas///go/
Disallow: /apuestas/cgi-bin/
Disallow: /apuestas/*/attachment/
Disallow: /apuestas/tag/*/page/
Disallow: /apuestas/page/
Disallow: /apuestas/comments/
Disallow: /apuestas/xmlrpc.php
Disallow: /apuestas/?attachment_id*
Disallow: /apuestas/login
Disallow: /apuestas/wp-admin/
Disallow: /apuestas/trackback/
Disallow: /apuestas/*trackback/
Disallow: /apuestas/trackback/
Disallow: /apuestas/*/trackback/
Disallow: /apuestas/*/trackback/
Disallow: /apuestas///trackback/
Disallow: /apuestas///*/trackback/
Disallow: /apuestas/*?s=
Disallow: /fonts/

# Bots Redes Sociales
User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

# Sitemaps
Sitemap: https://www.superdeporte.es/sitemapNews.xml
Sitemap: https://www.superdeporte.es/sitemapMonth.xml
Sitemap: https://www.superdeporte.es/sitemapSection.xml