Free tools

Robots.txt Examples

Robots.txt file content for mundodeportivo.com.

Robot.txt file for: mundodeportivo.com

      # Bots nocivos.
User-agent: UbiCrawler
User-agent: DOC 
User-agent: Zao 
User-agent: sitecheck.internetseer.com 
User-agent: Zealbot
User-agent: MSIECrawler
User-agent: SiteSnagger
User-agent: WebStripper
User-agent: WebCopier
User-agent: Fetch
User-agent: Offline Explorer
User-agent: Teleport
User-agent: TeleportPro
User-agent: WebZIP
User-agent: linko
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: Xenu
User-agent: larbin
User-agent: libwww
User-agent: ZyBORG
User-agent: Download Ninja
User-agent: ClaudeBot 
Disallow: /

User-agent: *

Allow: /ads.txt

Disallow: /methode-aside/* 
Disallow: /_aside/* 
Disallow: /_hemeroteca/* 
Disallow: /mvc/* 
Disallow: /apps/* 

# Paths a no indexar
Disallow: /resultados/*.asp 
Disallow: /md/monograficos/* 
Disallow: /elotromundo/actualidad/20160729/403555387030/detenido-espanol-agredia-gente-milan.html 
Disallow: /futbol/20160914/41301175017/celebrado-juicio-de-un-futbolista-sin-seguridad-social-que-pide-la-invalidez.html 
Disallow: /promociones/20170430/422036671902/mundo-deportivo-te-ofrece-una-coleccion-de-gafas-creepers-de-david-locco.html 
Disallow: /futbol/20160614/402499725161/un-futbolista-sin-seguridad-social-pide-la-incapacidad-tras-una-grave-lesion.html 
Disallow: /porra/ 
Disallow: /md/ 
Disallow: */cmpui-popup.js 
Disallow: /jugador/* 
Disallow: */la-liga-bbva

# New
Disallow: */fichajes?league*
Disallow: *search-topics?*
Disallow: /2007*
Disallow: /2008*
Disallow: /2009*
Disallow: /futbol/*/17-18/*
Disallow: /baloncesto/*/17-18/*
Disallow: /futbol/*/18-19/*
Disallow: /baloncesto/*/18-19/*
Disallow: /loteria-nacional/2019*
Disallow: /once/2019*
Disallow: /bonoloto/2019*
Disallow: /euromillones/2019*
Disallow: /primitiva/2019*

# Zona Resultados
Disallow: /resultados/baloncesto/*/jornada*
Disallow: /resultados/baloncesto/*/2*
Disallow: /resultados/ciclismo/ciclista/*
Disallow: /resultados/ciclismo/equipo/*
Disallow: /resultados/ciclismo/*/etapa/*
Disallow: /resultados/motor/*/2018
Disallow: /resultados/motor/*/2017
Disallow: /resultados/motor/*/2016
Disallow: /resultados/motor/*/2015
Disallow: /resultados/motor/*/2014
Disallow: /resultados/motor/*/2013
Disallow: /resultados/motor/*/2012
Disallow: /resultados/motor/*/2011
Disallow: /resultados/tenis/wta/*
Allow: /resultados/tenis/wta/$
Disallow: /resultados/tenis/atp/*
Allow: /resultados/tenis/atp/$
Disallow: /resultados/futbol/*/2012
Disallow: /resultados/futbol/*/2013
Disallow: /resultados/futbol/*/2014
Disallow: /resultados/futbol/*/2015
Disallow: /resultados/futbol/*/2016
Disallow: /resultados/futbol/*/2017
Disallow: /resultados/futbol/*/2018
Disallow: /resultados/futbol/base/*
Disallow: /resultados/futbol/regional/*
Disallow: /resultados/futbol/regional/categoria/tercera/*/jornada*
Allow: /resultados/futbol/regional/categoria/tercera$
Allow: /resultados/futbol/regional/categoria/tercera/grupo*
Disallow: /resultados/futbol/regional/categoria/segundab/*/jornada*
Allow: /resultados/futbol/regional/categoria/segundab$
Allow: /resultados/futbol/regional/categoria/segundab/grupo*
Disallow: /resultados/futbol/premier-league/jornada*
Disallow: /resultados/futbol/ligue-1/jornada*
Disallow: /resultados/futbol/serie-a/jornada*
Disallow: /resultados/futbol/bundesliga/jornada*
Disallow: /resultados/futbol/championship-inglaterra/jornada*
Disallow: /resultados/eredivisie-holandesa/jornada*
Disallow: /resultados/primeira-liga-portuguesa/jornada*
Disallow: /resultados/futbol/fa-cup/*
Allow: /resultados/futbol/fa-cup/calendario
Disallow: /resultados/futbol/coppa-italia/*
Disallow: /resultados/futbol/dfb-pokal/*
Disallow: /resultados/coupe-de-france/*
Disallow: /resultados/futbol/chile/*
Disallow: /resultados/futbol/liga-argentina-primera-division/jornada-*
Disallow: /resultados/futbol/b-nacional-argentina/*
Disallow: /resultados/futbol/peru/*
Disallow: /resultados/futbol/venezuela/*
Disallow: /resultados/futbol/liga-serie-a-brasil/
Disallow: /resultados/futbol/brasil-campeonato-paulista/*
Disallow: /resultados/futbol/brasil-campeonato-carioca/*
Disallow: /resultados/futbol/copa-de-brasil/*
Disallow: /resultados/futbol/uruguay/*
Disallow: /resultados/futbol/copa-africa/

Disallow: /alfabeta/*/;aspect-ratio
Disallow: /alfabeta/*/aspect-ratio
Disallow: /alfabeta/*/{{
Disallow: /alfabeta/*/undefined$

Disallow: /urbantecno/*/;aspect-ratio
Disallow: /urbantecno/*/aspect-ratio
Disallow: /urbantecno/*/{{
Disallow: /urbantecno/*/undefined$

Disallow: /marketmd/
Disallow: /loterias/loteria-nacional/
Disallow: /loterias/