Free tools

Robots.txt Examples

Robots.txt file content for elconfidencial.com.

Robot.txt file for: elconfidencial.com

      User-Agent: *
Disallow:/contacto/
Disallow:/fonts/
Disallow:/old/
Disallow:/.htaccess
Disallow:/ClassoraProxy.php
Disallow:/access.php
Disallow:/conf.php
Disallow:/console.php
Disallow:/css.php
Disallow:/img.php
Disallow:/js.php
Disallow:/pixel.php
Disallow:/test.php
Disallow:/buscar/
Disallow:/comment/
Disallow:/comunidad/
Disallow:/response/
Disallow:/espana/cataluna/2013-12-23/el-experto-informatico-de-la-generalitat-me-ficharon-para-tener-capacidad-de-intrusion_69425/
Disallow:/elconfidente/trinitario-casanova-ladrillero-banco-popular-prueba-20100520.html
Disallow:/fotos/economia/200902196trinitario%20casanova.jpg
Disallow:/fotos/economia/2008110754angelron_popular.jpg
Disallow:/fotos/economia/2008062343ronpopular.jpg
Disallow:/economia/2012/05/28/un-excunado-de-rato-juzgado-en-londres-por-hundir-un-hedge-fund-98723
Disallow:/en-exclusiva/2011/trinitario-casanova-solicita-embargo-bienes-carabante-20110131-74249.html
Disallow:/service/
Disallow:/access_bigdata.php
Disallow:/access/
Disallow:/v.php
Disallow:/accessv/
Disallow:/hemeroteca/
Disallow:/comprobar-numeros-premios/
Disallow:/ofensivo/
Disallow:/valorar/
Disallow:/enviar/
Disallow:/repositorio/
Disallow:/destacados/
Disallow:/destacados/
Disallow:/comentar/
Disallow:/*.asp$
Disallow:/mercados/fondos-de-inversion/categorias/
Disallow:/mercados/fondos-de-inversion/fondos/
Disallow:/mercados/fondos-de-inversion/gestoras/
Disallow:/mercados/fondos-de-inversion/fichas/
Allow:/_Incapsula_Resource
Disallow:/*/%7B%7Bampurl%7D%7D$
Disallow:/*/{{ampurl}}$
Disallow:/*/%7B%7Bshots*%7D%7D$
Disallow:/*/{{shots*}}$
Disallow:/35003347/*
Disallow:/*.asp?*
Disallow:/*/%(date)s/*
Disallow:/*/%25(date)s/*
Disallow:/*/pass_*
Disallow:/comprobar-numeros-premios/$
Disallow:/descuentos/*
Disallow:/foro/*
Disallow:/black-friday/*
Disallow:/cache/*
Disallow:/archivo/*
Disallow:/cache/
Disallow:/*/{{url}}$
Disallow:/stats/
Disallow:/suscribete?*
Disallow:/multimedia/fotos/*
Disallow:/suscribete/?*
Allow:/ultima-hora-en-vivo/$
Disallow:/ultima-hora-en-vivo/*
Disallow:/deportes/2017-11-12/motogp-gp-valencia-directo-marquez-dovizioso_1475631
Disallow:/deportes/2013/6/1/siga-en-directo-el-apasionante-desenlace-de-la-ultima-jornada-de-liga-122177
Disallow:/deportes/liga-bbva/2012/9/15/en-directo-gala-del-balon-de-oro-112418
Disallow:/deportes/tenis/2012/9/14/en-directo-malagalevante-105468
Disallow:/deportes/liga-bbva/2012/4/28/siga-en-directo-el-gp-de-malasia-de-formula-1-desde-el-circuito-de-sepang-117481
Disallow:/deportes/liga-bbva/2012/5/29/baloncesto-en-directo-real-madrid--herbalife-gran-canaria-112771
Disallow:/deportes/tenis/2012/6/11/en-directo-nico-almagrojohn-isner-105434
Disallow:/deportes/futbol/2012/8/30/en-directo-levantegranada-96958
Disallow:/deportes/futbol/2013/1/7/siga-en-directo-la-calificacion-del-gran-premio-de-canada-de-formula-1-desde-el-gilles-villeneuve-122655
Disallow:/deportes/formula1/2013/3/24/mourinho-no-recomienda-el-fichaje-de-lucas-moura-tras-verle-en-directo-el-sabado-con-brasil-98899
Disallow:/deportes/baloncesto/2013/1/13/siga-en-directo-en-el-confidencial-la-final-de-roland-garros-entre-nadal-y-djokovic-99729
Disallow:/deportes/formula1/2013/6/8/asi-vivimos-en-directo-el-barcelonagetafe
Disallow:/deportes/liga-bbva/2013/2/10/en-directo-sorteo-de-la-fase-de-grupos-de-la-champions-league-104558
Disallow:/espana/cataluna/elecciones-catalanas/2017-12-04/elecciones-cataluna-21d-puigdemont-junqueras-directo_1487550/
Disallow:/espana/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772/
Disallow:/espana/cataluna/elecciones-catalanas/2017-12-15/elecciones-cataluna-21d-directo-puigdemont-rovira-arrimadas-iceta-erc_1493246/
Disallow:/espana/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/
Disallow:/espana/cataluna/elecciones-catalanas/2021-02-14/directo-seguimiento-noche-electoral-cataluna_2948772/
Disallow:/espana/2012/2/23/agreden-a-un-equipo-de-intereconomia-en-directo-que-cubria-la-protesta-de-valencia-93167/
Disallow:/espana/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/
Disallow:/espana/cataluna/elecciones-catalanas/cronicas-desde-la-republica-cuantica/2017-12-21/en-directo-comparecencias-elecciones-cataluna-2017_1496255
Disallow:/espana/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772
Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-04/elecciones-cataluna-21d-puigdemont-junqueras-directo_1487550/
Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772/
Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-15/elecciones-cataluna-21d-directo-puigdemont-rovira-arrimadas-iceta-erc_1493246/
Disallow:/mundo/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/
Disallow:/mundo/cataluna/elecciones-catalanas/2021-02-14/directo-seguimiento-noche-electoral-cataluna_2948772/
Disallow:/mundo/2012/2/23/agreden-a-un-equipo-de-intereconomia-en-directo-que-cubria-la-protesta-de-valencia-93167/
Disallow:/mundo/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/
Disallow:/mundo/cataluna/elecciones-catalanas/cronicas-desde-la-republica-cuantica/2017-12-21/en-directo-comparecencias-elecciones-cataluna-2017_1496255
Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772
Disallow:/comunicacion/2006*/antena-3-modifica-su-programacion-en-directo-por-la-huelga-de-sus-trabajadores_433159
Disallow:/comunicacion/2015*/telecinco-valora-suspender-la-emision-en-directo-de-ghvip-por-la-rebelion-en-twitter_717002
Disallow:/comunicacion/2006*/un-grupo-de-personas-protesta-en-directo-en-telemadrid-contra-la-politica-informativa-de-la-cadena_432759
Disallow:/comunicacion/2007*/zapatero-y-rajoy-responderan-en-directo-en-tve-a-preguntas-de-los-ciudadanos_432543
Disallow:/comunicacion/2008*/rtve-ofrecera-el-viernes-en-directo-por-todos-sus-canales-la-inauguracion-de-las-olimpiadas-de-pekin_475702
Disallow:/comunicacion/2010*/la-sexta-ofrecera-los-partidos-de-la-liga-en-directo-por-internet_338580
Disallow:/comunicacion/2006*/un-reportero-de-mundo-directo-recorrera-en-bicicleta-los-1-000-kilometros-del-camino-del-cid-a-lo-largo-de-20-etapas_432954
Disallow:/comunicacion/2007*/un-juzgado-condena-a-tve-a-cesar-la-emision-de-mundo-directo-tras-una-demanda-de-telemadrid_371604
Disallow:/comunicacion/2008*/tve-retransmitira-en-directo-los-encierros-de-san-fermin-aunque-sin-entrar-en-la-plaza_285473
Disallow:/comunicacion/2016*/tve-mundo-directo-redactores_1217963
Disallow:/comunicacion/2019*/television-consumo-directo-jovenes-audiencia_1774310
Disallow:/comunicacion/2016*/tve-mundo-directo-redactores_1217963
Disallow:/comunicacion/2007*/todas-las-cadenas-ofrecen-la-sentencia-del-11-m-en-directo-y-50-medios-internacionales-daran-cobertura_286436
Disallow:/comunicacion/2015*/telecinco-valora-suspender-la-emision-en-directo-de-ghvip-por-la-rebelion-en-twitter_717002
Disallow:/comunicacion/2007*/la-2-de-tve-ofrecera-en-abril-un-debate-en-directo-y-en-prime-time-con-candidatos-a-la-alcaldia-de-madrid_432479
Disallow:/alma-corazon-vida/*2005*/*-directo_*
Disallow:/alma-corazon-vida/*2013*/*-directo_*
Disallow:/alma-corazon-vida/*2014*/*-directo_*
Disallow:/alma-corazon-vida/*2015*/*-directo_*
Disallow:/alma-corazon-vida/*2016*/*-directo_*
Disallow:/alma-corazon-vida/*2017*/*-directo_*
Disallow:/alma-corazon-vida/*2018*/*-directo_*
Disallow:/alma-corazon-vida/*2019*/*-directo_*
Disallow:/alma-corazon-vida/*2020*/*-directo_*
Disallow:*/21682112617/*
Disallow:/seccion-pruebas/
Disallow:/disclaimer/comunidad/
Disallow:/ultima-hora-en-vivo/2013-08-20/el-obradoiro-cambia-su-nombre-a-rio-natura-monbus_21629/
Disallow:/try/home*
Disallow:/pruebas-dep-tecnico/*
Disallow:/try/home*

User-Agent: FairShare
Disallow: /
User-agent: MetaURI
Disallow: /
User-agent: nabot
Disallow: /
User-agent: NaverBot
Disallow: /
User-agent: Kimengi/nineconnections.com
Disallow: /
User-agent: Kimengi
Disallow: /
User-agent: DigExt
Disallow: /
User-agent: DTS Agent
Disallow: /
User-agent: dloader
Disallow: /
User-agent: dloader(NaverRobot)
Disallow: /
User-agent: magpie-crawler
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: QuerySeekerSpider
Disallow: /
User-agent: UniversalFeedParser
Disallow: /
User-agent: Flamingo_SearchEngine
Disallow: /
User-agent: Livelapbot
Disallow: /
User-agent: Wotbot
Disallow: /
User-agent: Wotbox
Disallow: /
User-agent: BIXOCRAWLER
Disallow: /
User-agent: proximic
Disallow: /
User-agent: Genieo
Disallow: /
User-agent: Heritrix
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: spbot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-agent: uMBot-LN
Disallow: /
User-agent: SEOkicks-Robot
Disallow: /
User-agent: nutch
Disallow: /
User-agent: crawler4j
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: heritrix/3.3.0
Disallow: /
User-agent: heritrix
Disallow: /
User-agent: Moreover
Disallow: /
User-agent: omgilibot
Disallow: /
User-agent: Cliqzbot
Disallow: /
User-agent: BUbiNG
Disallow: /
User-agent: PiplBot
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: GPTBot
Disallow: /