Free tools
Robots.txt Examples
Robots.txt file content for elconfidencial.com.
Robot.txt file for: elconfidencial.com
User-Agent: * Disallow:/contacto/ Disallow:/fonts/ Disallow:/old/ Disallow:/.htaccess Disallow:/ClassoraProxy.php Disallow:/access.php Disallow:/conf.php Disallow:/console.php Disallow:/css.php Disallow:/img.php Disallow:/js.php Disallow:/pixel.php Disallow:/test.php Disallow:/buscar/ Disallow:/comment/ Disallow:/comunidad/ Disallow:/response/ Disallow:/espana/cataluna/2013-12-23/el-experto-informatico-de-la-generalitat-me-ficharon-para-tener-capacidad-de-intrusion_69425/ Disallow:/elconfidente/trinitario-casanova-ladrillero-banco-popular-prueba-20100520.html Disallow:/fotos/economia/200902196trinitario%20casanova.jpg Disallow:/fotos/economia/2008110754angelron_popular.jpg Disallow:/fotos/economia/2008062343ronpopular.jpg Disallow:/economia/2012/05/28/un-excunado-de-rato-juzgado-en-londres-por-hundir-un-hedge-fund-98723 Disallow:/en-exclusiva/2011/trinitario-casanova-solicita-embargo-bienes-carabante-20110131-74249.html Disallow:/service/ Disallow:/access_bigdata.php Disallow:/access/ Disallow:/v.php Disallow:/accessv/ Disallow:/hemeroteca/ Disallow:/comprobar-numeros-premios/ Disallow:/ofensivo/ Disallow:/valorar/ Disallow:/enviar/ Disallow:/repositorio/ Disallow:/destacados/ Disallow:/destacados/ Disallow:/comentar/ Disallow:/*.asp$ Disallow:/mercados/fondos-de-inversion/categorias/ Disallow:/mercados/fondos-de-inversion/fondos/ Disallow:/mercados/fondos-de-inversion/gestoras/ Disallow:/mercados/fondos-de-inversion/fichas/ Allow:/_Incapsula_Resource Disallow:/*/%7B%7Bampurl%7D%7D$ Disallow:/*/{{ampurl}}$ Disallow:/*/%7B%7Bshots*%7D%7D$ Disallow:/*/{{shots*}}$ Disallow:/35003347/* Disallow:/*.asp?* Disallow:/*/%(date)s/* Disallow:/*/%25(date)s/* Disallow:/*/pass_* Disallow:/comprobar-numeros-premios/$ Disallow:/descuentos/* Disallow:/foro/* Disallow:/black-friday/* Disallow:/cache/* Disallow:/archivo/* Disallow:/cache/ Disallow:/*/{{url}}$ Disallow:/stats/ Disallow:/suscribete?* Disallow:/multimedia/fotos/* Disallow:/suscribete/?* Allow:/ultima-hora-en-vivo/$ Disallow:/ultima-hora-en-vivo/* Disallow:/deportes/2017-11-12/motogp-gp-valencia-directo-marquez-dovizioso_1475631 Disallow:/deportes/2013/6/1/siga-en-directo-el-apasionante-desenlace-de-la-ultima-jornada-de-liga-122177 Disallow:/deportes/liga-bbva/2012/9/15/en-directo-gala-del-balon-de-oro-112418 Disallow:/deportes/tenis/2012/9/14/en-directo-malagalevante-105468 Disallow:/deportes/liga-bbva/2012/4/28/siga-en-directo-el-gp-de-malasia-de-formula-1-desde-el-circuito-de-sepang-117481 Disallow:/deportes/liga-bbva/2012/5/29/baloncesto-en-directo-real-madrid--herbalife-gran-canaria-112771 Disallow:/deportes/tenis/2012/6/11/en-directo-nico-almagrojohn-isner-105434 Disallow:/deportes/futbol/2012/8/30/en-directo-levantegranada-96958 Disallow:/deportes/futbol/2013/1/7/siga-en-directo-la-calificacion-del-gran-premio-de-canada-de-formula-1-desde-el-gilles-villeneuve-122655 Disallow:/deportes/formula1/2013/3/24/mourinho-no-recomienda-el-fichaje-de-lucas-moura-tras-verle-en-directo-el-sabado-con-brasil-98899 Disallow:/deportes/baloncesto/2013/1/13/siga-en-directo-en-el-confidencial-la-final-de-roland-garros-entre-nadal-y-djokovic-99729 Disallow:/deportes/formula1/2013/6/8/asi-vivimos-en-directo-el-barcelonagetafe Disallow:/deportes/liga-bbva/2013/2/10/en-directo-sorteo-de-la-fase-de-grupos-de-la-champions-league-104558 Disallow:/espana/cataluna/elecciones-catalanas/2017-12-04/elecciones-cataluna-21d-puigdemont-junqueras-directo_1487550/ Disallow:/espana/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772/ Disallow:/espana/cataluna/elecciones-catalanas/2017-12-15/elecciones-cataluna-21d-directo-puigdemont-rovira-arrimadas-iceta-erc_1493246/ Disallow:/espana/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/ Disallow:/espana/cataluna/elecciones-catalanas/2021-02-14/directo-seguimiento-noche-electoral-cataluna_2948772/ Disallow:/espana/2012/2/23/agreden-a-un-equipo-de-intereconomia-en-directo-que-cubria-la-protesta-de-valencia-93167/ Disallow:/espana/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/ Disallow:/espana/cataluna/elecciones-catalanas/cronicas-desde-la-republica-cuantica/2017-12-21/en-directo-comparecencias-elecciones-cataluna-2017_1496255 Disallow:/espana/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772 Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-04/elecciones-cataluna-21d-puigdemont-junqueras-directo_1487550/ Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772/ Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-15/elecciones-cataluna-21d-directo-puigdemont-rovira-arrimadas-iceta-erc_1493246/ Disallow:/mundo/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/ Disallow:/mundo/cataluna/elecciones-catalanas/2021-02-14/directo-seguimiento-noche-electoral-cataluna_2948772/ Disallow:/mundo/2012/2/23/agreden-a-un-equipo-de-intereconomia-en-directo-que-cubria-la-protesta-de-valencia-93167/ Disallow:/mundo/cataluna/elecciones-catalanas/2015-09-23/directo-ultimo-minuto-resultados-elecciones-catalanas-27s_1033397/ Disallow:/mundo/cataluna/elecciones-catalanas/cronicas-desde-la-republica-cuantica/2017-12-21/en-directo-comparecencias-elecciones-cataluna-2017_1496255 Disallow:/mundo/cataluna/elecciones-catalanas/2017-12-13/elecciones-cataluna-21d-directo-puigdemont-rovira-junqueras_1491772 Disallow:/comunicacion/2006*/antena-3-modifica-su-programacion-en-directo-por-la-huelga-de-sus-trabajadores_433159 Disallow:/comunicacion/2015*/telecinco-valora-suspender-la-emision-en-directo-de-ghvip-por-la-rebelion-en-twitter_717002 Disallow:/comunicacion/2006*/un-grupo-de-personas-protesta-en-directo-en-telemadrid-contra-la-politica-informativa-de-la-cadena_432759 Disallow:/comunicacion/2007*/zapatero-y-rajoy-responderan-en-directo-en-tve-a-preguntas-de-los-ciudadanos_432543 Disallow:/comunicacion/2008*/rtve-ofrecera-el-viernes-en-directo-por-todos-sus-canales-la-inauguracion-de-las-olimpiadas-de-pekin_475702 Disallow:/comunicacion/2010*/la-sexta-ofrecera-los-partidos-de-la-liga-en-directo-por-internet_338580 Disallow:/comunicacion/2006*/un-reportero-de-mundo-directo-recorrera-en-bicicleta-los-1-000-kilometros-del-camino-del-cid-a-lo-largo-de-20-etapas_432954 Disallow:/comunicacion/2007*/un-juzgado-condena-a-tve-a-cesar-la-emision-de-mundo-directo-tras-una-demanda-de-telemadrid_371604 Disallow:/comunicacion/2008*/tve-retransmitira-en-directo-los-encierros-de-san-fermin-aunque-sin-entrar-en-la-plaza_285473 Disallow:/comunicacion/2016*/tve-mundo-directo-redactores_1217963 Disallow:/comunicacion/2019*/television-consumo-directo-jovenes-audiencia_1774310 Disallow:/comunicacion/2016*/tve-mundo-directo-redactores_1217963 Disallow:/comunicacion/2007*/todas-las-cadenas-ofrecen-la-sentencia-del-11-m-en-directo-y-50-medios-internacionales-daran-cobertura_286436 Disallow:/comunicacion/2015*/telecinco-valora-suspender-la-emision-en-directo-de-ghvip-por-la-rebelion-en-twitter_717002 Disallow:/comunicacion/2007*/la-2-de-tve-ofrecera-en-abril-un-debate-en-directo-y-en-prime-time-con-candidatos-a-la-alcaldia-de-madrid_432479 Disallow:/alma-corazon-vida/*2005*/*-directo_* Disallow:/alma-corazon-vida/*2013*/*-directo_* Disallow:/alma-corazon-vida/*2014*/*-directo_* Disallow:/alma-corazon-vida/*2015*/*-directo_* Disallow:/alma-corazon-vida/*2016*/*-directo_* Disallow:/alma-corazon-vida/*2017*/*-directo_* Disallow:/alma-corazon-vida/*2018*/*-directo_* Disallow:/alma-corazon-vida/*2019*/*-directo_* Disallow:/alma-corazon-vida/*2020*/*-directo_* Disallow:*/21682112617/* Disallow:/seccion-pruebas/ Disallow:/disclaimer/comunidad/ Disallow:/ultima-hora-en-vivo/2013-08-20/el-obradoiro-cambia-su-nombre-a-rio-natura-monbus_21629/ Disallow:/try/home* Disallow:/pruebas-dep-tecnico/* Disallow:/try/home* User-Agent: FairShare Disallow: / User-agent: MetaURI Disallow: / User-agent: nabot Disallow: / User-agent: NaverBot Disallow: / User-agent: Kimengi/nineconnections.com Disallow: / User-agent: Kimengi Disallow: / User-agent: DigExt Disallow: / User-agent: DTS Agent Disallow: / User-agent: dloader Disallow: / User-agent: dloader(NaverRobot) Disallow: / User-agent: magpie-crawler Disallow: / User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: Exabot Disallow: / User-agent: QuerySeekerSpider Disallow: / User-agent: UniversalFeedParser Disallow: / User-agent: Flamingo_SearchEngine Disallow: / User-agent: Livelapbot Disallow: / User-agent: Wotbot Disallow: / User-agent: Wotbox Disallow: / User-agent: BIXOCRAWLER Disallow: / User-agent: proximic Disallow: / User-agent: Genieo Disallow: / User-agent: Heritrix Disallow: / User-agent: rogerbot Disallow: / User-agent: spbot Disallow: / User-Agent: trendictionbot Disallow: / User-agent: uMBot-LN Disallow: / User-agent: SEOkicks-Robot Disallow: / User-agent: nutch Disallow: / User-agent: crawler4j Disallow: / User-agent: dotbot Disallow: / User-agent: heritrix/3.3.0 Disallow: / User-agent: heritrix Disallow: / User-agent: Moreover Disallow: / User-agent: omgilibot Disallow: / User-agent: Cliqzbot Disallow: / User-agent: BUbiNG Disallow: / User-agent: PiplBot Disallow: / User-agent: Gigabot Disallow: / User-agent: GPTBot Disallow: /