Free tools

Robots.txt Examples

Robots.txt file content for lavanguardia.com.

Robot.txt file for: lavanguardia.com

      User-agent: * 
Allow: /ads.txt 
Allow: /app-ads.txt 



# Temas 
Disallow: /temas/ 
Allow: /temas/venezuela 
Allow: /temas/universo-africa 
Allow: /temas/thinkbig-empresas 
Allow: /temas/supermercados-dia 
Allow: /temas/sofia-gh-16 
Allow: /temas/relojes 
Allow: /temas/raquel-gh-16 
Allow: /temas/primitiva 
Allow: /temas/once 
Allow: /temas/nacidos-para-ser-autonomos-teoria 
Allow: /temas/nacidos-para-ser-autonomos-practica 
Allow: /temas/nacidos-para-ser-autonomos 
Allow: /temas/myhyv 
Allow: /temas/mercedes-martin 
Allow: /temas/loteria-nacional 
Allow: /temas/lorena-roldan 
Allow: /temas/lae 
Allow: /temas/junior-report-go 
Allow: /temas/junior-report-fp 
Allow: /temas/junior-report-coronavirus 
Allow: /temas/junior-report 
Allow: /temas/juanra-bonet 
Allow: /temas/jose-maria-gil-silgado 
Allow: /temas/jordi-gonzalez 
Allow: /temas/innovacion-tecnologia 
Allow: /temas/hablemos-de-futuro 
Allow: /temas/grandes-viajeros 
Allow: /temas/gran-hermano-vip 
Allow: /temas/futbol-club-barcelona 
Allow: /temas/europa-fact-checking 
Allow: /temas/euromillones 
Allow: /temas/estar-donde-estes 
Allow: /temas/eslaliga 
Allow: /temas/encuestas-elecciones-generales 
Allow: /temas/mirador-comunicacion-marketing 
Allow: /temas/elmiradordelacomunicacionyelmarketing 
Allow: /temas/elmiradordelacomunicacionyelmarketing/mk 
Allow: /temas/ecologia 
Allow: /temas/consorci-de-la-zona-franca 
Allow: /temas/ciudad-azul 
Allow: /temas/catalunya-futur 
Allow: /temas/carolina-sobe 
Allow: /temas/canal-andorra-ski 
Allow: /temas/canal-andorra-noticias 
Allow: /temas/canal-andorra-economia 
Allow: /temas/canal-andorra 
Allow: /temas/bonoloto 
Allow: /temas/bicentenario-del-museo-del-prado 
Allow: /temas/belen-esteban 
Allow: /temas/barcelona-tech-city 
Allow: /temas/back-market 
Allow: /temas/arenys-de-mar 
Allow: /temas/amor-romeira 
Allow: /temas/ahorro-para-la-jubilacion 
Allow: /temas/agrocultura 
Allow: /temas/adara-gh-17 
Allow: /temas/accidentes-de-trafico 
Allow: /temas/a-fondo 
Allow: /temas/eventos-la-vanguardia 
Allow: /temas/ciudades-en-movimiento 
Allow: /temas/ahorro-e-inversion 
Allow: /temas/en-mejora-continua 
Allow: /temas/todos-solidarios 
Allow: /temas/recuperar-barcelona



# Paths a no indexar
Disallow: /web/
Disallow: /premium/ 
Disallow: /lv24h2007/ 
Disallow: /cercadorgg/ 
Disallow: /gen/ 
Disallow: /cgi-bin/ 
Disallow: /ajax/ 
Disallow: /periodico/ajax/ 
Disallow: /buscador/ 
Disallow: /crossdomain.xml 
Disallow: /+* 
Disallow: /lv24h Disallow: /_aside/* 
Disallow: /_hemeroteca/* 
Disallow: /mvc/* 
Disallow: /apps/* 
Disallow: /list/* 
Disallow: /inmo/ 
Disallow: /loterias/loteria-navidad/buscar-numero/* 
Disallow: /loterias/loteria-navidad-amp/buscar-numero/* 
Disallow: /loterias/loteria-navidad-app/buscar-numero/* 
Disallow: /cartelera/peliculas/persona/
Disallow: /politica/20081007/53556163832/
Disallow: /sitemap-news-agencias-*.xml
Disallow: /economia/20121003/54351571275/*
Disallow: /loterias/loteria-navidad-2022/comprobar-loteria-navidad/*
Disallow: /loterias/loteria-navidad-2022/buscar-numero/*
Disallow: /motor/ocasion/*
Disallow: /motor/coches/
Disallow: /loterias/loteria-navidad/comprobar-numeros/*
Disallow: /loterias/loteria-nino/comprobar-numeros/*

# Paths SEO a bloquear


Disallow: /arambee/
Disallow: /loterias/loteria-nino-2022/comprobar-loteria-nino/numero-

Disallow: /loterias/loteria-navidad/comprobar-loteria-navidad/
Disallow: /loterias/loteria-navidad-amp/comprobar-loteria-navidad/
Disallow: /loterias/loteria-navidad/lugares-agraciados/
Disallow: /loterias/loteria-nino/comprobar-loteria-nino/
Disallow: /loterias/loteria-nino-amp/comprobar-loteria-nino/
Disallow: /loterias/loteria-navidad-2021/buscar-numero/*
Disallow: /loterias/loteria-navidad-2021/comprobar-loteria-navidad/*
Disallow: /elecciones/elecciones-municipales-2019/
Disallow: /elecciones/autonomicas-cataluna-2021/
Disallow: /elecciones/elecciones-generales-noviembre-2019/
Disallow: /elecciones/autonomicas-madrid-2021/
Disallow: /elecciones/elecciones-generales-2019/
Disallow: /elecciones/autonomicas-galicia-2020/
Disallow: /elecciones/autonomicas-pais-vasco-2020/
Disallow: /elecciones/autonomicas-valencia-2019/
Disallow: /elecciones/elecciones-europeas-2019/
Disallow: /elecciones/autonomicas-castilla-y-leon-2019/
Disallow: /elecciones/autonomicas-castilla-la-mancha-2019/
Disallow: /elecciones/autonomicas-asturias-2019/
Disallow: /elecciones/autonomicas-aragon-2019/
Disallow: /elecciones/autonomicas-navarra-2019/
Disallow: /elecciones/autonomicas-extremadura-2019/
Disallow: /elecciones/autonomicas-baleares-2019/
Disallow: /elecciones/elecciones-catalanas-2017/
Disallow: /elecciones/autonomicas-region-de-murcia-2019/
Disallow: /elecciones/autonomicas-canarias-2019/
Disallow: /elecciones/autonomicas-madrid-2019/
Disallow: /elecciones/elecciones-europeas-2019/
Disallow: /elecciones/elecciones-municipales-2019/
Disallow: /elecciones/autonomicas-cataluna-2021/
Disallow: /elecciones/elecciones-generales-noviembre-2019/
Disallow: /elecciones/autonomicas-madrid-2021/
Disallow: /elecciones/elecciones-generales-2019/
Disallow: /elecciones/autonomicas-valencia-2019/
Disallow: /elecciones/autonomicas-castilla-y-leon-2019/
Disallow: /elecciones/historico/
Disallow: /elecciones/elecciones-catalanas-2017/
Disallow: /cartelera/
Disallow: /peliculas-series/search?*
Disallow: /peliculas-series/widgets/movies/
Disallow: /topics/noticia/*
Disallow: /topics/search?*






Disallow: /andro4all/search/
Disallow: /andro4all/via=
Disallow: /andro4all/wp-json/
Disallow: /andro4all/*...$
Disallow: /andro4all/*/*/*/page/*
Disallow: /andro4all/*wordfence_logHuman=1$
Disallow: /andro4all/cdn-cgi/
Disallow: /andro4all/*/;aspect-ratio
Disallow: /andro4all/*/aspect-ratio
Disallow: /andro4all/*/{{
Disallow: /andro4all/mraid.js
Disallow: /andro4all/*/undefined$

Disallow: /search?*
Disallow: /libros/search?*
Disallow: /search-recipe?* 


# Paginas LVD a no indexar 
Disallow: /comentarios/ 
Disallow: /*/comentarios/ 
Disallow: /*comentarios_ Disallow: /*ID_PAGINA=1810070 
Disallow: /*ID_PAGINA=1810072 
Disallow: /*ID_PAGINA=1810080 
Disallow: /*ID_PAGINA=200806163 
Disallow: /*ID_PAGINA=70172401 
Disallow: /*ID_PAGINA=82037585 
Disallow: /*ID_PAGINA=33872476 
Disallow: /*ID_PAGINA=70172401 
Disallow: /*ID_PAGINA=82037585 


# Extensiones de contenidos no indexables 
Disallow: /*.swf$ 
Disallow: /*.tif$ 
Disallow: /*.mp3$ 
Disallow: /*.flv$ 
Disallow: /*.mp4$ 
Disallow: /*.avi$ 
Disallow: /*.txt$ 
Disallow: /*.ics$ 


# Agentes nocivos conocidos 

User-agent: GPTBot
Disallow: /peliculas-series/

User-agent: GPTBot
Disallow: /libros/


User-agent: Amazonbot
Disallow: /peliculas-series/

User-agent: Amazonbot
Disallow: /libros/

User-agent: anthropic-ai
Disallow: /peliculas-series/

User-agent: anthropic-ai
Disallow: /libros/

User-agent: Claude-Web
Disallow: /peliculas-series/

User-agent: Claude-Web
Disallow: /libros/

User-agent: ClaudeBot
Disallow: /peliculas-series/

User-agent: ClaudeBot
Disallow: /libros/


User-agent: ia_archiver 
Disallow: / 

User-agent: UbiCrawler 
Disallow: /
 
User-agent: YandexBot/3.0
Disallow: /

User-agent: DOC 
Disallow: /

User-agent: Zao 
Disallow: / 

User-agent: sitecheck.internetseer.com 
Disallow: /

User-agent: Zealbot 
Disallow: / 

User-agent: MSIECrawler 
Disallow: / 

User-agent: SiteSnagger 
Disallow: /

User-agent: WebStripper 
Disallow: /

User-agent: WebCopier 
Disallow: / 

User-agent: Fetch 
Disallow: / 

User-agent: Offline Explorer 
Disallow: / 

User-agent: Teleport 
Disallow: /

User-agent: TeleportPro 
Disallow: /

User-agent: WebZIP 
Disallow: /

User-agent: linko 
Disallow: /

User-agent: HTTrack 
Disallow: /

User-agent: Microsoft.URL.Control 
Disallow: /

User-agent: Xenu 
Disallow: /

User-agent: larbin 
Disallow: / 

User-agent: libwww 
Disallow: / 

User-agent: ZyBORG 
Disallow: / 

User-agent: Download Ninja 
Disallow: /

User-agent: Slurp 
Disallow: / 

User-agent: Maxthon 
Disallow: /

User-agent: CNCDialer 
Disallow: /
 
User-agent: AhrefsBot 
Disallow: /


User-agent: mailto: techinfo@ubermetrics-technologies.com
Disallow: /