Free tools

Robots.txt Examples

Robots.txt file content for as.com.

Robot.txt file for: as.com

      User-Agent: *
Disallow: /buscador/
Disallow: /publicidad/
Disallow: /pruebas/
Disallow: /kioskoymas/promociones/
Disallow: /notificarelacionadas
Disallow: /pxlctl.gif
Disallow: /pxlctl2.gif
Disallow: /*.swf$
Disallow: /eskupTSUpdate
Disallow: /ThreadeskupSimple
Disallow: /OuteskupSimple
Disallow: /vdpep/1/
Disallow: /estaticos/aviso_legal.html 
Disallow: /formularios/
Disallow: /diarioas/politica_privacidad.html
Disallow: /pdf/Condiciones_Generales_Suscripciones_DIARIO_AS.pdf
Disallow: *environment=int*
Disallow: *environment=prod*
Disallow: /encuestas/resultados/
Disallow: /*.js2$