Free tools
Robots.txt Examples
Robots.txt file content for as.com.
Robot.txt file for: as.com
User-Agent: * Disallow: /buscador/ Disallow: /publicidad/ Disallow: /pruebas/ Disallow: /kioskoymas/promociones/ Disallow: /notificarelacionadas Disallow: /pxlctl.gif Disallow: /pxlctl2.gif Disallow: /*.swf$ Disallow: /eskupTSUpdate Disallow: /ThreadeskupSimple Disallow: /OuteskupSimple Disallow: /vdpep/1/ Disallow: /estaticos/aviso_legal.html Disallow: /formularios/ Disallow: /diarioas/politica_privacidad.html Disallow: /pdf/Condiciones_Generales_Suscripciones_DIARIO_AS.pdf Disallow: *environment=int* Disallow: *environment=prod* Disallow: /encuestas/resultados/ Disallow: /*.js2$