Free tools
Robots.txt Examples
Robots.txt file content for larousse.fr.
Robot.txt file for: larousse.fr
User-Agent: * Disallow: /nom-commun-autre/ Disallow: /nom-commun-nom/ Disallow: /encyclopedie/ehm/ Disallow: /encyclopedie/lemonde/ Disallow: /encyclopedie/article/ Disallow: /encyclopedie/media/ Disallow: /dictionnaires-prononciation/ Disallow: /dictionnaires-conjugaison/ Disallow: /forums/ Sitemap: https://www.larousse.fr/crawler/sitemapIndex_eul.xml Sitemap: https://www.larousse.fr/crawler/sitemapIndex_dicofr.xml Sitemap: https://www.larousse.fr/crawler/sitemap_Conj_fr.xml Sitemap: https://www.larousse.fr/crawler/sitemapIndex_bilingue.xml Sitemap: https://www.larousse.fr/crawler/sitemap_maj_eul.xml Sitemap: https://www.larousse.fr/crawler/sitemapIndex_anglais.xml Sitemap: https://www.larousse.fr/crawler/sitemap_dico_synonymes.xml