Free tools

Robots.txt Examples

Robots.txt file content for larousse.fr.

Robot.txt file for: larousse.fr

      User-Agent: *
Disallow: /nom-commun-autre/
Disallow: /nom-commun-nom/
Disallow: /encyclopedie/ehm/
Disallow: /encyclopedie/lemonde/
Disallow: /encyclopedie/article/
Disallow: /encyclopedie/media/
Disallow: /dictionnaires-prononciation/
Disallow: /dictionnaires-conjugaison/
Disallow: /forums/
Sitemap: https://www.larousse.fr/crawler/sitemapIndex_eul.xml
Sitemap: https://www.larousse.fr/crawler/sitemapIndex_dicofr.xml
Sitemap: https://www.larousse.fr/crawler/sitemap_Conj_fr.xml
Sitemap: https://www.larousse.fr/crawler/sitemapIndex_bilingue.xml
Sitemap: https://www.larousse.fr/crawler/sitemap_maj_eul.xml
Sitemap: https://www.larousse.fr/crawler/sitemapIndex_anglais.xml
Sitemap: https://www.larousse.fr/crawler/sitemap_dico_synonymes.xml